8

AlphaWar兵棋推演:虚拟硝烟中的AI指挥艺术与决胜智慧

 4 years ago
source link: https://www.jiqizhixin.com/articles/2020-03-13-10
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

目录:

一、深度学习和知识图谱的缺陷

二、认知中台在策略推演领域的应用

三、什么是兵棋推演

四、AlphaWar:一个同时具备常识、指挥艺术和实时智能的兵棋推演/作战指挥平台

五、AlphaWar案例演示:光影沐浴者

一、深度学习和知识图谱的缺陷

人工智能经历了几番沉浮,迎来了第三次发展浪潮,当前取得的进展突出体现在:以 知识图谱为代表的知识工程 和以 深度学习为代表的机器学习 等相关领域的发展。

  • 深度学习

深度学习作为一种结合了统计机器学习与人工神经网络的新学习方法,其与传统模式识别方法的最大不同在于,它能够 利用 深度神经网络 从海量数据中 自动学习有效的层次化特征表示 。得益于大规模标注数据,目前深度学习在语音识别、图像识别等领域取得了优异效果,然而在某些方面仍存在着局限性,主要表现在:

01 对数据的强依赖:

深度学习需要大量标注数据来训练才能达到较好的泛化能力,数据量的大小直接影响深度学习模型的推理效果。但在很多实际应用场景中,我们难以找到充足的高质量训练数据。另一方面,用于训练深度学习模型的数据需要耗费大量的人力进行收集和标注,且手动标注的信息具有一定的局限性。

02 缺乏对常识的学习:

人工智能的知识表示包括专业知识与常识知识。常识是指人类在生活中总结出来的科学知识,当人类遇到新情况时,能够通过既有的常识来推测和判断。而神经网络学习的本质是对相关性的挖掘和记忆,缺乏推理能力和抽象能力。这一缺陷使其在面对新情况时无法像人类一样拥有“举一反三”的能力。

03 缺乏可解释性:

深度学习模型是一种端到端的学习,输入的是原始数据(始端),输出的直接是最终目标(末端),中间的学习和预测过程不可知。类似一个黑箱(Black Box)系统,其推理效果很好,却不知道为何好,这也大大制约了深度学习的应用推广。比如在投资领域,不可解释的投资相当于投机。

  • 知识图谱

知识图谱本质上是一种语义网络,表达了各类实体、概念及其之间的语义关系。相对于传统知识表示形式,知识图谱具有 实体/概念覆盖率高语义关系多样结构友好 以及 质量较高 等优势,日益成为人工智能时代最为主要的知识表示方式。然而,目前的知识图谱应用还处在初期的阶段,其落地难点主要有以下几方面:

01 高质量图谱构建难题:

知识图谱的构建是整个应用链条的第一步,图谱构建的质量直接决定了上层应用的效果。由于各种原因,数据大部分以非结构化形式存储,而面向非结构化数据的知识抽取在准确度、完整度等方面面临技术挑战。

02 依赖专家经验:

知识图谱本质是一种知识的组织形式,本身不具备学习能力,图谱的构建涉及到了大量的人工设计和人力劳动,特别是行业知识图谱尤其依赖领域从业人员对业务逻辑的精准梳理。因此,知识的爆炸式增长对知识图谱构建的可移植性、可扩展性均提出更高要求。

03 覆盖率制约应用表现:

知识图谱构建的目的不仅在于数据的可视化,还需要赋予业务信息在实际应用场景中的可计算能力,但当前知识图谱普遍存在覆盖率低、数据稀疏和更新缓慢等问题,限制了知识图谱分析挖掘优势的发挥和落地效果。

综合来看,深度学习与知识图谱在技术本身与应用落地方面均存在一定缺陷,许多结合二者优势的新方法随之而生。

二、认知中台在策略推演领域的应用

中台的核心价值在于对资源整合运用效率的最大化。构建中台来支撑业务衔接,不仅能够帮助实现AI技术的可落地方案,更能够实现能力的复用,取得规模化效应。

在策略推演领域,以分布式图存储为基础,集成图计算与可视化分析引擎的认知中台,能够帮助挖掘、发现、推演出相关隐藏知识或跨领域新知识,促进 决策推荐的准确性和及时性 ,提升对策略推演 过程及结果的可解释性 。在金融营销与风控、金融量化投资、军事兵棋推演等领域有广阔的应用前景。(在本系列后续的文章中会一一展开讨论)

  • 金融营销与风控

众所周知,金融行业两大核心业务是:营销和风控,两者的核心都是 基于数据 客户行为进行分析 和对 未来场景变化进行预判 。传统的数据分析技术建立在关系型数据库基础上,难以发现数据间的多层级的“隐性关系”。

利用知识图谱可以将金融领域内所有实体(包括:公司、人物、地名、产品、资讯、研报、事件等)和关系(股权关系、竞争关系、对外投资等)用图的形式进行表达,形成一个“金融多关系图”,从而帮助金融从业人员从 事件、空间等 多维度更好的分析客户交易行为 ,有助于建立 客户画像 ,进行精准营销。

其次,图数据库、图挖掘、图计算模型等技术特别适用于复杂关系网络下的 账户关联关系挖掘资金交易流转追踪 ,能够帮助发现传统风控场景下无法发现的包括信用卡套现、团伙骗贷、跨境洗钱等复杂多变的欺诈风险行为。

  • 金融量化投资

近年来,以追求绝对收益为目标的量化对冲投资策略以其风险低、收益稳定的特性,成为机构投资者的主要投资策略之一。简单来说,量化投资就是 用机器构建一个框架 ,在这个框架下做交易。运用机器学习技术可以有效地找到数据之间的关系,并使用它来预测或分类新数据,成为量化投资框架构建的新的有效策略。

其次,利用知识图谱 对影响投资的事件进行实体和关系抽取 ,比如公司与公司相关的股票信息等实体,比如可能影响股票交易价格行为(管理层变动、新品发布等)的事件,构建金融量化投资知识图谱,再通过大量表示学习方法,将知识图谱中的实体和关系转化为 高维连续向量 输入到深度学习模型中 ,使其学习每个事件在发生后给市场带来的影响,能够进一步提升金融量化投资策略的实战效果。

  • 军事兵棋推演

随着信息化技术在现代战争中的应用,一体化联合作战已经成为现代战争的主要作战样式,战场要素不断增多,战场范围呈现出全球化的趋势。这一背景下的兵棋推演系统面临着推演要素不断增多、推演范围不断扩大的挑战。

兵棋推演的核心是在人机协同环境中的不完全信息下的动态博弈和实时对抗,鉴于兵棋推演中规则和计算等方面的复杂性,运用人工智能系统,能够更加快速准确的进行 态势分析和战略决策 ,并最大程度的 减少错误的发生。

在推演时,兵棋推演系统自动搜集战场态势数据,记录每个作战单位的属性,作战半径、攻击力、前进速度、掩护的使用情况、从属关系等,并通过收集到的战场态势信息,在模拟对抗中学习战术规则、获取作战经验并优化策略,进而进行 战前态势分析科学化制定作战方案 以及 提升作战过程中的实时决策能力突发情况应急能力

三、什么是兵棋推演

如果你清楚你的问题,你不需要兵棋推演;当你不知道如何应对不确定复杂局势时,你可能需要兵棋推演。

——《海湾打击》兵棋设计者,马克.赫尔曼

兵马未动,兵棋先行。利用战争模拟系统来推演战争,就是兵棋推演。从军事游戏到沙盘模拟,再到错综复杂的计算机程序,兵棋推演在模拟真实战争、辅助指挥决策方面的作用日益突出,已经发展成为现代战争的关键环节。

据悉,美军在伊拉克战争中的作战经过与战前的兵棋推演结果高度相似;击毙本·拉登的过程也已在五角大楼的兵棋推演系统上演习过无数遍;以日本为蓝军进行了数百次兵棋推演,也为美军扭转珍珠港事件后的不利局面奠定了基础。

随着现代战争的规模逐渐扩大,陆、海、空、天、电磁等不同战场相互混合交织,各军兵种协同配合日益复杂,兵棋推演的重要性也越来越受到重视。美国陆军指挥总参学院、Lemay中心、美国国防大学、美国研究生院、美国海军军事学院的章程中都或多或少明确了兵棋推演的这一用途。

另一方面,计算机技术的兴起,将传统沙盘上的兵棋推演进一步转化为严谨的二进制计算并在屏幕上直观呈现。结合科学技术的大型兵棋推演系统将在信息化战争模拟对抗中发挥着更加重要的作用。

四、AlphaWar

(AlphaWar,是一个同时具备常识、指挥艺术和实时智能的兵棋推演/作战指挥平台)

作战指挥是一个集装备体系、作战环境、指挥艺术和智能研判等多学科多任务的综合策略型活动,兵棋推演则是对战争全过程进行仿真、模拟与推演,是一次微型版的作战指挥过程。

许多大型即时策略游戏也具备类似的特性。以暴雪的 《星际争霸II》 为例,其复杂度介于兵棋推演、实际战场作战指挥中间,具体比较如下:

兵棋推演

星际争霸II

实战指挥

战争迷雾

格子地图

地图级别

多域信息

平衡程度

不定

趋近平衡

国家实力有差异

领域要素

作战单位、地图

经济、作战单位、

科技、侦查等

科技、军事实力、农业、

金融、社会稳定等

实体数量

几十种

几百种

成千上万

实体复杂度

较少

属性、操作有限

海量指标

战术类型

规则内的有限类型

快攻、压制、骚扰、

偷经济、偷科技等

大量各类型战术

协同程度

极高

零和游戏

决策限制

限制较大

无限制

(例如牺牲一支部队去达成战略目的是很常规的做法)

有限制

虽然复杂度有所差异,但兵棋推演、实际战场、星际争霸II三者的核心本质都是 即时策略推演类型 ,都是 先验知识 即时智能的综合应用

渊亭科技多年来一直致力于知识图谱和自学习体系平台的研究和应用,特别是近几年在 国防金融安全 等领域的多个大型实战项目中抽象出多个通用认知智能引擎和组件。

战略推演平台是渊亭科技关于常识、行业先验图谱、态势感知、即时研判等综合智能应用自动化的探索思考,应用场景包括 国防作战指挥反恐怖经济犯罪侦查投资交 等。

我们以复杂度中等的《星际争霸II》作为研究目标,利用知识图谱和强化学习等技术,设计一个 可以 设计击败对手策略AI的自动化平台 ——AlphaWar。

今天,我们一起来揭开这个渊亭科技神秘在研产品的面纱。

AlphaWar以 行业先验图谱 为基础、 策略编辑器 作为主体、 多智能体策略网络 为核心思想,包含以下核心组件:

01 决策控制:

包含一些跨领域通用的决策控制组件,例如最优路径搜索、目标识别等。

02 战术体系:

可以是人类经验验证过的战术(类似指挥艺术),也可以是AI训练得到的模式(例如世界顶尖星际玩家的对战训练结果)。战术体系是一个完整的操作序列,涉及游戏中所有的单位及其行为,战术体系对外只暴露战术核心参数。

03 智能体:

在本系统中,智能体的定义是:某个单位(可以是作战单位、建筑等)在某个场景(也可以是所有场景)下面向特定目标的最优解。例如,星灵机械哨兵的力场时机和位置。这个是可以大量应用强化学习训练的地方。

04 先验图谱:

先验图谱是站在巨人肩膀上的关键,由于目前深度学习相关技术的局限性,完全零先验比较天方夜谭。对于《星际争霸II》或军事实战指挥来说,先验图谱包括战场环境(基本信息)、敌我双方装备体系(不完备信息)、战术体系等。

当然,除了这些核心组件还有各种 态势感知 作战控制 (单兵、群体协作等)等组件,所有的组件都可以以知识表示、专家系统、AI模型的方式生成。

组件都是手脚,需要一个大脑来指挥控制。

在AlphaWar中,指标控制中心有两种实现,第一种是 策略编辑器 ,例如我方(虫族)探测到对方(星灵)裸开双矿,对于态势感知来说可以得出一个可快速压制的策略,这个时候只需要一个态势分类器和一个快速压制的智能体就足以完成整个指挥控制过程;第二种则比较复杂,也是实际战争中的常规情况,态势瞬息万变,这个时候需要一个 基于LSTM的深度指控网络。 (这个是个很大的话题,后续有机会单独展开)

vIRN7vi.png!web

以上是AlphaWar的基本组成,接下来我们用例子来说明它是怎么工作,一个一行代码都不用写实现一个击败《星际争霸II》全种族最难级别的战术机器人!

五、案例演示:光影沐浴者

光影沐浴者,俗称速隐刀战术。利用星际争霸II的反隐单位或建筑通常需要前置的科技建筑才能生产,星灵在早期以最快速度(并欺骗对手)出黑暗圣堂武士,经常可以起到一举定输赢的效果。

小知识:黑暗圣堂武士的第一句台词是:光影沐浴着我! 

大多组件都是策略性的实现,可以理解为指挥控制中的常规开局操作。跟知识图谱、深度学习比较相关,需要训练模型或知识推理的四个组件:

小知识:暴雪公司会开放一些AI或人类对战的replay,可以用来训练智能体。

01 偷水晶+机械台:

偷水晶和机械台的主要目的是加快进攻的时间,进攻越晚对手出反隐装置的可能性越高。水晶和机械台的需要用replay来训练最佳隐蔽位置,躲过对方农民探路路线以及虫族房子可能路线等。

02 优先解除反隐:

这是一个典型的知识图谱+AI的智能体。首先,要从知识图谱中查询出对方种族反隐的实现装置,并采用对应的反制战术。这个过程中有大量的可能性,需要用AI得到一个最优解。例如,对方是人族,在这个时候一般已经有侦测扫描了,如果所有黑暗圣堂武士一起空投有可能被一波吃掉。需要分批(一批1个)消耗对方的扫描次数,等对方扫描次数(知识图谱获取)用完了再大规模折跃黑暗圣堂武士,这个训练只需几十个样本就可以完美实现。

03 折跃部队:

这是一个态势感知网络和兵种相克图谱相融合的策略。例如对方(虫族)开始变眼虫反隐,这个时候就要折跃追猎者来清除障碍。

 

04 暗堂操作:

微操是胜败的关键要素,著名的AlphaStar中有大量作战单位微操智能体,同等条件下可以以最小损失歼灭对方主力部队。

(关于如何训练战术和智能体,后续有机会再单独深入讲解)

结果直接上图:在对方(蓝方)经济和部队都有优势的情况下击垮它!

nMnIbib.png!web

未来的战争胜利将取决于认知速度,即让机器正确理解作战态势并做出决策。而认知速度的快慢,极大程度上取决于智能技术的运用。因此,智能体辅助是兵棋系统升级换代的关键。

渊亭科技一直致力于基于多智能体的战略推演平台的研究,希望用人工智能技术赋能信息化时代的新型作战指挥系统,为我军提升战略能力和安全环境贡献力量。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK