DeepMind 构建了一套模拟想象力的神经网络

经常有人问我，人工智能有想象力吗？我是怎么回答的呢？现阶段，人工智能可以说是已经具备了一定的想象力，比如基于生成对抗网络（Generative Adversarial Networks，GAN）的各种技术，就能凭空画出实际不存在的、但极为逼真的事物。这可以称为人工智能有想象力吗？我认为可以。今天，DeepMind 为了让人工智能拥有想象力，他们为这一目标做了尝试，让我们看看他们是怎么实现的。想象力并不是关键，关键是自我意识。

为了构建受神经科学启发的架构，DeepMind 创建了一个类似人类思维想象力的模型。

创造出类似人脑认知能力的智能体，一直是人工智能领域中最难以实现的目标之一。最近，我花了一些时间研究几个与深度学习系统中与想象力有关的几个场景，这让我想起了去年 Alphabet 的子公司 DeepMind 发表的一篇关于这一主题的论文，这篇论文的影响力很大。

想象力是人类思维的神奇特征之一，正是有了想象力，我们人类才能够与其他物种区别开来。从神经科学的角度来看，想象力是大脑在没有任何直接的感觉输入的情况下，形成图像或感觉的能力。想象力是我们学习过程中的一个关键因素，因为它使我们能够将知识应用到特定的问题中，并更好地规划未来的结果。当我们在日常生活中执行任务时，为了优化我们的行动，我们会不断地“想象”潜在的结果。这一点儿也不奇怪，因为从认知的角度来看，想象力常常被认为是进行规划的基础。

长期以来，将想象力整合到智能体中，一直是该领域研究人员难以实现的目标。让我们想象一下这样的人工智能程序，它们不仅能够学习新任务，还能规划和推理未来。最近，我们已经看到了一些令人瞩目的研究成果，比如在 AlphaGo 等系统的智能体中添加想象力的方面。去年， 他们发表了一篇著名研究论文的最新修订版 ，该论文概述了实现这一目标的首批神经网络架构之一。

在智能体的背景下，我们该如何定义想象力呢？在 DeepMind 的案例中，他们将想象力增强的智能体定义为包含以下特征的系统：

深度强化学习（Reinforcement learning，RL）通常被认为是想象力增强的智能体的标志，因为它能够试图将观察结果和行为关联起来。但是，深度强化学习系统通常需要大量的训练，训练结果是针对环境中特定任务的知识定制的。DeepMind 的论文提出了一种替代传统模型的方法，即使用通过环境模拟来学习“解释”不完美预测的模型。这一想法是让并行模型使用模拟来提取有用的知识，可用于核心模型。就像我们经常判断一个人（那个家伙没有想象力）一样，我们可以将想象力模型视为深度学习项目的增强能力。

I2A 架构

为了让深度学习智能体能够实现“想象力”，DeepMind 团队依赖于一种 I2A 的智能神经网络架构。I2A 架构的关键元素是一个称为 Imagination Core（想象力核心）的组件，它使用一个环境模型，在给定有关当前环境的信息的情况下，对其未来状态进行预测。给定过去的状态和当前的动作，环境模型可以预测下一个状态和来自环境的任意数量的信号。I2A 架构通过当前的实际观测来初始化想象的轨迹，并随后将模拟的观察结果输入到模型中，在未来的多个时间步骤中 rollout 环境模型。在每次 rollout 中生成的操作有助于定义智能体策略，然后由 Imagination Core 模块使用。

译注：Rollout，在仿真轨迹层面上进行更新学习中，rollout 表示一次试验，一条轨迹。

I2A 架构的关键元素之一是 rollout 编码器，用于负责“解释”Imagination Core 产生的信息，并提取对智能体决策有用的任何信息，甚至在必要时忽略它。

玩仓库番游戏

为了了解 I2A 模型的运行情况，DeepMind 团队创建了一个实现，尝试玩仓库番（Sokoban）游戏。仓库番是一个经典的规划问题，其中智能体必须将许多箱子推到给定的目标位置。因为箱子只能推（而不是拉），所以许多动作是不可逆的，一旦出错，会使游戏无法闯关而失败。因此，人类玩家被迫提前规划走法。想象力增强模型表现出了从不完美的环境（如仓库番）中学习的惊人能力，如以下视频所示：

视频地址： https://v.qq.com/x/page/h3042q70ash.html

译注：仓库番（Sokoban）是一款经典电子游戏，1982 年由日本 Thinking Rabbit 公司首次发行。之后其他游戏开发者争相制作仿制或衍生作品。致使仓库番成为此类游戏的代名词。游戏要求玩家在二维地图上把箱子推到指定地点，当中牵涉到大量的空间逻辑推理。

DeepMind 团队对照更传统的深度强化技术对 I2A 模型进行了基准测试，结果很是引入注目。I2A 的表现达到了惊人的 85%，远远优于其他策略。

仓库番实验最令人印象深刻的结果之一是，想象力增强的智能体能够在可能不完美的环境模型中想象轨迹，并忽略不准确的信息。考虑到越来越多的场景需要智能体在信息不完善和数据有限的情况下进行操作，这一点尤为重要。

想象力是那些能够为新一代智能体打开大门的关键能力之一。像 I2A 这样的技术，仍然处于非常初级的阶段，但它可以成为增强学习架构的关键组成部分，在这种架构中，智能体不仅能够学习现在，而且还能够“想象”未来。

作者介绍：

Jesus Rodriguez，Invector Labs 首席科学家、执行合伙人。IntoTheBlock 首席技术官。同时具有天使投资人、作家、多家软件公司的董事会成员的身份。

原文链接：

https://towardsdatascience.com/deepmind-builds-neural-networks-that-simulate-imagination-921b31903705