谷歌研究员赋予"基于脉冲神经网络的瞬态编码"一个意味深长的芬兰名字

From: Google 编译:T.R

神经科学的新发现不断启发着高效神经网络的出现和进步。这些模型近年来在游戏、视频处理、细粒度理解等广泛的方面都实现了令人惊叹的成果。虽然成果斐然，但目前的神经网络还没有充分利用神经系统的一个重要特性—— 信息的瞬态编码 （temporal coding，也有人翻译为“时间编码”） 。

对瞬态信息的保留有助于更好地表达像声音一类的动态特征，同时可以对瞬态发生的时间实现快速响应。在生物中，尽管神经系统有几十亿的神经元，但信息仅仅依赖于 单个脉冲信号 进行传递，单个神经元将信息编码到时间信号内部并发出信号在神经信号中进行传输。 信号脉冲本身就包含了丰富的信息 。

在如此神奇的生物特性启发下， Ihmehimmeli  项目就聚焦于探索脉冲人工神经网络( spiking neural network, SNN  ) ，来利用不同的架构和学习体制充分发掘瞬态信号动力学行为。

在芬兰语中， Ihmehimmeli 意味着一种不易理解但具有深刻影响复杂工具或机器结构 。它与基于瞬态信息编码来构建复杂的递归神经网络架构思想不谋而合，所以 谷歌的研究人员 将这个意味深长的词作为了项目名称。

研究人员在这一项目中 利用了人工脉冲神经网络和瞬态编码机制来处理信号 ，在这种形式的网络中，像更响亮的特征和更明快的颜色这类人们更感兴趣或更不寻常的特征可以引起早期神经脉冲。随着级级递进的信息处理过程， 首先激活的神经元将胜出 。

这样的编码机制天然存在于对于脉冲时序输入的神经元特征中；而这种网络的输出则由最早激活的输出神经元来进行编码。

研究人员在最近发表的模型中阐述了 全联接的脉冲网络对于瞬态编码的处理能力 。在模型中使用了生物特性启发的突触转移函数，模拟神经系统在接收信号时膜电位的电势升高和衰减过程。信号强度变化的强度是由连接的“权重”决定的，这代表了突触的效率。更关键的是， 这种形式的表达可以精确地得到突触后脉冲时间相对于突触前脉冲时间和权重的导数 。

训练这类网络的过程是调整神经元间权重的过程，随之而来也会对在网络中传播的脉冲时间进行调整。与卷积网类似这里也使用了反向传播的方法。在训练过程中合成了一系列脉冲，脉冲时间用反向传播进行学习得到，为网络提供瞬态的参考信号。

研究人员基于编码后的时间(脉冲)在经典的机器学习基准上对这一网络进行了训练和验证。结果表明 脉冲神经网络成功地解决了噪声布尔逻辑问题，并在MNIST上取得了97.96%的精度，可以和相同架构的全联接网络性能相媲美 。

然而和经典网络不同的是，脉冲神经网络使用了 更具生物通用性的编码特性 ，对于精度的略微权衡使得它具有更好的计算性能和能效比：

研究人员在MNIST上训练脉冲神经网络的时候观察到了网络模型在两个域中的明显移动。在网络训练的早期，网络模型展示出慢且高精度的特性，几乎所有的神经元都在网络决策前激活发出信号；而在训练的末期，网络则移动到了快速但精度略微下降的区域。在没有刻意优化下这样的行为十分神奇。这使得网络可以审慎地作出决策，并像人类一样在精度和速度上进行权衡。

同时，脉冲网络还可以从空白的输入中重建出学习到的数字，通过逐渐调节网络最大化对应输出神经元的响应即可。这意味着脉冲神经网络可以像人类一样学习到数字的有效表达，而不是对像素的组合与匹配。这种可解释的学习行为对于理解网络如何工作至关重要，从而避免了输入的微小变化带来输出的剧烈改变。

数字0,1,3,7的生成结果

这一研究只是Ihmehimmeli项目的一小步，在未来更多的工作将要在探索基于瞬态编码的类生物神经计算上展开。

与此同时研究人员还在同时进行一些有趣的实验：训练脉冲神经网络进行瞬态编码来控制虚拟环境中的机器人行走移动、训练2D的脉冲栅格来预测单词等等。研究人员希望通过一系列深入的工作来加深对于自然界中智慧过程的理解，使得我们可以 有效掌握基于瞬态编码的神经网络结构，并充分利用脉冲表达的不同内在状态和状态转移过程实现更优秀的神经网络模型 。

更多的研究请参看：

https://arxiv.org/abs/1907.13223

https://github.com/google/ihmehimmeli

-The End-

将门 是一家 以专注于 发掘、加速及投资技术驱动型创业公司 的新型 创投机构 ，旗下涵盖 将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务 专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群 专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金 专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括 机器智能、物联网、自然人机交互、企业计算。 在三年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、 宽拓科技、 杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务， 欢迎发送或者推荐项目给我“门”:  [email protected]

    

点击“ ❀在看 ”，让更多朋友们看到吧~