科创中国

　　问题背景：

　　随着近年深度学习神经网络在模式识别等应用领域取得巨大成功，人工智能（AI）相关技术已成长为跨行业的经济新增长点和国家战略。在社会各界普遍满足于AI技术带来的超过人脑识别精度的图像语音等模式分辨性能，并巨额投入形成相关产业时，却忽略了一个重要的事实，目前以深度学习为代表的AI技术从数学本质上看只是一个参数可调的线性或非线性曲线拟合器。这样的技术作为工具，可以很好地解决分类、概率相关关系推论等可以采用数学公式很好地描述与表达的问题，而不需我们深入了解其概率统计原理。然而，此技术根本无法被用来模仿高等哺乳动物的生物智能行为，换而言之，它无法解决因果关系计算等更高智力活动范畴的问题。这在很大程度上是因为目前的AI系统通常没有（或无法）引入时间的概念，因而无法形成时空这个物理世界的基础。另一方面，目前深度学习技术通常需要奖惩策略或大量的已标定数据作为训练样本，来尝试识别小规模的数据，成本高昂。识别效率仅处于举三个训练实例才能返回一个测试结果的阶段（举三返一），而非人脑具有举一反三的推广推理能力。因为这二点主要缺陷，目前以深度学习为核心的AI产品在理论上并不具备模仿人类甚至高等哺乳动物具有的高等智力活动的潜力。

　　关键突破点：

　　如何改善现有的AI技术，使之可以真正模仿人类各个中枢神经系统的认知功能是一个亟待解决的科学与工程技术难题。目前的深度学习技术基于所谓的第二代神经网络模型，其特点为组成网络的基本单元，即神经元，由一个激励函数决定其输入变量与输出变量间的关系。此关系通常为一个静态过程，即不合理地忽略了时间因素对输入，过程与输出的动态影响。早在深度学习技术诞生之前的上世纪九十年代，西方国家的科技界已经认识到以第二代神经网络模型为基础的AI技术在模仿人类等高等生物智力活动方面的先天不足，提出了第三代神经网络，即脉冲神经网络（Spiking Neural Networks–SNN）的概念。科学界通常认为生物神经元之间通过生物电脉冲传递信息。脉冲神经元为构成脉冲神经网络的基本单元。它们之间的信息交换有效地模拟了生物神经元的机制。一个脉冲神经元可以接受成百上千个其他脉冲神经元的电脉冲序列刺激，经内部的膜电位累积效应，产生其自己的电脉冲序列输出，从而刺激其他相连接的脉冲神经元。构成高等哺乳动物大脑各个中枢系统的神经元种类多种多样，在计算机模拟实验里通常按照一个神经元对其他神经元刺激的效果来划分为兴奋型或抑制型。自从法国神经科学家L.Lapicque早在1907年提出积分反应型神经元模型以来，多个或简或繁地模仿生物神经元膜电位活动机制的数学模型，及其单个或群体的生物物理或化学特性，已被科学界广泛研究。其中在神经科学和计算机科学中应用比较广泛的为Hodgkin-Huxley，Leaky Integrate-

　　and-Fire(LIF)和Izhikevich等三种神经元模型。

　　迄今为止，基于脉冲神经元的脉冲神经网络因为三个显著特点，即高度模拟真实生物大脑的工作机制，内在的时间因果关系因素，以及含有信息编码的脉冲稀疏性导致的低能耗等，已经引起西方发达国家科学界乃至国家层面的高度关注。近十多年来，美国奥巴马政府启动了脑科学研究计划（Brain Initiative），欧盟的人类大脑计划（Human Brain Project），乃至各国政府着力推动的类脑计算。瑞士的蓝脑计划尝试利用分子层级的哺乳类脑部逆向工程建立一个电脑模拟脑，日本的Brain/MINDS计划试图通过研究狨猴的大脑神经网络功能来了解人类大脑的信息处理和病理机制。近二十年在生物实验中发现的脉冲神经元的学习规则，如Spike Timing-Dependent Plasticity(STDP)定量地印证了上世纪神经网络之父D.O.Hebb提出的著名的Hebb规则。此类研究正日益形成现代科学的驱动力，并日益完善第三代神经元网络等研究基础。得益于计算技术和电子制造技术的发展，基于第三代神经网络的超大规模集成电路实现已经演变成一个崭新的独立学科，即神经拟态工程学（NeuromorphicEngineering），其具有发展成第四代神经网络系统的潜力。以神经拟态工程学为基础设计出的AI芯片将具有脉冲神经网络的三个主要特点，在性能方面将远胜于当今基于ARM等哈佛结构处理器的所谓AI芯片。无论理论还是工程应用，我国均未出台相应的国家开发计划。

　　在蓬勃发展的第三代神经网络类脑理论层面的科学研究方面，以中科院上海神经科学研究所为代表的我国科研机构也拥有一席之地。然而，在包括神经拟态工程等第三代类脑神经网络的工程技术应用层面我国和先进水平有较大差距，可以此作为突破点。具体来说，目前国际第三代神经网络的应用与实现的热点在于全脑功能模拟与仿真，和各个脑神经中枢功能（如听觉、视觉、触觉、味觉等等）的脉冲神经网络软件模拟和神经拟态新硬件实现。代表性新硬件系统包括英国曼彻斯特大学Steve Furber教授研究团队的Spiking Neural Network Architecture(SpiNNaker)通用硬件平台系统。该系统于2018年11月初推出的最新计算平台

　　集成了50万个ARM计算核，可以实时硬件模拟460兆个脉冲神经元及其间的多达4600亿个可调强度的突触连接。英特尔公司于2017年开发的Loihi项目则在一块神经拟态芯片上集成了128个计算核，每个计算核含有1000个脉冲神经元，整个芯片共有13万个脉冲神经元和1.3亿个突触连接。而加拿大滑铁卢大学的C.Eliasmith团队于2012年实现了世界上第一个最大、最逼真的人类大脑功能的模拟系统Semantic Pointer Architecture Unified Network(SPAUN)。该系统基于开源的Nengo软件，模拟了250万个基底核（Basal ganglia）脉冲神经元，实现了对8个具体任务的学习和决策重现。该工作一经发表在Science，Nature等顶级期刊即引起广泛关注，被评为当年的10大科学发现之一。

　　战略意义：

　　回想上世纪四十年代电子管计算机的出现，虽然体积庞大但极大地促进了科技发展。如果我们看到最新发布的SpiNNaker系统同样占据了一个大房间的空间，却仅能够实时模拟人脑0.5%容积的计算量，我们会觉得历史何其相似。当前正值国家提倡发展新一代人工智能技术，我们应当乘此东风，紧随世界先进的科技发展潮流，适时加大对包括第三代乃至第四代神经网络系统的新一代人工智能领域的相关工程技术应用研发，必将实现在该领域的弯道超车。