AI研习丨类脑研究工作进展_

文/黄铁军

报告主要有四个方面内容，一是为什么类脑？二是怎么类脑？三是生命模拟进展；四是类脑视觉进展。

一、为什么类脑

类脑是人工智能最重要的研究方向之一，人工智能不可能脱离类脑完成独立的研究。现在的深度学习、强化学习与传统的符号主义、连接主义和行为主义密不可分，特别是连接主义。深度学习采用深度神经网络，今天强化学习取得的成功，背后的训练载体也是神经网络，所以神经网络在人工智能中的核心地位和基础性作用确信无疑。

所谓类脑，本来就是连接主义的初心，连接主义的目标归根结底是做一个什么样的神经网络，类脑就是要做像生物大脑那样的精细人工神经网络。这几年国内大家觉得类脑是一个新的研究方向，其实它本来就是人工智能发展的“主旋律”。

但在人工智能的发展过程中，人工智能领域所讲的神经网络，都是比生物神经网络简单得多，从1940 年的 MP 神经元模型（现在还在使用）一直到获得 2018 年图灵奖的深度神经网络，经过了很多年迭代，也取得很好的成果，比如深度学习和强化学习实现了重大突破。但是是否问题就真的解决了？一方面，深度学习在人脸识别等方面取得了重大突破，但是它在做这些任务时还存在一些根本性缺陷。例如，现在人工智能可以区分上亿张脸，但是如果加一个对抗，它就认不出是两个人；加一张对抗图片，就检测不到人，这种低级错误人不会犯。这个问题可以修改完善，但是不能穷尽，总会发现新的缺陷。

为什么会发生这种问题？现在已经有很多补丁方案或解释，而归根结底是因为今天的人工智能神经网络与生物神经网络相比还存在巨大差别，虽然有几百层、上千层、多少亿的连接，但是今天训练出来人工神经网络结构复杂性、神经元复杂性、网络架构、机理复杂性等与生物神经系统相比还是“小巫见大巫”。这里显示的是视皮层的复杂性，且不说神经元的复杂性，仅神经元数量及复杂的结构关系，就是今天的人工神经网络远远无法相比的。人工神经网络的复杂性远比生物系统简单，功能存在巨大差异也就毫不奇怪了。

关于要做什么样的神经网络、做到什么程度，这件事在人工智能发展初期，甚至“人工智能”这个词没有出现时都有很多明确的观点。现在回过头来看，这些观点到现在远没有做到。比如，第一个，计算机领域里的先驱冯 • 诺依曼和图灵。冯 • 诺依曼在 1948 年说过一个观点，大脑视觉系统本身的连接模式可能是（视觉）原理最简单的逻辑表达或定义，也就是，做计算机视觉系统、机器视觉系统，如果要能与大脑视觉功能相提并论，要寻找一个结构模式，最简单的就是大脑本身，想做得比它简单还要功能一样，不可能。大脑最简单的完整模型就是大脑本身，想把它形式化地简化，用逻辑、用算法等方式来实现它是做不到的。当然，仿真大脑并不一定非用蛋白质和有机物实现，也可以用别的材料和器件，但是模型要做到像大脑一样复杂、完整。

图灵在 1950 年发表的人工智能领域第一篇文章《计算机器和智能》里提到，“真正的智能机器必须具有学习能力，制造这种机器的方法：先制造一个模拟童年大脑的机器，再教育训练。”但是，今天人工智不是这样做的，都是用基本多层网络，而不是用一个高精度的复杂的神经网络开始训练。所以，现在说人工智能还在初期，一点都不为过，和脑相比，差别太大。

二、怎么类脑

脑肯定是一个重要的借鉴对象，怎么类脑？这个问题有很大争议，不同的人看法也不同。

2013 年之前，我对人工智能和类脑的想法和大多数人类似，认为要做类脑的智能系统，首先要解决智能科学问题，搞清出智能是怎么回事。但是2014 年前后我的想法有了根本性的变化，发现这种想法有局限性。说到底，科学是不是技术的基础？是不是首先解决科学问题才能解决技术问题？当时我们调查了一些例子。

例 1中国发明指南针是 11 世纪甚至更早，电磁学是 19 世纪。要解释指南针为什么指南，当然要用到电磁学、地球科学，而发明指南针时还没有电磁学。但是没有科学原理，就不能发明指南针吗？

例 2飞机发明是 1903 年，空气动力学提出是在1939—1946 年之间，并且现在还在完善过程中。很显然，飞机飞上天不是有空气动力学的指导，而是莱特兄弟做了一个装置，尝试改进它，就上天了。

例 3深度学习发展了 10 多年时，2012 年深度学习已经火热了。后来，可解释性越来越热，很多人都说可解释最重要，但问题在于，今天深度学习的可解释性还在探索过程中，难道要等到可解释原理研究出来再去发明深度学习？

历史就是这样，深度学习作为网络系统工作得很好，用大数据训练能够取得很多实用价值，这是技术发明，而这个技术发明并不依赖于我们对神经网络背后的信息加工原理和数学模型的提出。虽然原理解释非常重要，是重大科学问题，但它是深度学习发明之后的事。总之，不是先提出一套科学理论，再去指导技术专家发明一个神经网络。

事情有先后，什么是先，什么是后？类脑怎么做？等脑的科学原理都解释清楚后再构造系统？当时我的一个重大思想转折是，我们应该设计一个人工智能系统，而不是等着原理最终揭示。

空气动力学理论提出者冯 • 卡门说：“科学家发现现存的世界，工程师创造未来的世界。”人工智能首先是技术，是创造越来越智能的系统。科学家是要发现事物背后的原理，不能僵化地认为科学发现是技术发明的前提。我刚才举的例子是先有技术发明，后有科学发现，当然也有先有科学发现，后有技术发明的例子，两者是相互促进、相互交织的过程。2013 年我的思维方式是受很多教育的影响，包括现在的很多教育和大家的看法都是这样，先把科学问题解决再说技术。包括基金委，所有的项目都要写科学问题，那么，如果我们让莱特兄弟和发明指南针的人写科学问题，他们怎么写？这种单向思维方式有很大问题。

由上所述，人工智能和智能科学有什么关系？我认为，脑科学（包括神经科学、认知科学）是探索生物智能的机理，属于自然科学的范畴。智能科学是研究智能现象背后规律的科学，广义的智能科学包括脑科学；狭义的智能科学专指以机器智能为对象的技术科学。脑是有智能的，所以它背后有规律。人工智能系统也有智能，背后的规律是什么？我们要去研究如深度学习的可解释性就是智能科学，如果一定分类，按照钱学森的定义就是技术科学。技术科学也是科学，脑科学是科学，自然界里有宇宙、有大脑、有各种各样复杂系统，有人认为大脑是最复杂的系统，大脑智能是最复杂的现象，所以把脑科学叫做“自然科学的最后疆域（the last frontier）”，有一定合理性。智能科学不仅研究脑，还要研究人造智能背后的规律，人能不能造出比脑智能更复杂、更奇怪或者更不同的系统？这种可能性肯定存在。我们不能说大脑是唯一的，不能说除了大脑之外就不能有别的智能系统，以及超过它的智能系统。从这个意义上讲，智能科学是为科学探索开拓了一个无穷无尽的疆域。

这样来看问题就很清楚，人工智能就是一门技术，这门技术构造很多复杂的系统，这个系统有应用目的，同时为科学研究提供越来越多的新对象，从这个角度来看，智能科学是技术进步的后果而不是前提。所以至少应该把智能科学和人工智能作为相互影响的过程，不能高高在上的理论指导实践，这种观点对双方发展都不利。

我认识到这点后写了一些文章，其中一篇题目叫做《人类能制造出“超级大脑”吗？》。今天电脑已经在计算等方面很强，如果我们要做更智能的系统，一定要构造出更复杂的一个机器——“超级大脑”。怎么做？按照当前技术的发展，我们什么时候能够造出这样的机器？构造一个系统在神经网络层次逼近大脑，在某些方面超过大脑，这样一个物理基础、载体。当时我预计 30 年能造出超级大脑，也就是大概 2045 年时人类有可能造出这样一个机器，这个时间恰好就是计算机发明 100 周年时，1946 年计算机发明造出来第一台计算机，大约 2045年、2046 年造出新一代人工智能的物理基础的机器，它作为载体意义上的能力可能与大脑相当。总之，我们要向大脑学的首先不是大脑的原理，那是一个长期的事情。现在能做的是在神经科学领域对大脑解析，神经科学已经给了很多基础网络架构及信号加工模型，能不能用电子形式把生物脑的结构和信号加工过程重现，这就是我说的“类脑机 / 仿脑机 / 电子大脑”。这些冯 • 诺依曼、图灵都提过，这里只是说在现代技术条件下大概什么时候能做出来。

做出这个机器后，训练它肯定会产生功能，至于这个功能复杂到什么程度现在不好说。因为这些功能是在机器上出现的，所以相对方便我们去理解背后的原理，它是一个人造装置，比做脑实验要简单很多。如果在这个平台上探索能找到智能机理，可能对理解人的大脑有帮助，对加速揭示大脑奥秘是一个促进。当然，对大脑奥秘的理解有了进展，就可以继续双向循环下去。所以，类脑之路不要只盯着大脑原理，而要从比较清楚的神经网络结构开始构造迭代，这样科学和技术相互促进，会加速这个过程。

很多老师都看过《AI 的 25 种可能》这本书，其中有一章给出了人工智能的三定律。第一定律称为阿什比定律 (Ashby’s law)，观点是任何有效的控制系统都必须与它所控制的系统一样复杂，也就是一个简单系统控制不了复杂系统。第二定律，生物体最简单的完整模型就是生物体本身（冯 • 诺伊曼），没有比它更简单的能实现同样功能的模型。第三定律，任何简单到可以理解的系统都不会复杂到可以智能的运行，而任何复杂到可以智能运行的系统都会复杂到无法理解；也就是我们是不是真正能等到把大脑完全理解的那一天？如果相信它是个真正的智能系统，可能我们永远无法理解。我们对大脑奥秘的揭示可能是一个无穷无尽的逼近过程，但是，即便没有办法理解它，也完全有可能在不理解智能的情况下把它构建出来。这是我的最主要观点，即不理解智能也能把它造出来，这是人工智能方向应该做的。

三、生命模拟进展

因为有了基本的方法论，过去的六七年时间里，我们团队回到了生物神经系统，研制一个软硬件来构造这个系统，希望 2045 年后能够做出来。

大脑是神经系统、神经网络，我们期望以人出生时大脑的神经网络作为训练人工智能的起点，前提是先要把神经网络解析出来，然后才能重构它、模拟它。

如前面所说，大脑神经网络的复杂度很高，这里面至少有两个经典工作，第一个是 1952 年做出、1963 年获得诺贝尔奖的 Hodgkin-Huxley 方程，它是理论神经科学认可的表达神经元信号加工过程的数学物理模型。第二个是 1959 年的线缆理论，生物神经元有复杂的结构，很多的信号来源怎么从树突端最后汇合到胞体，再通过轴突送出去，这里每段信号的变化过程都有一个模型——“精细神经模型”，它和今天人工神经网络讲的“点模型”有巨大差异，实现“精细神经模型”的复杂程度也特别高。

Hodgkin-Huxley 方程是一组微分方程，因为要精细建模，复杂的神经元结构要切分成很多舱室，每个舱室都要有一组方程去描述，其计算复杂度比我们今天说的“N 个输入，1 个输出”的神经元模型复杂得多，计算复杂度高多个数量级，这也是为什么这个工作没有多少人做的原因。但是如果我们真要类脑，不到这么精细的层次去类，怎么可能实现脑的功能？因此必须要回到精细神经网络结构，通过离子通道仿真等去重现神经元的信号加工过程。

这方面研究有很多人做，代表性工作有很多。这里讲的脉冲神经网络用的 LIF 模型是最简单的脉冲神经元模型，但还是点神经元。一直到 Hodgkin-Huxley 方程这样的精细模型，中间有很多人做了简化和优化工作。总之，目的就是希望能够精确地实现 Hodgkin-Huxley 方程这样的模型。

由上来看，神经形态计算或者脉冲神经网络芯片与精细模拟还差得相当远。为了解决这个问题，我们选择的是软件模拟路线，因为软件可以和数学计算做得很接近，只是它消耗的计算机资源高，但可以更接近生物的过程。其中最有名的是 1994 年耶鲁大学的 Hines 提出的算法，以及开发出来专门做精细神经网络建模的 NEURON 仿真平台，今天超过80% 的大脑精细建模的系统都是基于这个平台。

2015 年前后我们用 NEURON 仿真平台时发现计算效率太低，做不了较大规模的神经网络，所以要做的第一件事就是在精度不变的情况下提升计算效率，这种工作是我们计算机专业比较擅长的。我的一名学生这件事做了 7 年，调研并比较了所有算法加速文献，发现过去十几年来效率提升非常有限，为此他博士期间一直在做优化算法，现在有了比较大的突破。

总的来说要发现精细神经元计算的并行性，而它是一个类似树形的结构，并行性是天然存在的，关键是最优并行到底能做到多少，这是我们要解决的第一个问题——提出一个最优的并行算法，这是一个工作。第二个工作是将 GPU 的高速缓存、共享内存等特性充分挖掘出来去用、去优化，利用优化算法在 GPU 上实现。

做好这两个工作后就可以做大规模的精细神经网络仿真，我们采用 2020 年卡罗林斯卡研究所Hjorth 等提出的网络建构方法，对小鼠纹状体进行精细建模，现在还没有真实的上万甚至更大的精细神经网络生物，很多都是构造出来的。对比实验采用的北京大学“生科 1 号”超算系统，其中每个 GPU 节点包含 4 块 Nvidia Tesla V100 GPU，而CPU 平台，每个 CPU 节点采用 2 个 Xeon Gold 614216 核 CPU。在这个平台上对 1 万精细神经元大规模的纹状体网络做建模，共有 142 007 820 个舱室。对比结果显示，在 30 个 CPU 节点上用 NEURON 并行仿真，仿真时间是 1 842 s；在 25 个 CPU 上仿真时间是 2 243 s；在 1 个 GPU 上仿真时间是 2 168 s。也就是这个加速相当于 1 个 GPU 节点等于 25~30 个 CPU 节点的能力，算法效率提升了 10 倍以上的。

另外一个工作就是 2018 年开始智源研究院做的高精度生命模拟系统。这个平台现在已经基本完整，但还不是一套成熟的软件，其中里面很多软件有些是自己开发的，有些是领域通用的。目前整个体系已经建立，从数据采集，如解剖学的、电生理的、生物信息学等数据导入后可以做加工、处理，使神经元的结构呈现出来。因为每个神经元要仿真，每个神经元的电生理按照 H-H 方程去调参数，调出一个神经元模型，逼近生物的电生理过程，以及把很多神经元搭成一个精细神经网络，然后运行起来。在平台上也做一些模型，做模型只是为了证明这个平台的能力。有生命科学价值的模型，还要与生命科学家后续开展协作。

现在在做简单的线虫模型和灵长类视觉模型。这是 2022 年智源大会上发布的第一个阶段对线虫的模拟。线虫是神经元最简单的模式动物，只有 302 个神经元，即便是这样一个简单的神经系统模拟，工作量和复杂度也特别高。1986 年线虫 302 个神经元连接组关系就已经出来，至今三次诺贝尔授奖都与线虫相关，但是到现在都没有构造出一个高精度仿真线虫。

我们做的工作就是首先将线虫神经系统尽可能高精度仿真出来；其次要一条“活”线虫，所以要给它构造一个三维流体的、实时的、动态的物理仿真环境，让它在这个环境里能够活动、训练，这样才能把智能表现出来，实现全闭环的智能训练。

仿真线虫所用数据都是来自生命科学领域过去这些年测出来的电生理在内的各种数据，然后把它变成计算模型。这个工作只是一个阶段，302 个神经元是全的，连接关系也是完整的。高精度指其中 106 个与嗅觉和运动回路相关的神经元是高精度的，是有电生理的数据，而且用自己做的工具去训练这些神经元，其信号加工动力学过程与电生理是逼近的。最复杂的神经元有 2 313 个舱室，最简单的有 10 个舱室，支持的离子通道类别是 14 个。

线虫身体以及线虫所生存环境的物理仿真是另一方面工作。有了这两个东西后就可以把一个线虫放到一个环境里去训练它，它所有的感知和控制是靠自己的神经系统进行调控，其身体控制 96 块肌肉、3 000 多个运动单元。此精度在很多方面远远超出 OpenWorm 系统。

做线虫只是迈出了第一步，但是我认为全世界在这个方向会不断加速，有可能在 2035 年就敢碰人类大脑，相信那时人类大脑的很多数据已经解析出来。

四、类脑视觉进展

视觉系统的工作。视网膜里 60 多种细胞我们做了 20 多种，包括神经元和神经联接的各种结构，希望 5 年之内把灵长类视网膜完全做出来。

我们不能仅做基础科学探索，还要做应用。所以我们把灵长类视网膜中基本原理做成一个芯片，做成相机，作为脉冲神经网络的信号输入装置。相机从机理上模拟生物的一部分，就是脉冲感知，在性能上有巨大提升。例如，生物系统大约是 10 赫兹，做成电子芯片可以达到 4 万赫兹（40 万赫兹也能做到），这样的芯片就能看到超高速风洞产生的激波。

五、结束语

1.人工智能是一门技术，目标是创造越来越智能的系统，大脑是最好的蓝本。

2. 类脑之路是首先构造智能系统，是自底向上的方法论；然后再理解智能原理，而理解智能原理应该是构造出智能系统后的事情而不是前提。这里阐述的类脑之路是模拟神经网络结构和信号加工机理，从简单的像线虫、视网膜这样的神经网络，逐渐往复杂的像人的大脑去类。

3. 线虫尽管只有 302 个神经元，精细模拟很难，我们只是迈出了一步，距离做一个真实的逼近线虫还有很多工作要做。但是并不意味着生命模拟是一件长期的事情，相信和人类基因组一样，一开始很难，随着各种技术手段进步速度会越来越快。很难预期，但是我认为差不多 20 年把人类大脑模拟出来是有可能的；大脑解析在神经科学的进步也是有可能的。

4. 类脑视觉方面，视网膜的功能模拟现在已经有了突破，结构的精细模拟大概走了一半的路程，可能还需要五年能模拟精细的视网膜。启发人工智能是一个沿途“下蛋”过程——结构仿脑、功能类脑、性能大幅度超脑，比生物系统高多个数量级，应用价值也是巨大的。

（参考文献略）