构建硅脑

晰数塔互联网快讯
2020-07-24 15:44

本文来自微信公众号：神经现实（ID：neureality），作者：Sandeep Ravindran，译者：顾凡及，编辑：EON，题图来自：电影《普罗米修斯》

2012年，计算机科学家达曼德拉·莫达（Dharmendra Modha）用一台强大的超级计算机仿真了超过5000亿个神经元的活动，其数目甚至超过了人脑中850亿个左右的神经元数。这是莫达近十年工作的顶峰，在这十年里，莫达从仿真啮齿动物和猫的脑开始直到仿真有人脑规模的系统。

该仿真消耗了巨大的计算资源，它用了150万个处理器和1.5PB（150万GB）的存储器，然而其速度仍然慢得令人抓狂，比脑计算速度要慢1500倍。莫达估计，如果要使它和生物的实际运行速度一样快，就需要12吉瓦的能量，大约是胡佛大坝最大供电量的6倍。加州北部IBM阿尔马登研究中心（IBM Almaden Research Center）的脑启发计算首席科学家莫达说：“然而，这对脑来说只是小菜一碟。”这种仿真远远无法复制人脑的功能，而人脑的功率与一个20瓦的灯泡差不多。

自2000年初以来，硬件的改进以及实验和理论神经科学的进步，使研究人员能够创建更大、更精细的脑模型。但这些仿真越复杂，就越会受到传统计算机硬件的限制，莫达极度耗电的模型就说明了这一点。

莫达的人脑仿真是在劳伦斯·利弗莫尔国家实验室（Lawrence Livermore National Lab）的蓝基因/Q红杉超级计算机（Blue Gene / Q Sequoia supercomputer）上运行的，这台计算机是传统计算机硬件的一个无比强大的集合体：它的工作要靠一大堆传统的计算机芯片，这些芯片是指甲大小的硅片，其中包含数百万个晶体管。传统计算机芯片的结构和功能原则与我们的脑完全不同。

计算机的“思考”与我们的脑截然不同，这一事实让它们在处理数字运算等任务时具有优势，同时也让它们在其他一些领域里明显显得很原始，比如理解人类的语言或从经验中学习。如果科学家们想要仿真脑，使其能与人类智力相媲美，更不用说超越人类智力，他们可能就必须先要研制更好的构件——某些受我们脑启发的计算机芯片。

聪明芯片（SMART CHIP）：由物理学家卡尔海因茨·迈尔（Karlheinz Meier）领导的海德堡小组设计的神经形态芯片（neuromorphic chip）。该芯片有384个人工神经元，由10万个突触相互连接，运行速度比脑计算速度快约10万倍。图片来源：HEIDELBERG UNIVERSITY

所谓的神经形态芯片（neuromorphic chips）复制了脑的架构，也就是说，它们通过类似于神经元动作电位的“神经锋电位”相互交流。这种发放锋电位的行为方式使得芯片的功耗非常小，即使将其拼接成非常大规模的系统，也能保持高能效。

滑铁卢大学的理论神经科学家克里斯·伊莱亚史密斯（Chris Eliasmith）说道：“在我看来，最大的优势是可扩展性。”在他的《如何构建脑》（How to Build a Brain）一书中，伊莱亚史密斯描述了他创建并命名为“语义指针架构统一网络”（Spaun，译者注：Spaun是Semantic Pointer Architecture Unified Network的缩写。）的功能脑的大规模模型[1]。

当伊莱亚史密斯运行Spaun的初始版本时，该模型有250万个“神经元”，即使在最好的传统芯片上运行，它的运行速度也比生物神经元要慢20倍。他说道：“每当我们增加几百万个神经元时，它就会变慢那么多。”当伊莱亚史密斯在数字神经形态硬件上运行他的一些仿真时，他发现它们不仅速度快得多，而且功效也提高了50倍左右。

更妙的是，随着伊莱亚史密斯仿真更多的神经元，神经形态平台变得更加高效。这也是神经形态芯片要从自然界复制过来的方式中之一，在自然界，随着规模的扩大，比如说，从蠕虫脑的300个神经元扩大到人脑的850亿个左右，脑似乎会同时增加功率和效率。

神经形态芯片在执行复杂的计算任务时，功耗极低，这引起了科技行业的关注。神经形态芯片的潜在商业应用包括高能效超级计算机、低功耗传感器和自学习机器人。但生物学家心中有一种不同的应用：构建一个功能齐全的人脑复制品。

今天的许多神经形态系统，从IBM和英特尔开发的芯片，到作为欧盟人脑计划一部分所创建的两种芯片，研究人员都可以使用，他们可以远程访问它们来运行他们的仿真。研究人员正在用这些芯片创建单个神经元和突触的精细模型，并解读各单元如何聚集在一起以创建更大的脑子系统。

这些芯片允许神经科学家在实际硬件上检验视觉、听觉和嗅觉如何工作的理论，而不仅仅是用软件仿真。最新的神经形态系统也使研究人员得以开始进行更具挑战性的任务，即复制人类如何思考和学习。

现在还只是起步阶段，要真正释放神经形态芯片的潜力将需要理论、实验和计算神经科学家以及计算机科学家和工程师的共同努力。但最终的目标非常宏伟，并不亚于弄清楚脑的各个组成部分是如何共同创造思想、感情甚至意识。

英特尔神经形态计算实验室主任、计算机工程师迈克·戴维斯（Mike Davies）说道：“通过逆向工程复制脑，是我们能接受其挑战的最雄心勃勃的技术难题之一。”

问题全在于架构

加州理工学院的科学家卡弗·米德（Carver Mead）在20世纪80年代创造了“神经形态”（neuromorphic）一词，因为他注意到，与作为现代计算机芯片构件的数字晶体管不同，模拟晶体管更接近神经元的生物物理性质。具体来说，仿真电路中非常微小的电流（微小到电路实际上处于 "关闭 "状态）表现出类似于生物神经元中离子流过通道的动力学性质，而这种流动并不导致动作电位。

贾科莫·因迪维里（Giacomo Indiveri）对米德及其同事们的工作很感兴趣，90年代中他决定到加州理工学院做博士后研究。现在，因迪维里是瑞士苏黎世大学的一名神经形态工程师，他所领导的研究小组是少数几个延续米德使用低电流模拟电路方法的研究小组之一。

因迪维里和他的团队手工设计芯片的布局，这个过程可能需要几个月的时间。他说道：“因为我们试图提出巧妙的解决方案来实现神经动力学，这仍然是铅笔和纸张的工作。如果你在做模拟，那么这在很大程度上仍然是一门艺术。”

一旦确定了布局，他们就会将设计通过电子邮件发送给代工厂，这是一家制造智能手机和电脑芯片的精密金属铸造工厂。最终的结果看起来大致上就像智能手机芯片一样，但它的功能就像“神经元”组成的网络，通过几个节点传播电脉冲。在这些模拟神经形态芯片中，信号是通过实际的电脉冲来中继的，这些脉冲的强度可以不同。就像在脑中一样，信息是通过不同神经元的脉冲定时（timing）来传递的。

因迪维里说道：“如果你把其中一个神经元的输出给神经生理学家看，他将无法告诉你这究竟是来自硅神经元还是来自生物神经元。”

这些硅神经元代表了复制神经系统有机湿件（wetware）的不完美尝试。生物神经元是模拟-数字混合系统；它们的动作电位模仿数字硬件的离散脉冲，但它们也是模拟的，因为神经元中的电压水平会影响传输的信息。

模拟神经形态芯片的特点是硅神经元与生物神经元的物理行为非常相似，但它们的模拟性质也使它们传输的信号不那么精确。虽然在进化上我们的脑已经找到了补偿其组件不精确的方法，但研究人员却将其基本概念带入了数字领域。

IBM和英特尔等公司都专注于数字神经形态芯片，其硅神经元复制了生物神经元中的信息流动方式，但物理原理不同。之所以采取不同的物理原理，这和传统数字芯片占据了我们绝大多数计算机和电子产品的原因相同，缘于其更高的可靠性和更容易制造。

JeremyUNISEM欧洲有限公司

构建模块：每个SpiNNaker芯片与存储器封装在一起（左上角），然后拼接成较大的设备，如右上角的48节点板。多个板子可以连接在一起，形成更大的SpiNNaker系统（上图）。曼彻斯特大学，史蒂夫·弗伯（Steve Furber）和同事们

但这些数字芯片在体现脑架构的方式上保持了其神经形态状态。在这些数字神经形态芯片中，锋电位以信息包的形式出现，而不是实际的电压变化脉冲。戴维斯说道：“这与我们传统上在计算机里设计的所有东西都有很大的不同。”

不管锋电位的形状如何，系统只有在输入达到一定阈值时才会转发信息，这使神经形态芯片得以间断地少量消耗电力，而非不间断地大量消耗。这类似于脑的神经元在任何时候都会进行交流，而不是听从计时员的命令。另一方面，传统芯片大多是线性的，在严格的内部时钟控制下，在存储数据的存储硬件和计算数据的处理器之间穿梭往返传递数据。

当莫达在设计IBM的神经形态芯片（名为“真北”[TrueNorth]）时，他首先分析了猕猴和人脑中的长距离布线图，该图映射了不同脑区之间的连接方式[2]。他说道：“它真正开始告诉我们长距离连接、短距离连接，以及关于神经元和突触的动力学性质。”

到2011年，莫达创造了一个包含256个硅神经元的芯片，与蠕虫秀丽隐杆线虫（C.elegans）的脑规模相同。利用最新的芯片制造技术，莫达将神经元包装得更加紧密，以缩小芯片的体积，并将这些芯片中的4096个芯片平铺在一起，最终在2014年发布了真北，它包含100万个合成神经元，这与蜜蜂脑的规模差不多，而且功耗比传统芯片低几百倍[3]。

Matt Chinworth

真北等神经形态芯片的人工神经元之间具有非常高的连接性，类似于在哺乳动物脑中看到的情况。大规模并行的人脑的850亿个神经元通过大约1万亿个突触高度互联。

真北要简单得多，其中有2.56亿个 “突触”，连接其100万个神经元。通过将多个真北芯片拼接在一起，莫达创造了两个更大的系统：一个仿真了1600万个神经元和40亿个突触，另一个有6400万个神经元和160亿个突触。目前许多机构的200多名研究人员可以免费使用真北。

除了神经形态芯片的高度互联和发放脉冲这两大特性外，它们还复制了生物神经系统的另一个特征：与传统计算机芯片不同，传统计算机芯片将处理器和存储器放在不同的地方，而神经形态芯片往往有很多微小的处理器，每个处理器都有少量的本地内存。这种配置类似于人脑的组织，神经元同时负责数据存储和处理。研究人员认为，神经形态架构的这一要素可以让用这些芯片构建的模型更好地复制人类的学习和记忆。

学习能力是英特尔洛以希（Loihi）芯片（译者注：以夏威夷海底山Loihi命名。）关注的一个重点，该芯片于2017年9月首次发布，并在2018年1月与研究人员分享[4]。洛以希芯片旨在仿真约13万个神经元和1.3亿个突触，这种芯片结合了锋电位时间依赖性可塑性（STDP）的模型，STDP是脑中由突触前和突触后锋电位的相对定时介导突触强度的一种机制。

一个神经元如果在第二个神经元发放之前发放，就会加强它与第二个神经元之间的连接，而如果发放顺序相反，连接强度就会减弱。这些突触强度的变化被认为在人脑的学习和记忆中起着重要作用。

领导开发洛以希芯片的戴维斯表示，其目的是为了学会我们脑擅长的快速、终身学习能力，而目前的人工智能模型却还不具备。和真北一样，也向许多不同的研究人员分发了洛以希芯片。随着越来越多的团体使用这些芯片来仿真脑，戴维斯说：“希望可以逐渐搞清楚某些较为普遍的原理，由此得以解释可在脑中看到的一些惊人能力。”

神经形态工程学

对于其所有潜在的科学应用来说，真北和洛以希芯片并不是专门为神经科学家打造的。它们主要是研究芯片，旨在测试和优化神经形态架构，以提高其能力和易用性，并探索各种潜在的商业应用。其范围从语音和手势识别到高能效机器人和设备上的机器学习模型，这些模型可以支持开发更聪明的智能手机和自动驾驶汽车。欧盟的人脑计划（Human Brain Project）则开发了两种神经形态硬件系统，它们都有明确的目标：认识脑。

2016年推出的“神经形态混合系统脑启发多尺度计算”（BrainScaleS）项目（译者注：BrainScaleS是Brain-Inspired Multiscale Computation in Neuromorphic Hybrid Systems的缩写。）[5]，把许多芯片都集成在一个大硅片上，其形状更像是一只超薄的飞盘而不是指甲。每个晶圆包含384个模拟芯片，它们的工作方式颇像因迪维里的模拟芯片的升级版，这种芯片针对速度而不是低功耗进行了优化。每个晶圆都仿真了约20万个神经元和4900万个突触。

BrainScaleS与欧盟的另一个神经形态系统“脉冲发放神经网络构筑”系统（SpiNNaker，译者注：SpiNNaker是Spiking Neural Network Architecture的缩写。）一起，都得益于作为人脑计划的理论、实验和计算神经科学家大家庭的一分子。与这一社群的互动将导致发现可能帮助科学家的新特性，并让这两个系统的新发现迅速回馈到该领域。

曼彻斯特大学的计算机工程师史蒂夫·弗伯（Steve Furber）在20年前就构思了SpiNNaker，为此他已经设计了十多年。弗伯表示，在对作为SpiNNaker基础的小型数字芯片进行了大约6年的努力之后，他和他的同事们在2011年实现了全部功能。从那时起，他们的研究团队一直在将芯片组装成规模不断扩大的机器，最终在2018年底建成了有百万处理器的机器[6]。弗伯预计，SpiNNaker应该能够对小鼠脑中的1亿个神经元进行实时建模，而传统的超级计算机做起来要慢一千倍左右。

目前，学术实验室可以免费使用欧盟人脑计划系统。神经科学家们开始在SpiNNaker硬件上运行自己的程序，以仿真脑特定子系统（如小脑、皮层或基底神经节）中所进行的高级处理。例如，研究人员正试图仿真一个小的重复结构单元——皮层微柱，微柱是位于脑外层的负责大多数高级功能的结构单元。弗伯说道：“虽然微柱很小，但它仍然有8万个神经元和25亿个突触，所以要想对此建模并非轻而易举。”

他补充说，“接下来，我们开始考虑系统层面的问题，而不仅仅是单个的脑区。”我们正逐步接近作为人智能之源的、有850亿个神经元的器官的全脑模型。

模仿脑

达特茅斯学院的计算神经科学家理查德·格兰杰（Richard Granger）表示，利用神经形态硬件对脑进行建模，可以揭示神经计算的基本原理。神经科学家可以非常详细地测量神经元的生物物理和化学特性，但很难知道这些特性中究竟是哪些性质才真正对脑的计算能力重要。

虽然神经形态芯片中使用的材料与人脑中的细胞物质完全不同，但使用这种新硬件的模型可以揭示脑如何往返传送和评估信息的计算原理。

用硅复制简单的神经回路，帮助因迪维里发现脑在设计上的隐性好处。他曾经给过一位博士生一块神经形态芯片，这块芯片具有锋电位的频率适应性，这是一种让人习惯于持续性刺激的机制。由于芯片空间紧张，这位学生决定不要这一特性。

然而，当他努力降低对芯片的带宽和功率要求时，他最终得到了实际上与他所删除的锋电位频率适应相同的东西。因迪维里和他的同事们还发现，长距离发送模拟信号的最佳方式并不是，例如说，将其表示为连续可变的流，而是将其表示为脉冲串或脉冲序列，正像神经元所做的一样。因迪维里说道：“如果你想把功率和带宽降到最低，神经元所使用的原来就是传输信号的最佳技术。”

神经形态硬件还可以让研究人员检验他们关于脑功能的理论。康奈尔大学计算神经科学家托马斯·克莱兰（Thomas Cleland）建立了嗅球模型，以阐明嗅觉机制的原理。使用洛以希芯片使他能够建立足够快的硬件模型，以模仿生物。当从化学传感器（作为我们气味受体的人工版本）获得数据时，系统学会了只要接受一个样本就能识别气味，这要优于传统的机器学习方法，并接近嗅觉最灵敏的人。

戴维斯说道：“通过像这样成功的模仿，并实际展示可以用神经形态芯片做到这一点，这确实证实了你真的搞懂系统了。”

Zoë van Dijk

克莱兰的嗅觉模型并不总是如预期的那样成功，但那些“失败”的实验也同样具有启示意义。传感器有时会觉得气味输入与模型预测的不同，这可能是因为气味比预期的要更复杂或更嘈杂，或者是因为温度或湿度干扰了传感器。

他说道：“输入会变得有点不稳定，我们知道这骗不了我们的鼻子。”研究人员发现，通过关注气味输入中以前被忽视了的“噪音”，嗅觉系统模型可以正确检测出更多种类的输入。这一结果使克莱兰更新了他的嗅觉模型，研究人员现在可以观察生物系统，看看它们是否也使用这种以前未知的技术来识别复杂或嘈杂的气味。

克莱兰希望对他的模型进行改进，使模型能以生物实时运行，以分析来自数百甚至数千个传感器的气味数据，而这在非神经形态硬件上运行可能需要几天时间。他说道：“只要我们能把算法用到神经形态芯片上，那么它就能很好地工作。”“对我来说，最令人兴奋的是当我们真的做了这些改进之后，我们就能够运行这些16000个传感器数据集，看看算法会变得多么好。”

SpiNNaker、真北和洛以希芯片都能以生物的实际速度运行对神经元和脑的仿真，这意味着研究人员可以使用这些芯片来实时识别刺激，如图像、手势或声音，并立即进行处理和作出响应。除了让克莱兰的人工鼻处理气味外，这些能力还可以让机器人实时感知环境并做出反应，同时只消耗极少的电力。这比大多数传统的计算机有很大的进步。

Matt Chinworth

对于某些应用来说，比如建立学习过程的模型可能需要数周、数月甚至数年的时间，如果速度能快一点，就会有所帮助。这就是BrainScaleS的优势所在，它的运行速度大约是生物脑的1000至10000倍。而且这个系统只会越来越先进。它正处于升级到BrainScaleS2的过程中，正在与神经科学家密切合作以开发新版本所用的新处理器。

新系统将能够更好地模仿学习和化学过程，比如多巴胺对学习的影响，而这些都是其他神经形态系统无法复制的。研究人员表示，它还将能够建模各种神经元、树突和离子通道，以及结构可塑性的一些特征，如突触的丢失和生长。也许有一天，该系统甚至能够接近人的学习和智能。帮助开发BrainScaleS的海德堡大学生物物理学家约翰内斯·舍梅尔（Johannes Schemmel）说道：“理解生物智能，我认为是本世纪迄今为止最大的问题。”

译者评论：

神经形态芯片是近年来神经技术方面非常值得注意的一个领域，它在计算原理方面突破了冯诺依曼架构，在节能和仿真脑的计算速度方面具有优势，很有可能在对节能要求特别高的领域如航天，以及硬件实现神经回路或某些相对简单的脑子系统模型时发挥重要作用。这篇文章是对神经形态芯片现状的一篇较好也较全面的综述。不过译者认为对神经形态芯片在重视的同时，也不能估计过高。

第一，有脑规模的模型并不等同于脑模型，有脑规模的模型只是说其中的元件数和元件之间的联结数可以和脑相比，但是其元件只是对神经元的一种很粗糙的模拟，联结也可能与脑中的实际联结很不一样，因此无论从结构和功能两方面来说都和生物脑相去甚远。

第二，神经形态芯片在细胞水平能很好模拟神经元，这是因为有了霍奇金-赫胥黎方程这样可靠的理论基础，对于一些相对简单的脑子系统，如嗅球、小脑、视网膜等也可望作出很好的模型研究。但是对于现在还完全没有任何理论框架的全脑问题，现在就想通过逆向工程建立全脑模型是不现实的。在译者看来在可预见的未来还做不到“构建硅脑”，而只能构建脑某些子系统的硅模型。

第三，脑和计算机的工作原理不一样，擅长的功能也不一样，计算机擅长的数值计算和逻辑推理是生物脑所不擅长的，而脑所擅长的模式识别、小样本学习等方面也是冯诺依曼计算机所不擅长。在译者看来冯诺依曼计算机和神经形态系统应该是互补的关系，而不是谁取代谁的关系。

第四，关于神经形态系统能否发展成新一代计算机的问题，不仅取决于这一技术本身，取决于是否能开发出丰富的应用生态系统，而且也取决于有多少工程技术人员愿意抛弃他们驾轻就熟的传统计算机技术，而重新投入大量精力和物力重新学一门与前完全不同的新技术。

原文：https://www.the-scientist.com/features/building-a-silicon-brain-65738

参考文献：

[1] C. Eliasmith et al., “A large-scale model of the functioning brain,” Science, 338:1202–05, 2012.

[2] D.S. Modha, R. Singh, “Network architecture of the long-distance pathways in the macaque brain,” PNAS, 107:13485–90, 2010.

[3] P.A. Merolla et al. “A million spiking-neuron integrated circuit with a scalable communication network and interface,” Science, 345:668–73, 2014.

[4] M. Davies et al. “Loihi: A neuromorphic manycore processor with on-chip learning,” IEEE Micro, 38:82–99, 2018.

[5] J. Schemmel et al., “A wafer-scale neuromorphic hardware system for large-scale neural modeling,” Proc 2010 IEEE Int Symp Circ Sys, 2010.

[6] S.B. Furber et al., “The SpiNNaker Project,” Proc IEEE, 102:652–65, 2014.

本文来自微信公众号：神经现实（ID：neureality），作者：Sandeep Ravindran，译者：顾凡及