中文 英语

神经形态计算:造型脑

相互竞争的模型竞相展示大脑是如何工作的,但没有一个是完美的。

人气

你能讲述行人和自行车之间的区别吗?臭鼬和黑色和白色猫之间怎么样?或邻居的狗和小马驹或小鹿之间?当然,你可以,你可能会做那个没有意识的想法。人类非常擅长在视觉上和通过其他感官输入来解释它们周围的世界。

计算机不是。尽管他们很久以前的纯粹计算速度超过了人类“计算器”,但配备了Terabyte级数据库的大型数据中心只是开始匹配平均人类孩子的图像识别能力。

与此同时,人类正在创建更大、更复杂的数字档案,并对它们提出更复杂的问题。你如何在成千上万的照片中找到你想要的照片?音乐服务如何回答客户的“更像这样”的请求?当源数据经常是嘈杂和模糊的时候,计算机如何支持技术决策?

神经形态计算旨在建立由生物脑结构的建筑物的系统。这种系统具有比传统分析更快速,更准确地分析数据集,更准确地和更少的计算资源。

在目前的技术状态下,人们讨论神经形态计算和大数据分析通常是在讨论神经网络。虽然当代的神经网络对于解决实际问题很重要,并且将在以后的文章中讨论,但它们与生物大脑并没有太多相似之处。


图1:神经元细胞图。来源:维基共享。

神经元如何工作
第一个重要的区别是生物大脑中连接的纯粹规模。神经细胞的核位于纤维网(即轴突)的中心,每一个轴突都可能分支成数千个树突。每个树突可以通过突触连接到邻近的神经元。虽然电子类似物通常将这一连接网络定义为固定的,但它并非如此。突触连接不断地建立和中断。正如Numenta的联合创始人杰夫·霍金斯所说,解释在2015年IEEE电子设备会议上的一次演讲中,“[生物]记忆是一个布线问题,而不是存储问题,”而且是一个很大的布线问题。

人类的新皮层负责感知、空间推理和语言等功能,其中有数百万个神经元,每个神经元都可以与数千个相邻的神经元进行交流。仅新大脑皮层就有数十亿个连接。大脑作为一个整体有数万亿。相比之下,最大的基于服务器的神经网络有大约110亿个连接。

此外,大脑是一个模拟系统。电子电路中的晶体管要么是开的,要么是关的。内存元素存储1或0。突触连接并不直接等同于记忆电容,但它们可以强也可以弱,在对刺激的反应中可以增强或减弱。

更确切地说,神经元通过由钠和钾离子的流动引起的电流进行通信。细胞内和细胞外液之间的离子浓度存在差异。当突触前神经元释放一个神经递质化合物,后突触后神经元的离子通道被激发或抑制,增加或减少细胞和细胞外液之间的离子流动。韩国科学技术研究所的高级科学家Doo Seok Jeong解释说,突触后神经元的细胞膜用作电容器。离子累积直到达到临界阈值,此时“突触电流”峰值沿神经纤维传播到其他突触和其他神经元。

电容器会反复充放电,直到神经递质的浓度消失,所以突触电流实际上是由一系列相关的尖刺组成的。这条链的长度和单个尖峰的频率取决于原始刺激。一个特定神经元对一个特定突触电流链的反应通常不是线性的。输入和输出信号之间的关系就是神经元的“增益”。

但必须强调的是,外界刺激和突触电流之间的关系还不清楚。生物大脑产生突触电流尖峰链,似乎是编码信息。但不可能画一条线之间的“猫”的形象受到视网膜光感受器和特定的突触峰值模式生成的视觉皮层,更少的正面和负面的联想到“catness”形象可能产生其他的大脑区域。许多因素,如不均匀的细胞膜电位,在信号中引入“噪声”,导致一些信息的丢失。然而,大脑显然有从嘈杂的数据中提取关键信息的机制,可以丢弃不相关的刺激,以及容纳噪声导致的数据丢失。这些机制的生物学基础目前还不清楚。

射击突触电流尖峰
在模拟大脑时,至少需要考虑两个层面。首先是突触电流链产生和传播的生物学机制。第二个是这些峰值在记忆和学习中的作用。这两个层次都面临着生物准确性和计算效率之间的权衡。例如,许多商业神经网络使用“泄漏整合和火灾(LIF)模型来描述突触尖刺的传播。每个神经元都有一个预先确定的阈值,当阈值超过时,神经元就会向相邻的神经元发出突触信号。类似地,在电子网络中,每个神经元将预先确定的权值应用于输入信号,以确定输出信号。快速确定一个特定问题的适当权值是神经网络设计的核心挑战之一,但是一旦权值已知,输出信号就是输入信号与权值矩阵的点积。

这种方法在计算上是有效的,但在生物学上并不真实。此外,LIF模型忽略了突触峰值的时间,因此忽略了它们之间的因果关系。也就是说,信号A可能在信号B之前或之后,生物神经元的反应取决于这两个信号的相对强度和相对时间。严格的LIF模型只会识别两者的组合是否超过了节点的阈值。生物行为在本质上是模拟的,而传统神经网络的电子行为则不是。

LIF模型的两个替代方案合并了额外的生物物理路径,以牺牲计算效率为代价增加了生物的真实性。尖峰神经元模型考虑了细胞膜的恢复速率——细胞膜电位恢复到其名义值的速度。该模型可以描述不同类型的神经元,但只考虑了膜电位的变化而保持了计算效率。

更复杂的替代方案,Hodgkin-Huxley模型,考虑了几种不同的生物物理贡献,包括膜电位和钠、钾离子电流。它建立了离子通道电导与膜电位之间的依赖关系。进一步扩展了原来的霍奇金-赫胥黎模型,识别了几种不同的钾和钠电流,并纳入了神经递质及其受体。HH模型实际上更加真实,但在计算上也更加复杂。

这三种模型描述了突触电流产生和传播在增加的细节水平的基本机制。对于我们称之为“思维”的流程, - 记忆,学习,分析 - 需要一个额外的步骤。在生物学脑中,这是突触可塑性,这是大脑加强和削弱,破裂和再次突触联系的能力。突触尖峰链提供了学习规则的输入,脑建模的下一级。

从电流到数据:突触可塑性
最重要的基本学习规则该理论于1982年由布朗大学研究人员Elie Bienenstock、Leon Cooper和Paul Munro (BCM)提出,它将突触变化表达为突触前活动的产物和突触后活动的非线性函数。它以发射速率表示,不能预测依赖时间的突触修饰。

一种有点复杂的模型,尖峰时序依赖性可塑性,认识到两个信号的相对时序也很重要。是与特定刺激相关的积极或负面经验吗?多么密切?这些细节会影响突触连接的相对优势。最基本的STDP模型比较了一对尖峰的时机。如果突触前尖峰在突触后飙升之前,则连接已增强。否则,它被削弱了。但是,基本的STDP模型不会再现实验数据以及BCM模型。

一个建议的修改,基于三重峰的STDP学习规则,比较三个尖峰的组,而不是对。它表现为突触后神经元的广义BCM规则,该规则响应输入尖峰模式和输入和输出尖峰之间的相关性。这些高阶相关性在天然刺激中普遍存在,因此Triplet规则更准确地再现实验数据并不令人惊讶。

哪些模型和学习规则是“最佳”选择在很大程度上取决于情况。神经科学家寻求开发能够准确地再现生物脑行为的模型,希望能够深入了解人类心理学背后的生物机制。神经形态计算旨在使用生物机制来告知电子系统的架构,最终导出改进的解决方案对实际数据分析问题。特定链突触尖端或特定学习行为的再现是准确性和计算效率的次要。

本系列的第二部分将说明为什么“最好”的神经网络不一定是那些具有最“像大脑”行为的网络。

有关的故事
晶体管的下一步是什么
新的场效应晶体管,量子位,神经形态的方法,和先进的封装。
神经网络计算爆炸
资金雄厚的公司开始为特定的应用定制这种方法,并投入大量资金收购初创公司。
内神经形态计算(2016年1月)
通用视觉的首席执行官谈到了为什么人们对这项技术重新产生了兴趣,以及未来将如何使用这项技术。
神经形态芯片Biz升温(2016年1月)
随着设备缩放变得更加困难,旧概念获得了新的关注。



8评论

约翰巷 说:

优秀的文章。对HH模型特别感兴趣。我一直认为记忆电阻将用于神经形态硬件的许多目的,但最基本的是允许准备的表示实(数)模拟阈值。

我对记忆电阻器在神经形态中的应用越来越感兴趣。指针将被赞赏。

Kderbyshire. 说:

继续阅读。该系列中的未来文章将研究神经形态系统的一些建议的硬件实现,并且忆出函数绝对是列表。

凯瑟琳,享受了这篇文章。人的大脑对我无法想象自组装基于随机的机会,似乎设计的复杂性似乎是设计的。

Kderbyshire. 说:

一个有趣的问题,但一个落在本文的范围之外,或者这个网站。

MEAMISTER. 说:

伟大的文章。只是想知道,在一个大数据环境中,数据是不预相关的(就像在图像中一样),是否神经形态的东西最合适?这似乎会浪费很多突触连接。

Kderbyshire. 说:

由于神经形态架构还处于婴儿期,我不确定是否有人确切知道哪种应用程序是最适合的。“自我学习”神经网络可以自己发现模式,甚至比“训练”网络更不成熟。这些都是一个活跃的研究领域,我将在本系列的后续文章中讨论这些领域。

生物大脑的一个方面是,潜在突触连接的数量是如此之多,以至于是否“有效”地使用它们并不重要。在不相关的数据中发现联系是“创造力”的一个定义。但是神经形态计算要达到这个标准还有很长的路要走。

Melaku 说:

这是对神经形态计算的一个很好的解释。然而,记忆电阻器的未来及其与生物突触的相似之处必须得到解决,因为目前该领域的研究集中在这种电子元件上。谢谢你!

Katherine derbyshire. 说:

继续阅读。该系列中的其他文章详细研究了基于忆耳的神经形态架构。

发表评论


(注意:此名称将公开显示)