新闻

加州大学圣地亚哥分校新闻中心

菜单

软硬件协同设计的方法可以使神经网络少耗电

一个加州大学圣地亚哥分校领导的团队已经开发的硬件和算法训练神经网络时,可以减少能源消耗和时间。照片通过工程的大卫baillot /加州大学圣地亚哥分校雅各布学校

由加州大学圣地亚哥分校的大学领导的研究小组已经开发出neuroinspired软硬件协同设计的方法,可以使神经网络训练更节能,更快捷。他们的工作有朝一日使人们有可能在低功率设备如智能手机,笔记本电脑和嵌入式设备训练神经网络。

提前在最近发表的一篇论文中描述 自然通讯.

训练神经网络来执行任务,如识别物体,导航自动驾驶汽车或玩游戏消耗了大量的计算能力和时间。数百到数千个处理器的大型计算机通常需要学习这些任务,培训时间可以从几周任何地方到几个月。

这是因为在做这些计算需要传输的数据备份和两个独立的单元,内存和之间来回处理器和消耗了大部分在神经网络训练的精力和时间,说资深作者Duygu膳食公寓kuzum,在电气和计算机工程教授工程在加州大学圣地亚哥分校雅各布学校。

为解决这一问题,kuzum和她的实验室联手 adesto技术 开发硬件和算法,允许在存储器单元直接执行这些计算,无需反复洗牌的数据。

“我们是从两端 - 设备解决这个问题和算法,以在神经网络训练最大限度地提高能源效率,说:”第一作者遇寒市电气工程博士学位学生在加州大学圣地亚哥分校kuzum的研究小组。

Image

所述硬件组件是一个超级节能型非易失性存储器技术,一个512千比特subquantum导电桥接RAM(CBRAM)阵列组成。它消耗更少的10到100倍的能量比目前领先的存储技术。该装置是基于adesto的CBRAM存储技术,它已主要被用作只具有“0”和“1”的状态的数字存储设备,但kuzum和她的实验室证明它可以被编程为具有多个模拟状态,以模拟生物突触在人的大脑。这个所谓的突触装置可用于为神经网络训练做内存计算。

“芯片上存储器中常规处理器是非常有限的,因此它们不具有足够的能力来在同一芯片上同时执行的计算和存储。但在这种方法中,我们有一个高容量的存储阵列,可以做相关的记忆神经网络训练,而不将数据传输到外部处理器计算。这将使大量的性能提升,并降低训练过程中的能源消耗,”说kuzum。

kuzum,谁是附属于 中心机一体型计算和安全 在加州大学圣地亚哥分校,导致努力开发,可以很容易地映射到该突触装置阵列算法。该算法在神经网络训练提供了更多的精力和时间的节约。

该方法使用一种高效节能的神经网络,被称为尖峰神经网络,在硬件实现无监督学习。最重要的是,kuzum的团队采用另一种节能算法开发的,他们所谓的“软修剪”,这使得神经网络训练更加节能,而不在准确性方面牺牲太多。

节能算法

神经网络是一系列人工神经元,其中一个层的输出提供输入到下一个的连接层。这些层之间的连接的强度是由所谓代表“的权重。”训练神经网络涉及更新这些权重。

传统的神经网络花费了大量的精力,不断更新这些权重的每一个。但在尖峰神经网络中,只有那些依赖于神经元的扣球权得到更新。这意味着较少的更新,这意味着更少的计算能力和时间。

网络上也做了所谓的无监督学习,这意味着它基本上可以训练自己。例如,如果示出了网络的一系列的手写的数学位数,它将找出如何零,那些,二个等一个好处是,网络不需要上标记以被训练区分例子含义它确实不需要被告知,它看到一个零,一个或两个,这对于像导航自主应用。

Image

(L-R)遇寒市,电气工程博士就读于加州大学圣地亚哥分校和研究的第一作者,和Duygu膳食公寓kuzum,在加州大学圣地亚哥分校电气和计算机工程教授谁是这项研究的首席研究员。

做培训,甚至更快,更节能,kuzum的实验室开发的,他们被称为“软修剪”与无监督尖峰神经网络来实现一个新的算法。软修剪是发现,在训练中已经成熟的权重的方法,然后将它们设置为一个恒定非零值。这将停止他们获得更新的培训,最大限度地减少运算能力的剩余部分。

软修剪从常规修剪方法不同,因为它是在训练期间实现的,而不是之后。它也能带来更高的精度,当一个神经网络把它的培训测试。通常在修剪,冗余或不重要的权重被完全去除。缺点是你修剪更多的权重,越精确的网络测试过程中执行。但软修剪只是保持在低能量设置这些权重,所以他们还在周围,以帮助网络具有更高的精度进行。

软硬件协同设计到测试

Image

遇寒市设置用于测试的突触器件阵列。

球队实施neuroinspired无监督尖峰神经网络和subquantum CBRAM突触装置阵列上的软修剪算法。然后,他们训练的网络手写数字从MNIST数据库进行分类。

在测试中,该网络被分类为93%的精确度位数即使当重量的高达75%的人的软修剪。在比较中,网络具有小于90%的准确率进行时只有40重量%的使用常规的修剪方法被修剪。

在节能方面,小组估计,他们的neuroinspired软硬件协同设计方法可以最终由大小两到三个数量级相比,技术状态切割过程中神经网络训练的能源使用。

“如果我们的基准到新硬件其他类似的存储器技术,我们估计我们的设备能够减少能源消耗10到100倍,那么我们的算法协同设计切口,通过另一10.总体而言,我们可以预期的百来个增益千个叠在下面我们的方法能耗方面,”说kuzum。

向前走,kuzum和她的团队计划与存储技术公司合作,推进这一工作的一个新阶段。他们的最终目标是开发一个完整的系统,其中神经网络可以在内存中进行培训,以非常低的功率和时间的预算完成更复杂的任务。

论文题目:“neuroinspired无监督学习和修剪与subquantum CBRAM阵列”共同作者包括莱昂,阮,sangheon噢,刘昕,加州大学圣地亚哥分校;和foroozan koushan和约翰河詹姆森,adesto技术公司。

这项工作是由美国国家科学基金会(ECCS-1752241,ECCS-1734940)和海军研究(青年研究者奖n00014161253)办公室的支持。


媒体接触

liezel labios, 858-246-1124, (必须启用JavaScript,以查看这个电子邮件地址)

加州大学圣地亚哥分校的 工作室10 300 提供了与我们的教师接受媒体采访广播和电视的连接。了解更多信息,电子邮件 (必须启用JavaScript,以查看这个电子邮件地址).