您当前的位置:首页 > 电脑百科 > 人工智能

什么是深度学习?什么是类脑计算?

时间:2021-09-14 10:58:54  来源:  作者:王煜全

现如今,谈起人工智能我们都会想到的是“深度学习”(deep learning),无论是战胜李世石的AlphaGo,还是能够随意写出人类水平文章的GPT-3,它们的背后都依托的是这套算法。

 

它具有很好的数学解释性,与现有的计算机架构完美匹配,但也存在需要大量数据训练、耗能巨大以及随之而来的产热惊人等问题,为此最前沿的研究者提出了“类脑计算”的概念,想要通过进一步模仿人类大脑的运行方式,重构计算机的底层架构,好让人工智能摆脱这种越好用成本越高的窘境。

 

目前,新兴的“类脑计算”还没有大规模应用,但各项研究已经取得了一定的突破,今天首席未来官特意为你梳理了“类脑计算”的底层原理,并通过与“深度学习”算法的对比,让你提前了解这个可能会颠覆未来计算机产业的新技术。

 

1.“深度学习”的原理

 

“深度学习”算法本质是对人类大脑视觉系统的模仿,因为人的视觉系统由很多层神经网络组成,层与层之间通过学习训练生成连接的通路,所以被称为“深度学习”。

什么是深度学习?什么是类脑计算?

 

深度学习算法虽然在层级上模拟了视觉系统,但受限于电脑结构中存储与运算分开的模式,做不到像人类的神经元一样将计算(神经元)和存储(突触)一体化,于是把神经元的运作方式抽象成了一个输入与输出结合的计算过程。

 

这就导致了原本一个神经元能够完成的任务,在计算机上需要大量的计算单位才能完成。2021年8月10日,在Neuron上发布的一项研究显示,人脑一个神经元的功能在深度算法中需要1000个以上的计算单元通过5到8层的深度网络实现。

 

2.先天缺陷带来的短板

 

由于需要大量计算单元才能实现单个人类神经元的功能,这就直接导致了深度学习要实现与人脑相似的功能复杂程度就会更高。

 

如今在语言模型上最强的GPT-3拥有1750亿个参数,做个简单推导也就相当于1.7亿个人类的脑神经元,而人脑的神经元个数在100亿左右,如果把人脑神经网络的复杂连接再算上,要完全模拟一个人脑出来的耗能将难以想象。

什么是深度学习?什么是类脑计算?

 

更多的计算单元也就意味着更大的能量消耗,同样拿GPT-3为例,它训练一次消耗的能量可以让一辆车在在地球与月球之间跑完一个来回,而只用来下围棋的Alpha Go仅计算单元的功率也有2000W的水平,与之相对的是坐它对面的李世石的大脑耗能只需要20W左右,是它的百分之一。

 

3.模仿神经元的“类脑计算”

 

为了解决深度学习的问题,科学家提出了进一步模拟人脑“神经元—突触”体系的“类脑计算”思路,分别从算法和硬件两方面探索打造“人工大脑”的方法。

 

算法层面上,目前的研究重点是“脉冲神经网络”(Spiking Neural Network,简称SNN),顾名思义就是模仿神经脉冲信号传递、运算的人工智能算法,SNN的最大优点在于,相较传统算法中每个计算单元始终处于活跃状态不同,其每个计算单元只有在接受或者发出信号时才被激活,同时它进行的只有加减运算,节省了运算资源也减小了求和量。

 

但脉冲本身的不连续性使得传统的人工智能训练模式并不能适用于它,所以其性能尽管理论上可以与深度学习算法相匹配,相应的训练模式还处于研究阶段。

什么是深度学习?什么是类脑计算?

 

硬件层面,类脑芯片也开始兴起,不再像传统计算机中的“冯·诺依曼架构”,把存储与计算功能分离,使得每次计算都要在内存和CPU上频繁调用数据,导致信息效率差、发热高,而是基于微电子技术和新型神经形态器件的结合,实现存储与计算的深度融合,使芯片能够进行异步、并行、低速和分布式处理信息数据,并具备自主感知、识别和学习的能力。

 

4.4款类脑芯片

 

·IBM TrueNorth(SyNAPSE芯片)

 

2014年8月,IBM公司推出了第二代类脑芯片“True North”,工艺进化到了28纳米,拥有了100万个可编程神经元和2.56亿个可编程数据传输通道。

什么是深度学习?什么是类脑计算?

 

这次最大的进步在于“神经突触内核架构”,让其中每个计算核心(神经元)都拥有了本地内存,工作方式已经非常类似人脑中的神经元,总功耗降低到了第一代的1%,体积是第一代的十五分之一。

 

·英特尔Loihi芯片

 

Loihi芯片是英特尔的首款自学习神经元芯片,历时十年研究设计,可以像人类大脑一样,通过脉冲或尖峰传递信息,并自动调节突触强度,通过环境中的各种反馈信息,进行自主学习、下达指令。

 

据英特尔的数据,该芯片内部包含了128个计算核心,每个核心集成1024个人工神经元,总计13.1万个神经元,彼此之间通过1.3亿个突触相互连接,运算规模和虾脑相当。

 

·高通Zeroth芯片

 

Zeroth不需要预编程,通过正向强化的方式,提供了类似人类大脑多巴胺刺激的方式,让芯片具备了从周围环境获取反馈的能力,高通用装载该芯片的机器小车进行演示,使小车在自行启发算法下完成寻路、躲避障碍等任务。

什么是深度学习?什么是类脑计算?

 

·西井科技DeepSouth芯片

 

西井科技是一家中国公司,已推出了两款类脑芯片,其中DeepSouth拥有5000 万类脑神经元,总计有 50 亿的“神经突触”,可以直接在芯片上完成计算,不需要通过网络连接后台服务器,可在“无网络”情况下使用。



Tags:深度学习   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
现如今,谈起人工智能我们都会想到的是“深度学习”(deep learning),无论是战胜李世石的AlphaGo,还是能够随意写出人类水平文章的GPT-3,它们的背后都依托的是这套算法。 它具有很好...【详细内容】
2021-09-14  Tags: 深度学习  点击:(104)  评论:(0)  加入收藏
0 前言大家好,欢迎来到“自由技艺”的知识小馆。今天我们来探讨下深度学习中的 Attention 机制,中文名为“注意力”。本文内容结构组织如下:1 为什么需要引入 Attention 机制?2...【详细内容】
2021-06-09  Tags: 深度学习  点击:(149)  评论:(0)  加入收藏
微信正用着的深度学习框架,现在你也可以上手试一试了。 就在最近,腾讯把这个名叫deepx_core的深度学习基础库正式对外开源。 相比于PyTorch、TensorFlow等流行深度学习框架,这位选手不仅具有通用性,还针对高维稀疏数据...【详细内容】
2021-04-06  Tags: 深度学习  点击:(205)  评论:(0)  加入收藏
为深度学习项目建立一个良好的环境不是一件容易的任务。因为需要处理的事情太多了:库必须匹配特定的版本,整个环境需要可以复制到其他机器上,所有东西都需要能够机器中的所有...【详细内容】
2021-03-05  Tags: 深度学习  点击:(96)  评论:(0)  加入收藏
深度学习是机器学习的一个子领域,它采用了一个特定的模型:一族通过某种方式连接起来的简单函数。由于这类模型的结构是受到人类大脑结构的启发而创造出来的...【详细内容】
2021-02-26  Tags: 深度学习  点击:(269)  评论:(0)  加入收藏
基于人工智能和深度学习方法的现代计算机视觉技术在过去10年里取得了显著进展。如今,它被用于图像分类、人脸识别、图像中物体的识别、视频分析和分类以及机器人和自动驾驶车辆的图像处理等应用上。...【详细内容】
2021-01-07  Tags: 深度学习  点击:(87)  评论:(0)  加入收藏
什么是深度学习深度学习有如下一些众所周知且被广泛接受的定义。(1)深度学习是机器学习的子集。(2)深度学习使用级联的多层(非线性)处理单元,称为人工神经网络(ANN),以及受大脑结构和...【详细内容】
2020-12-07  Tags: 深度学习  点击:(184)  评论:(0)  加入收藏
本文将介绍在 Windows 计算机上配置深度学习环境的全过程,其中涉及安装所需的工具和驱动软件。出人意料的是,即便只是配置深度学习环境,任务也不轻松。你很有可能在这个过程中犯错。我个人已经很多次从头开始配置深度学...【详细内容】
2020-12-02  Tags: 深度学习  点击:(97)  评论:(0)  加入收藏
一代深度学习框架研究于璠华为技术有限公司摘要:从人工智能的历史出发,简述深度学习发展历程以及目前的挑战,通过介绍新一代深度学习框架的特点,分析总体框架,阐述自动并行、自动...【详细内容】
2020-11-10  Tags: 深度学习  点击:(94)  评论:(0)  加入收藏
HelloGitHub 推出的《讲解开源项目》 系列。这一期是由亚马逊工程师:Keerthan Vasist,为我们讲解 DJL(完全由 Java 构建的深度学习平台)系列的第 4 篇。...【详细内容】
2020-11-03  Tags: 深度学习  点击:(86)  评论:(0)  加入收藏
▌简易百科推荐
作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。在本文中,我将介绍两个...【详细内容】
2021-12-17  deephub    Tags:AI   点击:(15)  评论:(0)  加入收藏
基于算法的业务或者说AI的应用在这几年发展得很快。但是,在实际应用的场景中,我们经常会遇到一些非常奇怪的偏差现象。例如,Facebook将黑人标记为灵长类动物、城市图像识别系统...【详细内容】
2021-11-08  数据学习DataLearner    Tags:机器学习   点击:(32)  评论:(0)  加入收藏
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  张淑贤  证券时报  Tags:人工智能   点击:(39)  评论:(0)  加入收藏
鉴于物联网设备广泛部署、5G快速无线技术闪亮登场,把计算、存储和分析放在靠近数据生成的地方来处理,让边缘计算有了用武之地。 边缘计算正在改变全球数百万个设备处理和传输...【详细内容】
2021-10-26    计算机世界  Tags:边缘计算   点击:(45)  评论:(0)  加入收藏
这是几位机器学习权威专家汇总的725个机器学习术语表,非常全面了,值得收藏! 英文术语 中文翻译 0-1 Loss Function 0-1损失函数 Accept-Reject Samplin...【详细内容】
2021-10-21  Python部落    Tags:机器学习   点击:(43)  评论:(0)  加入收藏
要开始为开源项目做贡献,有一些先决条件:1. 学习一门编程语言:由于在开源贡献中你需要编写代码才能参与开发,你需要学习任意一门编程语言。根据项目的需要,在后期学习另一种语言...【详细内容】
2021-10-20  TSINGSEE青犀视频    Tags:机器学习   点击:(37)  评论:(0)  加入收藏
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  憨昊昊    Tags:神经网络   点击:(47)  评论:(0)  加入收藏
语言是人类思维的基础,当计算机具备了处理自然语言的能力,才具有真正智能的想象。自然语言处理(Natural Language Processing, NLP)作为人工智能(Artificial Intelligence, AI)的核心技术之一,是用计算机来处理、理解以及运...【详细内容】
2021-10-11    36氪  Tags:NLP   点击:(48)  评论:(0)  加入收藏
边缘计算是什么?近年来,物联网设备数量呈线性增长趋势。根据艾瑞测算, 2020年,中国物联网设备的数量达74亿,预计2025年突破150亿个。同时,设备本身也变得越来越智能化,AI与互联网在...【详细内容】
2021-09-22  汉智兴科技    Tags:   点击:(54)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  异步社区    Tags:人工智能   点击:(57)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条