您当前的位置:首页 > 生活百科 > 科学

一文了解神经网络工作原理

时间:2021-04-13 10:44:11  来源:今日头条  作者:小白学视觉
一文了解神经网络工作原理

 

资料来源:getwallpapers.com

 

深度学习是机器学习中重要分支之一。它的目的是教会计算机做那些对于人类来说相当自然的事情。深度学习也是无人驾驶汽车背后的一项关键性技术,可以帮无人车识别停车标志、区分行人与路灯柱。它是手机、平板、电视和免提扬声器等设备实现语音控制的关键。深度学习近期以其前所未有的成果获得了广泛关注。

 

在深度学习中,计算机模型直接从图像、文本或声音中学习直接如何执行分类任务。深度学习模型可以达到最高的准确度,有时甚至超过了人类的水平。我们通常使用大量标记的数据和包含许多层的神经网络体系结构来训练模型。

一文了解神经网络工作原理

 

资源

 

深度学习的模型可应用到各种复杂任务中:

1. 人工神经网络(ANN)进行回归和分类

2. 用于计算机视觉的卷积神经网络(CNN)

3. 递归神经网络(RNN)用于时间序列分析

4. 自组织地图以进行特征提取

5. 推荐系统的深玻尔兹曼机

6. 推荐系统的自动编码器

 

在本文中,我们将尽可能的介绍人工神经网络(ANN)的所有相关内容。

 

“人工神经网络(ANN)是一种信息处理范例,它受到生物神经系统(大脑)信息处理方式的启发。由大量高度互连的处理元件(神经元)组成,这些元件协同工作以解决特定问题。”

 

主要内容:

1. 神经元

2. 激活功能

3. 激活功能的类型

4. 神经网络如何工作

5. 神经网络如何学习(反向传播)

6. 梯度下降

7. 随机梯度下降

8. 随机梯度下降训练神经网络

 

神经元

神经元(也称为神经细胞)是大脑和神经系统的基本单元,通过树突接收来自外部世界的刺激信息,对该信息进行处理后,通过轴突输出给其他细胞。

一文了解神经网络工作原理

 

生物神经元

 

细胞体(Soma):神经元细胞的主要部分,包含细胞核,进行必要的生化反应。

树突:神经元周围类似头发的管状结构。主要负责接受输入信号。

轴突:这是一种细长的管状结构,类似于传输线。

突触:神经元以复杂的空间排列相互连接。轴突末端再次分支,是一种高度复杂、高度专一的结构,我们称之为突触。两个神经元之间的联系就发生在这些突触处。

 

树突接收其他神经元信息输入。细胞体处理这些传入信息,得到相应的输出结果,该结果通过轴突和突触发送到其他神经元。

一文了解神经网络工作原理

 

电信号流过神经元。

 

下图代表了受生物神经元启发的ANN一般模型。它也被称为感知器。

 

单层神经网络一般称为感知器,给定输入它将计算得到输出。

一文了解神经网络工作原理

 

感知器

 

在上图中,x0, x1, x2, x3...x(n)代表该网络的输入(独立变量),每一个输入在经过所谓的树突时都要乘以相应的权重。该权重表示为w0, w1, w2, w3….w(n),它显示特定节点的强度。b是偏差值。偏差值可以向上或向下移动激活函数。

 

最简单的情况,将这些乘积相加并输入传递函数(激活函数)得到结果,然后将该结果作为输出发送。

 

激活函数

激活函数对于ANN学习和理解真正复杂的东西很重要。它们的主要目的是将ANN中节点的输入信号转换为输出信号,此输出信号将作为下一层的输入。

激活函数通过计算加权总和偏差值来决定是否激活该神经元。目的是引入非线性。

如果我们不应用激活函数,那么输出信号将仅仅是线性函数(一阶多项式)。线性函数很容易求解,功耗也相对较小,但是它们的复杂性受到一定的限制。因此没有激活函数,我们的模型就无法进行学习,也无法对复杂的数据进行建模,例如图像,视频,音频,语音等。

 

为什么我们需要非线性函数?

非线性函数是一种具有曲率的函数。现在我们需要神经网络能够进行学习,能够表示将输入映射到输出的任意复杂函数。因此神经网络也被认为是 “通用函数逼近器”。

 

激活函数的类型:

1. 阈值激活函数—(二进制阶跃函数)

二进制阶跃函数是基于阈值的激活函数。如果输入值高于某个阈值,则神经元被激活并将完全相同的信号发送到下一层;低于某个阈值则不被激活。

一文了解神经网络工作原理

 

二进制函数

 

此函数的问题是创建一个二进制分类器(1或0),但是如果我们要连接多个这样的神经元以引入更多类,如Class1、Class2、Class3等。在这种情况下,所有神经元都将给出1 ,我们将无法进行判断。

 

2. Sigmoid激活函数-(逻辑函数)

Sigmoid函数是一种数学函数,具有特征性的“ S”形曲线或S型曲线,范围在0到1之间,因此它用于需要预测概率为输出。

一文了解神经网络工作原理

 

Sigmoid曲线

 

Sigmoid函数是可微的,这意味着我们可以求解任意2个点的曲线斜率。Sigmoid激活函数的缺点是,如果提供较大的负输入,则可能导致神经网络在训练时卡住。

 

3. 双曲正切函数—(tanh)

类似于Sigmoid,但性能更好。它本质上是非线性的,因此我们可以对各层进行叠加。该函数的范围是(-1,1)。

一文了解神经网络工作原理

 

双曲正切函数

 

此功能的主要优点是,负输入映射为负输出,而只有零值输入会被映射为接近零输出。因此,在训练过程中卡顿的可能性较小。

 

4. 整流线性单元-(ReLu)

ReLu是CNN和ANN中最常用的激活函数,范围从零到无穷大。[0,∞]

一文了解神经网络工作原理

 

ReLu

 

如果x为正,则给出输出为“ x”;如果x为负,否则输出为0。ReLu看起来是线性函数的问题,但本质上是非线性的,并且ReLu的组合也是非线性的。实际上,它是一个很好的近似器,可以通过组合Relu来近似大部分函数。

 

它一般应用于神经网络的隐藏层。对于输出层而言,分类问题通常使用softmax函数,回归问题使用线性函数。

 

这里存在的一个问题是,某些梯度在训练过程中可能会消失。这会导致权重更新,任何数据点都无法激活该神经元。ReLu基本导致了神经元的死亡。

 

为了解决这一问题,引入了Leaky ReLu。Leaky ReLu引入了一个小斜率来保证不出现上述问题。Leaky ReLu范围从-∞到+∞。

一文了解神经网络工作原理

 

ReLu vs Leaky ReLu

 

Leaky增加了ReLu函数的输出范围。通常,a = 0.01。当a不为0.01时,则称为随机ReLu。

 

神经网络如何工作?

让我们以房地产价格为例,首先,我们将不同的因素汇总到一行数据中: Area, Bedrooms, Distance to city and Age.

一文了解神经网络工作原理

 

输入值通过加权的突触直接到达输出层。四个输入值均会被分析并输入到激活函数中,产生输出结果。

 

这很简单,但是通过在输入和输出层之间添加一个隐藏层可以扩大神经网络的功能并提高其准确性。

一文了解神经网络工作原理

 

具有隐藏层的神经网络(仅显示非0值)

 

现在在上图中,所有4个变量都通过突触连接到神经元。但是,并非所有的突触都被加权。权值包括0值和非0值。在这里,非零值表示重要性,0值表示输入被丢弃。

 

让我们以第一个神经元的Area和Distance to City为非零的示例为例,这意味着它们对第一个神经元重要。另外两个变量,Bedrooms而Age权值为0,因此不通过第一神经元。

 

您可能想知道为什么第一个神经元只考虑四个变量中的两个。距离城市越远房子变得越便宜,这在房地产市场上很普遍。因此,这个神经元所做的事情可能是寻找离市区较近的房屋。

 

神经元很多,每个神经元用这些变量的不同组合进行相似的计算。一旦满足标准,神经元就会使用激活函数进行计算。

 

下一个神经元加权的突触可能是Distance to the city和Bedrooms。因此神经元以非常灵活的方式工作,全面的搜索以查找特定的事物。

 

神经网络如何学习?

让我们先来做一个类比。神经网络的学习与我们正常的学习方式密切相关,我们首先完成一定的工作,并得到教练的纠正,下一次以更好的方式来完成这个工作。类似地,神经网络需要培训者,来描述该网络对输入做出的反应。用实际值和预测值之间的差异,计算一个误差值(也称为成本函数),并将其发送回系统。

 

成本函数:实际值与输出值之间平方差的一半。

 

对于网络的每一层,都会分析成本函数,并用其调整下一个输入的阈值和权重。我们的目标是使成本函数最小化。成本函数越低,实际值就越接近于预测值。这样随着网络的不断学习,每次运行的误差都减小。

 

我们通过整个神经网络反馈结果数据。将输入变量连接到神经元的加权突触是我们唯一可以控制的事情,因此只要实际值和预测值之间存在差异,我们就需要调整权重。一旦稍微调整它们并再次运行神经网络,便会产生一个新的成本函数,我们希望它可以比上一个小。重复此过程,直到将成本函数降低到尽可能小的水平为止。

一文了解神经网络工作原理

 

上述过程称为反向传播,并通过网络连续进行,直到将误差值保持在最小值为止。

一文了解神经网络工作原理

 

反向传播

 

调整权重的方法有两种:
1.蛮力方法
2.批梯度下降

 

蛮力法

适合单层前馈网络。在这里,我们需要考虑许多可能的权重。在这种方法中,我们想要舍弃除U形曲线底部权值以外的所有其他权重。最佳权值可以使用简单的消除技术找到。如果我们只需要优化一个权重,那么这种方法很有效。但如果是具有许多权重的复杂神经网络,该方法将因维数太高而无法实现

 

分批梯度下降

它是一阶迭代优化算法,在训练具有不同权重模型的过程中找到最小成本值(损失)。

一文了解神经网络工作原理

 

梯度下降

 

在“梯度下降”过程中,我们不会一次都查看每个权重并剔除错误的权重,而是查看函数斜率。

如果斜率→负值,则表示您沿着曲线下降。
如果斜率→正,则不执行任何操作

这样,可以消除大量不正确的权重。

 

随机梯度下降(SGD)

如上图所示,当我们具有凸曲线时,渐变下降效果很好。但是,如果我们没有凸曲线,则渐变下降将失败。

“ 随机 ” 一词是指与随机概率相关的系统或过程。因此,在随机梯度下降中,随机选择一些样本,而不是每次迭代的整个数据集。

一文了解神经网络工作原理

 

随机梯度下降

 

在SGD中,我们一次获取一行数据,通过神经网络运行该数据,然后调整权重。对于第二行,我们运行它,然后比较Cost函数,然后再次调整权重。

 

SGD帮助我们避免了局部极小值的问题。它比Gradient Descent快得多,因为它一次运行每一行,并且不必将整个数据加载到内存中即可进行计算。

 

要注意的一件事是,由于SGD通常比典型的Gradient Descent噪声更大,因此由于其下降的随机性,通常需要更多的迭代次数才能达到最小值。尽管与典型的Gradient Descent相比,它需要更多的迭代次数才能达到最小值,但在计算消耗上仍比典型的Gradient Descent少得多。因此,在大多数情况下,SGD优于分批梯度下降。

 

利用随机梯度下降训练神经网络

步骤1→将权重随机初始化为接近0但不为0的小数。

步骤2→在输入层中输入数据集的第一个观测值,每个要素放在一个节点中。

步骤3→ 正向传播:从左到右,神经元按顺序被激活,直到获得预测值。每个神经元的影响都受权重的限制。

步骤4→将预测结果与实际结果进行比较,并测量的误差(成本函数)。

步骤5→ 反向传播:从右到左,误差反向传播。根据它们对错误造成的影响来更新权重。学习率决定了我们更新权重的程度。

步骤6→重复步骤1至5,并在每次比较后更新权重(强化学习)

步骤7→当整个训练集通过ANN时,就完成了。

 

结论

一文了解神经网络工作原理

 

资料来源:techcrunch.com

 

神经网络是一个全新的新概念,它还有很大潜力。可以应用于各种不同的概念中,并在测试阶段通过特定的反向传播和纠错机制进行学习。这些多层系统也许可以有一天仅靠学习来减少发生错误的可能性,而无需人工纠正。

 

如果本文对小伙伴有帮助,希望大家多多关注哦,小白学视觉坚持每天给大家带来图像处理干货知识哦!



Tags:神经网络   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  Tags: 神经网络  点击:(47)  评论:(0)  加入收藏
MNIST 这里就不多展开了,我们上几期的文章都是使用此数据集进行的分享。手写字母识别EMNIST数据集Extended MNIST (EMNIST), 因为 MNIST 被大家熟知,所以这里就推出了 EMNIST...【详细内容】
2021-09-08  Tags: 神经网络  点击:(182)  评论:(0)  加入收藏
理解什么是人工智能,以及机器学习和深度学习如何影响它,是一种不同凡响的体验。在 Mate Labs 我们有一群自学有成的工程师,希望本文能够分享一些学习的经验和捷径,帮助机器学习...【详细内容】
2021-06-09  Tags: 神经网络  点击:(128)  评论:(0)  加入收藏
资料来源:getwallpapers.com 深度学习是机器学习中重要分支之一。它的目的是教会计算机做那些对于人类来说相当自然的事情。深度学习也是无人驾驶汽车背后的一项关键性技术,...【详细内容】
2021-04-13  Tags: 神经网络  点击:(168)  评论:(0)  加入收藏
私有虚拟网络(VPN)是在公用网络基础之上建立的私有加密通信隧道网络,企业对于自管辖网络中个人使用VPN软件行为具有监管责任,但技术上却很难识别VPN的加密与通信方式,因此利用人工智能(AI)领域的神经网络技术从网络流量中识...【详细内容】
2021-01-07  Tags: 神经网络  点击:(193)  评论:(0)  加入收藏
深层神经网络的模型概括,过度拟合和正则化方法的挑战> Source 在完成了与神经网络有关的多个AI项目之后,我意识到模型的概括能力对于AI项目的成功至关重要。 我想写这篇文章来...【详细内容】
2020-10-30  Tags: 神经网络  点击:(101)  评论:(0)  加入收藏
本文最初发表于 Towards Data Science 博客,经原作者 Andre Ye 授权,InfoQ 中文站翻译并分享。卷积神经网络(Convolutional Nerual Network,CNN)构成了图像识别的基础,这无疑是深...【详细内容】
2020-10-16  Tags: 神经网络  点击:(115)  评论:(0)  加入收藏
本报告讨论了非常厉害模型优化技术 —— 知识蒸馏,并给大家过了一遍相关的TensorFlow的代码。...【详细内容】
2020-09-25  Tags: 神经网络  点击:(92)  评论:(0)  加入收藏
算法算法从1950年代的早期研究开始,机器学习的所有工作似乎都随着神经网络的创建而积累起来。 从逻辑回归到支持向量机,相继提出了新算法之后的算法,但是从字面上看,神经网络是...【详细内容】
2020-09-17  Tags: 神经网络  点击:(90)  评论:(0)  加入收藏
卷积神经网络(CNN)广泛应用于深度学习和计算机视觉算法中。虽然很多基于CNN的算法符合行业标准,可以嵌入到商业产品中,但是标准的CNN算法仍然有局限性,在很多方面还可以改进。这篇文章讨论了语义分割和编码器-解码器架构...【详细内容】
2020-09-17  Tags: 神经网络  点击:(93)  评论:(0)  加入收藏
▌简易百科推荐
在海洋、陆地、天空三片领域中,都有处在食物链顶端的王者,它们站在食物链顶端,拥有王者的身份,如海洋霸主虎鲸是毫无争议的海洋王者,在海洋中,基本上是所向披靡,没有天敌,而草原王者...【详细内容】
2021-12-17  小楠动物世界    Tags:   点击:(7)  评论:(0)  加入收藏
氦元素在全宇宙的质量中大约占了24%,但是在地球大气中的浓度为5.2 ppm(1ppm=0.0001%)[1],因此称它为稀有气体。稀有气体也被称为惰性气体,化学反应上的惰性也是造成氦气在地球上含...【详细内容】
2021-12-15  中科院物理所    Tags:稀有气体   点击:(8)  评论:(0)  加入收藏
在管理工作中,有些传统的做法是错误的,我们要避免犯这些错误。以下这11条,都是错的。 01 . 拒绝承担个人责任有一次,有一项工作出了差错,董事长把我叫去骂了一顿。我对董事长说,“...【详细内容】
2021-12-14  股权设计布局    Tags:管理   点击:(5)  评论:(0)  加入收藏
对光的研究起源于古希腊,在那里,哲学家们开始思考视觉是如何工作的。柏拉图和毕达哥拉斯等思想家认为,我们的眼睛会发出微弱的光线进行探测。这些光线将收集我们周围物体的信息...【详细内容】
2021-12-08    中科院物理所  Tags:   点击:(12)  评论:(0)  加入收藏
据阿根廷布宜诺斯艾利斯经济新闻网12月6日报道,进食后感到困倦或疲惫是很常见的。这可以解释为,在那一刻,身体所有的能量都“投入”在消化过程中,短时间内感到有点昏昏欲睡非常...【详细内容】
2021-12-08    参考消息  Tags:犯困   点击:(7)  评论:(0)  加入收藏
量子力学能用来干什么?更该问的是它不能干什么!在知道了量子力学这个学科后,许多人就会来问:它能用来干什么?实际上,这个问题问偏了。真正有意义的问题是:量子力学不能用来干什么?因...【详细内容】
2021-12-07  中科院物理所    Tags:量子力学   点击:(14)  评论:(0)  加入收藏
电流是什么?首先回想下,我们学过的电流的定义是什么?很简单,导体中的带电粒子的定向运动就是电流。只有当物质内具有能自由移动的带电粒子,它才可以传输电流——即导电...【详细内容】
2021-12-07    中科院物理所  Tags:电流   点击:(22)  评论:(0)  加入收藏
要理解光速不变原理。首先要有抛弃固有的思维模式的思想准备,否则不容易理解。因为爱因斯坦这个理论有点离经叛道。 我们都知道,描叙一个运动,必须有参考系才有意义。说一列火...【详细内容】
2021-11-30  宇宙探索    Tags:光速不变   点击:(18)  评论:(0)  加入收藏
一半是彻夜无眠,而床上的另一半是呼噜声连绵不绝。这个场景恐怕是很多家庭的真实写照了吧。更让人崩溃的是,推一下不打了,下一秒又开始了“呼~~~呼~~呼”。给我闭嘴!!!那为什么“...【详细内容】
2021-11-17    科普中国  Tags:打呼噜   点击:(21)  评论:(0)  加入收藏
光合作用是指绿色植物的叶片吸收和利用太阳光能将植物吸收的,二氧化碳和水综合成富含能量的有机物,并释放出氧气的过程,这也是大搞植树造林能改变气候环境的原因之一,光合作用的...【详细内容】
2021-11-17  农业百晓生    Tags:光合作用   点击:(22)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条