您当前的位置:首页 > 电脑百科 > 人工智能

成分学习是机器学习的未来

时间:2020-06-08 16:04:15  来源:  作者:
成分学习是机器学习的未来

> Source

 

机器学习距1950年代已经走了很长一段路,当时,人们设计了用于简单机器学习算法的统计方法,并引入了贝叶斯方法进行概率建模。 接近二十世纪,基于艾伦·图灵(Alan Turing)在计算机技术上的进步,对支持向量机和基本神经网络等模型的研究随着反向传播的发现而激增。 几年后,大规模计算的可用性已被大规模的神经网络所取代,这些神经网络可以在围棋上击败世界冠军,产生逼真的艺术并进行阅读。 从历史上看,机器学习的进步一直受到计算能力的推动。

随着在经典计算中使计算机芯片变得越来越强大的动力开始枯竭(位接近它们可能的最小分子大小),机器学习开发不再能够依靠计算能力的稳定增长来开发更强大的功能。 和有效的模型。 作为响应,机器学习正在转向成分学习。

成分学习基于这样一个想法,即一个模型无法做到所有。 当深度神经网络仅用于一项任务(例如,识别恶性或良性癌细胞或将图像分类为狗或猫)时,它们可以表现良好。 不幸的是,在神经网络中已经观察到的事情是它们只能很好地完成一件事。 随着人工智能的应用日益复杂,单一的神经网络只会越来越大,这说明了神经元越来越多的新并发症。

如前所述,这种持续增长的能力已经到了死胡同。 通过将这些神经网络中的几个进行组合以执行完整任务的各个部分,该模型作为一个整体,在执行这些复杂任务时会表现得更好,同时又保持了合理的计算空间。 当一项任务分解为多个神经网络时,每个单独的网络都可以专注于各自的领域,而不是需要全部由一个网络覆盖。 这类似于要求总统(或总理)在劳动,国防,卫生和其他部门秘书的支持下做出决定。

例如,考虑以下任务:为高档餐厅创建一个与用户互动的聊天机器人,该聊天机器人可以执行常见的任务,例如查询菜单或进行预订,以及进行闲聊。

成分学习是机器学习的未来

 

对话可以清楚地分为三个部分:欢愉和闲谈,信息检索和行动。 我们可以选择一个更分布式的系统,而不是采用一个机器学习模型来处理以前的交互并输出响应,

成分学习是机器学习的未来

 

一个神经网络可以推断出手头有什么任务-如果用户正在引导对话,期望获得愉悦,信息或行动,则将任务分配给专门的网络。 通过使用分布式模型而不是诸如编码器-解码器网络或文本GAN *之类的东西,可以实现两个好处:

· 精度更高。 由于将任务委派给三个单独的模型,每个模型专门研究自己的领域,因此提高了模型的性能。

· 更快的运行时间。 尽管训练分布式模型通常比较困难,但是进行预测时分布式模型要快得多,这对于需要快速响应的项目来说必不可少。 这是因为可以将分布式模型视为"分裂"奇异模型,因此信息仅通过与当前任务有关的有用神经元传递,而无需流经整个网络。

*编码器/解码器网络和GAN由多个网络组成,也许可以将其视为组成模型本身。 在这种情况下,仅将它们视为单数是因为组合模型在其上扩展以使其更有效。 所描述的结构化构成模型更多是"构成-构成模型"。

或者,考虑使用GAN(生成模型)代替传统的数据增强方法,该方法在许多情况下不适合上下文并提供过多的有害噪声。 通过不断将新生成的GAN数据汇入模型,解决了两个问题:

· 类标签不均匀。 数据收集的一个巨大问题是模型倾向于以与标签中相同的比例进行预测。 如果cat-dog数据集中75%的标签为" dog",则模型也会在大多数情况下建议使用" dog"。 通过使用GAN,可以创建其他图像来消除类不平衡。

· 过度拟合。 GAN通常是通过数据扩充来解决的问题,它提供了一种在通用上下文数组中表现更好的解决方案。 例如,名人脸部的扭曲可能会导致图像无法与其类别联系在一起。 另一方面,GAN提供了过拟合所需的其他变化,并且可以更有效地提高模型学习的效率。

成分学习是机器学习的未来

 

或者,例如,考虑一个双模型系统,该系统更建设性地允许模型学习容易学习的(原始难度评估模型可以高置信度/概率来解决)样本,并且仅在深度神经网络之后才引入更困难的训练样本 掌握了以前的知识。

成分学习是机器学习的未来

 

通过先建立基础概念,然后微调权重以获取更困难的数据样本,这种渐进式难度学习可能比传统的学习方法更有效。 这个想法依赖于组成模型框架,它由通过逻辑流程链接的两个或多个子模型组成。

应该注意的是,成分学习与整体方法有所不同,因为a)成分学习中的模型执行不同的任务,并且b)基于上下文的关系是成分学习的关键部分,整体方法中不存在这种关系。

成分学习比标准建模困难得多,后者需要选择正确的算法并准备数据。 在组合系统中,有无数种方法可以构造每个模型之间的关系,而所有方法都取决于上下文。 从某种意义上说,构建成分学习模型是一门艺术。 确定使用哪种类型的模型以及之间的关系需要额外的编码,创造性思维以及对模型本质的基本理解,但是在处理AI在2020年及未来需要解决的复杂问题时,这将带来巨大的回报。

人工智能的未来在于成分学习。

(本文翻译自Andre Ye的文章《Compositional Learning is the Future of machine Learning》,参考:
https://medium.com/swlh/compositional-learning-is-the-future-of-machine-learning-22b56ad09edc)



Tags:成分学习   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
> Source 机器学习距1950年代已经走了很长一段路,当时,人们设计了用于简单机器学习算法的统计方法,并引入了贝叶斯方法进行概率建模。 接近二十世纪,基于艾伦·图灵(Alan T...【详细内容】
2020-06-08  Tags: 成分学习  点击:(69)  评论:(0)  加入收藏
▌简易百科推荐
作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。在本文中,我将介绍两个...【详细内容】
2021-12-17  deephub    Tags:AI   点击:(16)  评论:(0)  加入收藏
基于算法的业务或者说AI的应用在这几年发展得很快。但是,在实际应用的场景中,我们经常会遇到一些非常奇怪的偏差现象。例如,Facebook将黑人标记为灵长类动物、城市图像识别系统...【详细内容】
2021-11-08  数据学习DataLearner    Tags:机器学习   点击:(32)  评论:(0)  加入收藏
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  张淑贤  证券时报  Tags:人工智能   点击:(39)  评论:(0)  加入收藏
鉴于物联网设备广泛部署、5G快速无线技术闪亮登场,把计算、存储和分析放在靠近数据生成的地方来处理,让边缘计算有了用武之地。 边缘计算正在改变全球数百万个设备处理和传输...【详细内容】
2021-10-26    计算机世界  Tags:边缘计算   点击:(45)  评论:(0)  加入收藏
这是几位机器学习权威专家汇总的725个机器学习术语表,非常全面了,值得收藏! 英文术语 中文翻译 0-1 Loss Function 0-1损失函数 Accept-Reject Samplin...【详细内容】
2021-10-21  Python部落    Tags:机器学习   点击:(43)  评论:(0)  加入收藏
要开始为开源项目做贡献,有一些先决条件:1. 学习一门编程语言:由于在开源贡献中你需要编写代码才能参与开发,你需要学习任意一门编程语言。根据项目的需要,在后期学习另一种语言...【详细内容】
2021-10-20  TSINGSEE青犀视频    Tags:机器学习   点击:(37)  评论:(0)  加入收藏
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  憨昊昊    Tags:神经网络   点击:(47)  评论:(0)  加入收藏
语言是人类思维的基础,当计算机具备了处理自然语言的能力,才具有真正智能的想象。自然语言处理(Natural Language Processing, NLP)作为人工智能(Artificial Intelligence, AI)的核心技术之一,是用计算机来处理、理解以及运...【详细内容】
2021-10-11    36氪  Tags:NLP   点击:(49)  评论:(0)  加入收藏
边缘计算是什么?近年来,物联网设备数量呈线性增长趋势。根据艾瑞测算, 2020年,中国物联网设备的数量达74亿,预计2025年突破150亿个。同时,设备本身也变得越来越智能化,AI与互联网在...【详细内容】
2021-09-22  汉智兴科技    Tags:   点击:(54)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  异步社区    Tags:人工智能   点击:(57)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条