Transformer 是 2017 年出现的一种深度神经网络架构。它与更熟悉的 RNN 网络(用于对序列数据建模)的不同之处在于,它们可以将一个对象——文本、视频、图像——作为一个整体来感知,而不是按顺序分别,更好地理解内容并传达主要含义。
人工智能
根据研究,Transformer 技术在自然语言处理(Natural Language Processing,NLP)中的应用最大,通过分析大量文本来训练 AI 架构。这允许转换器生成高精度文本,从而可以将它们用于会计计算、语义搜索以及翻译不同语言的文本。
这项技术的出现显着提高了 NLP 领域文字处理的质量标准,因为变形金刚对测试的理解已经接近这样的水平,包括他们的情感色彩,迄今为止只有人类可以使用.
新 AI 架构的主要组成部分是注意力机制。在它的帮助下,转换器专注于单个单词并快速理解文本的一般本质。此外,这种处理方法允许最小化计算序列的重复(返回到同一段文本)。也就是说,Transformer 不会等到第一个处理步骤完成后才能进入下一个处理步骤 - 它并行分析整个对象,这显着提高了提供结果的速度。
Transformer 的出现为 NLP 领域提供了突破,其使用不如计算机视觉领域广泛。既然创新的 AI 架构可以写诗写代码、新闻文章和财务报告,它的应用将不再局限于 IT 行业。
可以在外语学习、银行部门、安全和电信以及任何客户请求流量大的业务中使用转换器 - 转换器将能够处理传入的请求以准备响应。