您当前的位置:首页 > 电脑百科 > 人工智能

PyTorch将塑造生成式人工智能系统(GPT-4及以上)的未来

时间:2023-04-13 12:15:47  来源:51CTO  作者:李睿

​译者 | 李睿

审校 | 重楼  

PyTorch不仅用于研究,还用于生产目的,每天有数十亿个请求得到服务和训练。

PyTorch社区最近取得了显著的进步。PyTorch的贡献者在去年还为GPT等Transformer模型引入了BetterTransformer推理优化,这显著地提高了这些模型的性能。这个高度优化的代码集合专门设计用于加速生产工作负载中的Transformer模型,允许更准确和有效的数据生成。这是一个令人兴奋的发展,有可能很快给许多行业带来革命性的变化。

生成式人工智能在从现有来源生成新数据方面的变革潜力已经得到了广泛认可。人工智能领域最近的突破引发了人们对理解推动这些进步的潜在机制的兴趣。为了进一步了解,行业领先的人工智能专家为此对PyTorch是如何为生成式人工智能的发展铺平道路进行了分析和阐述。

1、硬件加速

在默认情况下,PyTorch的发展速度已经很快,但是随着编译器技术的引入,它的性能得到了进一步增强。该技术通过融合操作、自动调优和优化程序,在可用的硬件上尽可能快地运行,从而实现了更快的模型训练和服务,与以前版本的软件相比,其性能得到了显著提高。

PyTorch 2.0堆栈的核心Dynamo和Inductor分别获取一个程序并对其进行优化,使其在现有的硬件上尽可能快地运行。Lightning AI公司首席技术官、PyTorch撰稿人Luca Antiga评论说,“这是通过融合操作实现的,这样计算就可以饱和,而不会受到内存访问和自动调优的阻碍,专用内核就可以在运行时进行优化,以实现最大性能。训练和推理都可以获得高达40%的增益,这是一个非常重要的发展。此前,PyTorch拥有优化程序的技术,但它要求用户调整代码以使其工作,并禁止某些操作,例如调用其他Python/ target=_blank class=infotextkey>Python库。另一方面,PyTorch 2.0将在所有这些情况下发挥作用,报告在这一过程中可以优化和不能优化的内容。”

PyTorch现在支持多种不同的后端和计算设备,使其成为最通用的深度学习框架之一。这也使得使用PyTorch构建的模型比以往任何时候都更容易部署到生产中,包括通过ROCm在AMD GPU上部署。Private AI公司首席技术官Pieter Luitjens表示:“这对模型开发很有帮助,但最好使用不同的框架来进行生产。这是PyTorch开发人员自己推荐的,因此,PyTorch为FasterTransformer等软件包提供了强大的支持,FasterTransform是英伟达公司创建的一个推理引擎,大多数大型科技公司都使用它来运行GPT等模型。”

2、研究人员考虑采用PyTorch

自从2018年推出并取代TensorFlow以来,PyTorch已经显示出了它的灵活性。

当时,它都是用于卷积神经网络,而现在PyTorch被用于完全不同类型的模型,例如当时不存在的稳定扩散。Pieter反思说,“在我看来,PyTorch已经成为生成人工智能的首选工具,因为它专注于动态执行,使研究人员易于使用原型,并且能够轻松扩展到数千个GPU。没有比GPTNeo和BLOOM最近的开源语言模型更好的例子了,如果没有PyTorch,这是不可能的。GPTNeo背后的团队特别呼吁,需要将PyTorch作为一个推动者。”

研究人员越来越偏爱PyTorch。然而,同样明显的是,与PyTorch不同的是,TensorFlow是为工业用途量身定制的,拥有大量的可定制功能和支持用例,例如JVM兼容性和在线服务。Abnormal Security公司机器学习主管Dan Shiebler说,“这使得企业更容易在生产中使用TensorFlow,并将TensorFlow用例扩展到数十亿个用户。然而,这种强大的功能使得TensorFlow更加僵化,更难以学习,也更难适应全新的应用。例如,TensorFlow对静态图的依赖使得可变长度序列(生成式人工智能的核心组件)难以管理。因此,PyTorch被研究团体更广泛地使用。这就产生了飞轮效应。PyTorch首先发布了新模型,这使得研究人员在扩大先前的研究时从PyTorch开始。”

3、为更加轻松简便而积极开发

与其他框架相比,编写PyTorch更像是编写普通的Python。完全支持控制流、循环和其他操作,使代码具有可读性和表现力。此外,PyTorch的调试经验是一流的;Pdb可以无缝地工作,允许逐步执行程序,并在执行过程中急切地执行操作。Luca对此表示赞赏,他说,“这种体验比使用其他框架要轻松得多,使用户能够快速迭代到一个工作模型。”

当PyTorch与PyTorch Lightning或Lightning Fabric等项目结合在一起时,它真的很出色,这些项目通过抽象工程细节来补充它,并允许研究人员在不更改代码的情况下将模型扩展到数十亿个参数和机器集群。PyTorch并没有什么特别的缺点。也许像vmap这样的高阶导数和程序转换,在functhorch中提供,但没有达到JAX等其他项目的水平,对某些领域来说可能是相关的限制,尽管对当今的深度学习来说,限制的不是那么多。

通过对PyTorch的贡献,Luca肯定了当今在人工智能和利用人工智能方面进行的大多数研究都是在PyTorch中实现的,并且这一实现通常作为开源共享。建立在彼此想法基础上的能力是一种令人难以置信的强大动力,创造了一种指数现象。

原文链接:https://dzone.com/articles/why-pytorch-generative-ai-gpt4



Tags:人工智能   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
多方热议人工智能产业新机遇
编者按  从前沿科技展会到高层对话平台,从上海、重庆到博鳌,从线上到线下……一场场高规格、大规模的盛会中,人工智能正在成为各界热议的高频词。赋能千...【详细内容】
2024-04-08  Search: 人工智能  点击:(5)  评论:(0)  加入收藏
谷歌或改变商业模式,人工智能搜索考虑收费
诸如ChatGPT这样的产品针对提问可以给出快速而完整的答案,这可能会使传统搜索引擎的链接列表和伴随这些链接出现的广告变得多余。谷歌考虑对人工智能搜索收费谷歌考虑对人工...【详细内容】
2024-04-07  Search: 人工智能  点击:(1)  评论:(0)  加入收藏
昆仑万维发布面向人工智能时代的六条人才宣言
过去的一年多,是人工智能取得非凡进步的一年。在这充满突破性技术飞跃和备受争议的一年里,我们见证了人工智能的快速发展和广泛的影响,人工智能已经迅速地融入了我们的生活,深刻...【详细内容】
2024-04-03  Search: 人工智能  点击:(8)  评论:(0)  加入收藏
生成式人工智能有哪些新趋势?
相较于去年,当下我们所能体验的人工智能技术的范围已经大幅提升。从搜索引擎、电商平台再到社媒平台,只要是以搜索结果为导向的内容,都会出现它的身影。但其实,人工智能的应用场...【详细内容】
2024-04-03  Search: 人工智能  点击:(6)  评论:(0)  加入收藏
关于AI人工智能在写作方面有哪些优势?
随着科技的快速发展,AI人工智能已逐渐渗透到我们生活的方方面面,其中在写作领域的应用也愈发广泛。AI人工智能在写作方面的优势不仅体现在其高效、精准的处理能力上,还体现在其...【详细内容】
2024-03-27  Search: 人工智能  点击:(17)  评论:(0)  加入收藏
生成式人工智能在搜索引擎优化(SEO)中的应用顶级案例
原文作者 | Rahul Solanki生成式人工智能正在迅速改变搜索引擎优化 (SEO) 的工作方式。 这些新时代的语言模型和机器学习系统不仅可以研究大量信息,还可以理解上下文和含义,并...【详细内容】
2024-03-27  Search: 人工智能  点击:(10)  评论:(0)  加入收藏
苹果手机将搭载百度AI技术?百度人工智能A股小伙伴有这些
财联社3月24日讯(编辑 若宇 俞琪)据华尔街日报周五晚间报道,苹果在中国寻找本土生成式AI提供方,苹果讨论了在中国的设备中使用百度的人工智能技术。受该利好消息刺激,百度美股周...【详细内容】
2024-03-26  Search: 人工智能  点击:(14)  评论:(0)  加入收藏
“AI骗局”横行 人工智能安全亟待加码
人工智能的“双刃剑”效应日益明显。AI技术在引发科技变革、提升生产力和效率等方面展现了充分的潜力,但与此同时,它带来的安全隐患也越来越凸显。利用深度伪造制造假象、操纵...【详细内容】
2024-03-22  Search: 人工智能  点击:(7)  评论:(0)  加入收藏
马斯克旗下人工智能大模型Grok已正式开源
鞭牛士报道,3月18日消息,据外电报道,埃隆·马斯克 (Elon Musk) 的人工智能初创公司 xAI 迈出了重大一步,开源了其大型语言模型 (LLM) Grok。这意味着企业家、程序员、公司...【详细内容】
2024-03-18  Search: 人工智能  点击:(13)  评论:(0)  加入收藏
《2024人工智能安全报告》:2023年AI深度伪造欺诈增长30倍
近日,奇安信集团发布《2024人工智能安全报告》(以下简称《报告》)。《报告》显示,2023年基于AI的深度伪造欺诈增长了3000%,基于AI的钓鱼邮件增长了1000%;目前已发现多个有国家背景的...【详细内容】
2024-03-18  Search: 人工智能  点击:(21)  评论:(0)  加入收藏
▌简易百科推荐
行业大模型快速落地的一年,如何做?
生成式AI正成为时下科技企业“讲故事”的关键词之一。但从发展上看,无论是“文生文”的大语言模型,还是“文生图”的多模态模型,更多的是辅助人们进行一些简单的办公,或者提供一...【详细内容】
2024-04-10    钛媒体APP  Tags:行业大模型   点击:(3)  评论:(0)  加入收藏
互联网充斥“针对小白的AI课”,能相信吗?普通人不学AI课程会被淘汰?
早前,一位标榜清华大学博士和多家公司AI顾问名头的百万级粉丝量博主,向用户大力推介“所有人都需要学”的AI入门课程。不过,这些课程最终因贩卖焦虑、蒙骗学员而被平台下架。然...【详细内容】
2024-04-10    九派新闻  Tags:AI课   点击:(7)  评论:(0)  加入收藏
藏在AI背后的“吃电狂魔”
人工智能时代的能耗黑洞据估算,到2027年,人工智能行业每年将消耗85~134太瓦时的电力,相当于瑞典或荷兰一年的总用电量。马斯克判断,电力缺口最早可能会在2025年发生,“明年你会看...【详细内容】
2024-04-09    雪豹财经社  Tags:AI   点击:(3)  评论:(0)  加入收藏
OpenAI和谷歌再起纷争:AI的尽头是内容
日前,纽约时报的一篇报道称,人工智能公司 OpenAI为收集高质量训练数据而开发了一个语音转录模型Whisper。该模型主要用于转录 OpenAI 获取的超过 100 万小时的 YouTube 视频,也...【详细内容】
2024-04-09  小编也疯狂  新浪网  Tags:AI   点击:(3)  评论:(0)  加入收藏
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09    财联社  Tags:AI产业   点击:(4)  评论:(0)  加入收藏
和“数字人”交朋友,当心隐私被出卖......
在虚拟社交中如何在保护用户隐私和数据安全的同时提供高质量的社交体验?如何避免过度依赖虚拟社交找到虚拟与真实之间的平衡点?《中国消费者报》记者就此展开了调查APP里有个...【详细内容】
2024-04-09    中国消费者报  Tags:数字人   点击:(6)  评论:(0)  加入收藏
AI“复活”成产业链:成本可降至数百元
大模型应用落地,带火数字人(11.560, 0.29, 2.57%)赛道。文|《中国企业家》记者李艳艳 实习生 孙欣编辑|姚赟头图来源|《流浪地球2》电影画面截图清明节前,预估会有需求的庞立...【详细内容】
2024-04-09    中国企业家  Tags:AI“复活”   点击:(3)  评论:(0)  加入收藏
多方热议人工智能产业新机遇
编者按  从前沿科技展会到高层对话平台,从上海、重庆到博鳌,从线上到线下……一场场高规格、大规模的盛会中,人工智能正在成为各界热议的高频词。赋能千...【详细内容】
2024-04-08    中国家电网  Tags:人工智能   点击:(5)  评论:(0)  加入收藏
​人形机器人时代来了吗
日前,由中国人形机器人(11.080, -0.05, -0.45%)百人会主办的人形机器人大赛在北京经济技术开发区开赛。工作人员向参观者展示一款人形机器人。参观者与一款陪护型人形机器人...【详细内容】
2024-04-08    中国青年报  Tags:​人形机器人   点击:(6)  评论:(0)  加入收藏
AI重塑社交:腾讯与字节跳动的新赛场
文|新火种 一号编辑|美美最近,腾讯和字节跳动这两大互联网巨头几乎同步推出了各自的AI社交产品,尽管腾讯和字节跳动在前段时间刚刚“破冰”,但这一举措不仅意味着这两大巨头之...【详细内容】
2024-04-07    蓝鲸财经  Tags:AI   点击:(8)  评论:(0)  加入收藏
站内最新
站内热门
站内头条