您当前的位置:首页 > 电脑百科 > 人工智能

ChatGPT的前世今生:风靡全网的“最强AI”是如何做到这一切的?

时间:2022-12-09 09:29:10  来源:  作者:界面新闻

记者/李京亚 姜菁玲

编辑/宋佳楠

在美剧《硅谷》中,曾有这样一幕有趣的剧情:程序员Gilfoyle用AI聊天软件“安东之子”捉弄他的好友Dinesh。该软件能模拟独属于Gilfoyle的闷骚幽默,让Dinesh误以为是在与Gilfoyle本人聊天。发现真相后,同为程序员的Dinesh也做了一个AI机器人用来报复Gilfoyle。结果,两个AI机器人热聊了起来,还把网络给聊崩了……

这样的场景已经走入现实。美国人工智能实验室OpenAI推出的语言模型系统GPT-3就曾构建出两个人工智能之间的对话,谈论如何成为人类,令看客大呼脊背发凉。

但OpenAI并未止步于此,而是将GPT-3进化为最近风靡全网的ChatGPT,后者不仅在大量网友的“疯狂”测试中表现出各种惊人的能力,如流畅对答、写代码、写剧本、辩证分析问题、纠错等等,甚至让记者编辑、程序员等从业者都感受到了威胁,更不乏其将取代谷歌搜索引擎之说。

作为OpenAI的幕后老板,尚在主导推特变革的马斯克也公开表达了对ChatGPT的力挺,认为“我们离强大到危险的AI不远了。”

全球用户争相晒出自己极具创意的与ChatGPT交流的成果。一位网友要求ChatGPT用《坎特伯雷故事集》风格改写90年代热门歌曲《Baby Got Back》;有网友晒出ChatGPT参加美国高考SAT考试之后的得分:1020(总分1600分);亦有网友收获了ChatGPT用《老友记》几大主角口吻创作的剧本对白。

据OpenAI的CEO,硅谷著名投资人山姆·奥特曼(Sam Altman)透露,自11月30日至12月5日,ChatGPT的用户数量已突破100万。由于太过火爆,OpenAI不得不暂时关闭了用户的测试入驻窗口。

可以说,继AlphaGo击败李世石、AI绘画大火之后,ChatGPT开启了人工智能对人类社会产生深远影响的又一扇窗。不禁让人好奇,它究竟是怎么做到的?

为何是ChatGPT?

如果用一句话来说明ChatGPT是什么,可以将它理解为由AI驱动的聊天机器人。

外界往往认为语言学领域是人工智能派上用场的绝佳地带,而事实并非如此。截至目前,人工智能还没有找到征服语言领域的暗门,即使是谷歌、苹果这样的顶级科技公司,都面临着相关AI研究成果派不上用场的苦恼。

尚处在免费试用阶段的ChatGPT,关注度短短几天扩大到燎原之势,正是因为人们从中看到了人工智能和语言本体之间的真正接口。

那么,ChatGPT采取了什么方式达到了如此惊艳的效果呢?为何苹果的Siri至今无法生成一篇学术论文,亚马逊的Alexa无法吟出一首莎士比亚十四行诗呢?

过去十年间,谷歌、 Facebook、亚马逊、苹果和微软等硅谷科技巨头纷纷开启AI军备竞赛,先后成立专门的AI实验室,而最终业界公认的做纯AI研究的顶级实验室只有三家:背靠谷歌的DeepMind、背靠微软的OpenAI和背靠Facebook的FAIR。其中,被谷歌收购的DeepMind因拥有AlphaGo最为家喻户晓。

OpenAI在2015年底创立于旧金山,其联合创始人是马斯克以及硅谷知名孵化器Y Combinator的前掌门人奥特曼。不过,近年马斯克多以OpenAI的出资人角色出现,奥特曼才是这家公司的主导者和现任CEO。

不到五年时间,OpenAI就依靠GPT3跃升为全球AI领域顶级公司,与DeepMind并称AI圈的“双子星”。事实上,Meta的Fair实验室也一直在自然语言处理和对话型AI领域深耕,但其成果以发表论文为主,显得较为低调。今年6月,大举向元宇宙转型的Meta决定AI部门不再“集中化研究”,而是分布式下放,以便与实际业务结合,导致Fair的前途并不明朗。

OpenAI足以与AlphaGo一战的“武器”正是GPT3,这个2020年推出的巨型语言处理模型怪兽,可以完成诸如答题、写论文、文本摘要、语言翻译和生成代码等壮举,其诞生被视作人工智能竞赛的里程碑事件。

ChatGPT的前世今生

如果梳理OpenAI的GPT(Generative Pre-trained Transformer)系列技术路线,可以探寻出OpenAI的布局思路。

OpenAI最初提出的GPT1,采取的是生成式预训练Transform模型(一种采用自注意力机制的深度学习模型),此后整个GPT系列都贯彻了这一谷歌2017年提出,经由OpenAI改造的伟大创新范式。

简要来说,GPT1的方法包含预训练和微调两个阶段,预训练遵循的是语言模型的目标,微调过程遵循的是文本生成任务的目的。

2019年,OpenAI继续提出GPT-2,所适用的任务开始锁定在语言模型。GPT2拥有和GPT1一样的模型结构,但得益于更高的数据质量和更大的数据规模,GPT-2有了惊人的生成能力。不过,其在接受音乐和讲故事等专业领域任务时表现很不好。

2020年的GPT3将GPT模型提升到全新的高度,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

现在的ChatGPT则是由效果比GPT3更强大的GPT-3.5系列模型提供支持,这些模型使用微软Azure AI超级计算基础设施上的文本和代码数据进行训练。

具体来说,ChatGPT在一个开源数据集上进行训练,训练参数也是前代GPT3的10倍以上,还多引入了两项功能:人工标注数据和强化学习,相当于拿回了被GPT3去掉的微调步骤,实现了在与人类互动时从反馈中强化学习。

也因此,我们得以看到一个强大的ChatGPT:能理解人类不同指令的含义,会甄别高水准答案,能处理多元化的主题任务,既可以回答用户后续问题,也可以质疑错误问题和拒绝不适当的请求。

当初,GPT-3只能预测给定单词串后面的文字,而ChatGPT可以用更接近人类的思考方式参与用户的查询过程,可以根据上下文和语境,提供恰当的回答,并模拟多种人类情绪和语气,还改掉了GPT-3的回答中看似通顺,但脱离实际的毛病。

不仅如此,ChatGPT能参与到更海量的话题中来,更好的进行连续对话,有上佳的模仿能力,具备一定程度的逻辑和常识,在学术圈和科技圈人士看来时常显得博学而专业,而这些都是GPT-3所无法达到的。

尽管目前ChatGPT还存在很多语言模型中常见的局限性和不准确问题,但毋庸置疑的是,其在语言识别、判断和交互层面存在巨大优势。同属于生成式AI范畴,ChatGPT在速度上已经比DeepMind研究人员提出的聊天机器人Sparrow(麻雀)模型领先一步。

有分析指出,OpenAI一直坚定不移的只用自然文本的上文来训练模型推动了GPT3到ChatGPT的成果,其顺应了人类思考的逻辑,最终由量变推动了质变。

商业模式的通路与障碍

不少人已经注意到,ChatGPT的能力已经涉及到AI模型之间的合作:一位网友要求ChatGPT写一个描述女孩的文案,然后用ChatGPT生成的文案画出了女孩的图像。

除了GPT系列之外,OpenAI其实另有一条多模态领域研究支线闻名于世,即今年发布的明星产品——人工智能图像生成器DALL-E2。以DaLL E2为代表的Diffusion Model(扩散模型)几乎完成了此前爆火的AIGC(人工智能生成内容)领域的“大一统”,为AI绘画树立了全新标杆。

顶级技术能力之外,OpenAI能抢在谷歌和Meta之前重新书写AIGC版图,与其精细化的布局相关。

OpenAI月内的两笔收购都切中AIGC的增长点交叉地带,一桩投给了音频转录编辑器Descript ,一桩落子在AI笔记应用Mem。前者的处理场景刚好是文本、图片、音频以及视频,后者的技术底座是Transfomer模型,与ChatGPT同源。也就是说,OpenAI在打造自身处理下游任务的能力的同时,也在寻觅能承载下游任务的容器。

OpenAI的研究领域包括机器学习、自然语言处理和强化学习,其能在短短几年间迅速崛起,与创始人奥特曼对AI的创意性理解力密切相关:“十年前的传统观点认为,人工智能首先会影响体力劳动,然后是认知劳动,再然后,也许有一天可以做创造性的工作。现在看起来,它会以相反的顺序进行。”

在YC,奥特曼以激进大胆的投资风格著称,因其秉承直击腹地的简洁思维,备受创业者青睐。YC曾有创始人称奥特曼为“创业公司的尤达大师”(《星球大战》中的绝地武士导师)。

这位CEO还有着实事求是的性情,当外界对GPT-3的能力发出铺天盖地的赞美时,他反而说“GPT-3被吹捧得太过了”。此后GPT-3在一系列问答中闹出笑话、表现不佳,也印证了他的说法。

但奥特曼的冷静挡不住幕后金主马斯克对ChatGPT抱持的极大热情,他十分关注ChatGPT的商业化前景,并在推特上向奥特曼提问,“ChatGPT每回答一个问题的成本是多少?”奥特曼则如实地答道:“每次对话的平均费用可能只有几美分,我们正试图找出更精确的测量方法并压缩费用。”

实际上,谷歌和Meta等巨头目前都尚未将生成式AI领域的研究能力转化为商业化部署,作为创业公司的OpenAI却做了不少尝试。

这家公司曾希望通过API(应用编程接口)方式来推动GPT-3的技术商业化,在2020年6月就开放了GPT-3的API接口,并曾与十余家公司展开过初步的商用测试,但由于GPT-3的功能并不完善未见成效。曾有传言称OpenAI为GPT3投入了至少1000万美元,为了摆脱入不敷出的窘境,才将GPT3作为一项付费服务来推广。

据虎嗅报道,Facebook改名为Meta之后,Meta AI实验室在5月宣布开放自己的语言大模型OPT(预训练变换模型),而OPT一直对标OpenAI的GPT3。与之类似,硅谷大厂内部都有对标GPT3的产品,只是因为大厂都是关起门来做私密研究,因而不为外界所知。

某种程度上,ChatGPT采取免费试用是OpenAI准备继续打磨这款产品的信号,用户给予的反馈会帮助该模型吸取足够的信息量,从而作出更恰当的反应。

从GPT-3开始,ChatGPT及尚未出炉的GPT-4都面临训练成本过大的问题。有分析指出,是否收费是个两难决策:如果继续免费,OpenAI会无法承受,但收费又会极大减少用户基数。倘若训练成本能大幅下降,则两难自解。

此外,GPT-3历经两年商业化尝试,并未“如愿”取代记者编辑或码农的职业生涯,OpenAI也从中发现,将GPT系列作为辅助生产力工具对商业化更为合适。此前业内传言微软对这家公司的新一轮注资即将落地,届时其估值预计超过200亿美元,商业化也必将提上日程。到那时,OpenAI可以倚仗的大概率是ChatGPT,或者是通过了图灵测试的GPT4。

一片叫好声中,也不乏有人泼来冷水——程序员首选问答社区Stack Overflow日前便宣布,禁止用户复制ChatGPT的答案来回答其它用户的问题,理由是ChatGPT的答案正确比率太低,日后待社区讨论后再作出解禁决定。

此举立刻引发了业界普遍关注,仿佛是对ChatGPT编程价值的彻底否定。与此同时,人工智能界的专家们也在激辩这些大型语言模型可能带来的负面效应,比如Meta的首席人工智能科学家Yann LeCun认为,虽然它们会有错误信息和不良输出,但并不会使文本的实际分享变得容易,而后者才是造成危害的真正原因。但也有人反驳称,这些语言系统的廉价文本生成能力必然会增加其后被分享的风险。

而在OpenAI内部,一年半前曾遭遇核心员工集体出走,创办了一家名为Anthropic的新公司,致力于提高AI安全和可解释性,目前筹资已超过7亿美元,业内亦有声音认为,这支“AI叛逆者联盟”说不定会是另一个OpenAI。



Tags:ChatGPT   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
ChatGPT 应用商店?可能是一个万能应用程序!
OpenAI 在去年 11 月召开了一次开发者大会,首席执行官 Sam Altman 希望软件制造商在 ChatGPT 之上进行进一步的构建。OpenAI 表示,它将很快推出一个市场,开发人员和非技术人员...【详细内容】
2024-04-12  Search: ChatGPT  点击:(3)  评论:(0)  加入收藏
OpenAI 宣布向 ChatGPT 付费用户开放新 GPT-4 Turbo 模型
IT之家 4 月 12 日消息,OpenAI 今日宣布,新 GPT-4 Turbo 现已向付费 ChatGPT 用户开放。与 1 月份相比,新版本提高了写作、数学、逻辑推理和编码的能力。GPT-4 Turbo 可在 Chat...【详细内容】
2024-04-12  Search: ChatGPT  点击:(2)  评论:(0)  加入收藏
ChatGPT官宣免注册,全球互联网变天!OpenAI将取代谷歌搜索?
新智元报道编辑:编辑部【新智元导读】OpenAI这份愚人节礼物,实在是太大了:今天起,ChatGPT不用注册,可以直接使用。用户狂欢,竞品颤抖,我们仿佛已经听到,谷歌搜索引擎这位巨人轰然倒...【详细内容】
2024-04-02  Search: ChatGPT  点击:(10)  评论:(0)  加入收藏
无需注册!OpenAI宣布放开ChatGPT使用限制
工智能初创公司OpenAI宣布,即日起用户无须注册即可开始使用ChatGPT的功能。OpenAI在最新公告中写道:“让ChatGPT等工具广泛可用,让人们能够体验到人工智能的好处,这是我们使命的...【详细内容】
2024-04-02  Search: ChatGPT  点击:(7)  评论:(0)  加入收藏
ChatGPT 突然放开了账户限制,面向所有人开放
大门终于打开。奥特曼 OpenAI 的旗舰产品 ChatGPT 突然宣布:将面向所有人开放,无论你有没有注册账户。从今天开始,访问 Chat.openai.com 将不再要求用户登录,用户将直接进入与 C...【详细内容】
2024-04-02  Search: ChatGPT  点击:(3)  评论:(0)  加入收藏
今天起,ChatGPT无需注册就能用了!
 来源:量子位    金磊 克雷西 发自 凹非寺  就在刚刚,OpenAI狠狠地open了一把:从今天起,ChatGPT打开即用,无需再注册帐号和登录了!  像这样,直接登录网站,然后就可以开启对...【详细内容】
2024-04-02  Search: ChatGPT  点击:(8)  评论:(0)  加入收藏
ChatGPT之父Altman两小时对谈,首聊GPT-5何时发布、llya去哪里了、Q*究竟是什么
Altman做客油管博主Lex Fridman科技博客 ,被追问了一个又一个辛辣的问题。长达两个小时的对谈,奥特曼从OpenAI宫斗、马斯克诉讼、Sora,一直聊到AGI与外星文明!本文重点梳理了长...【详细内容】
2024-03-20  Search: ChatGPT  点击:(8)  评论:(0)  加入收藏
ChatGPT主管最新访谈:未来AI和人类如何共处?
Peter Deng在最新访谈中表示:AI不会取代生产力,人类和AI只有合作才能释放真正潜力,ChatGPT比已知的更强大、最大的挑战在于理解用户需求。当地时间3月13日,OpenAI 消费产品副总...【详细内容】
2024-03-19  Search: ChatGPT  点击:(11)  评论:(0)  加入收藏
ChatGPT日耗电超50万度,大模型或带来“电荒”
未来两年内将由“缺硅”变为“缺电”,马斯克的预言可能正在变成现实。据《纽约客》杂志报道,OpenAI的热门聊天机器人ChatGPT每天可能要消耗超过50万千瓦时的电力,以响应用户的...【详细内容】
2024-03-11  Search: ChatGPT  点击:(33)  评论:(0)  加入收藏
OpenAI新功能:ChatGPT可调用自定义机器人,对话更高效!
近日,知名科技公司OpenAI推出了一项新的功能——“对话中调用(@)自定义聊天机器人”,让用户在对话中无缝切换不同领域的机器人。这一功能的出现,为用户带来了极大的便...【详细内容】
2024-02-02  Search: ChatGPT  点击:(53)  评论:(0)  加入收藏
▌简易百科推荐
ChatGPT 应用商店?可能是一个万能应用程序!
OpenAI 在去年 11 月召开了一次开发者大会,首席执行官 Sam Altman 希望软件制造商在 ChatGPT 之上进行进一步的构建。OpenAI 表示,它将很快推出一个市场,开发人员和非技术人员...【详细内容】
2024-04-12  视角先锋队    Tags:ChatGPT   点击:(3)  评论:(0)  加入收藏
Kyligence发布企业级AI解决方案!AI数智助理降低数据使用门槛
智东西作者 | 长颈鹿编辑 | 李水青智东西4月12日报道,昨日大数据分析和指标平台供应商Kyligence(硅智信息)召开了数智论坛暨春季发布会,并分享和探讨Data+AI产品及解决方案在金...【详细内容】
2024-04-12    智东西  Tags:Kyligence   点击:(3)  评论:(0)  加入收藏
百度Create AI剧透:“三大开发神器”升级,模型增至77个,三步即可生成应用
智东西(公众号:zhidxcom)作者| 香草编辑| 李水青智东西4月11日报道,今日,在百度Create AI开发者大会预沟通会上,百度披露了“三大开发神器”AgentBuilder、AppBuilder、ModelBuild...【详细内容】
2024-04-12    智东西  Tags:Create AI   点击:(3)  评论:(0)  加入收藏
李彦宏最新内部讲话:开源大模型不如闭源,后者会持续领先
界面新闻记者 | 李如嘉界面新闻编辑 | 宋佳楠4月11日,界面新闻获悉,百度创始人、董事长兼首席执行官李彦宏在一场内部讲话中首次谈及文心大模型为何不开源,以及对于大模型开源...【详细内容】
2024-04-12    界面  Tags:李彦宏   点击:(2)  评论:(0)  加入收藏
AI未来或超越“最聪明的人”?专家谈发展如何兼顾公平
中新社北京4月11日电 (记者 马帅莎)到明年底或2026年,人工智能(AI)或超越“最聪明的人”,美国知名企业家埃隆·马斯克近日对人工智能的这一大胆猜想引起关注,这比他去年...【详细内容】
2024-04-12    中国新闻网  Tags:AI   点击:(3)  评论:(0)  加入收藏
行业大模型快速落地的一年,如何做?
生成式AI正成为时下科技企业“讲故事”的关键词之一。但从发展上看,无论是“文生文”的大语言模型,还是“文生图”的多模态模型,更多的是辅助人们进行一些简单的办公,或者提供一...【详细内容】
2024-04-10    钛媒体APP  Tags:行业大模型   点击:(3)  评论:(0)  加入收藏
互联网充斥“针对小白的AI课”,能相信吗?普通人不学AI课程会被淘汰?
早前,一位标榜清华大学博士和多家公司AI顾问名头的百万级粉丝量博主,向用户大力推介“所有人都需要学”的AI入门课程。不过,这些课程最终因贩卖焦虑、蒙骗学员而被平台下架。然...【详细内容】
2024-04-10    九派新闻  Tags:AI课   点击:(9)  评论:(0)  加入收藏
藏在AI背后的“吃电狂魔”
人工智能时代的能耗黑洞据估算,到2027年,人工智能行业每年将消耗85~134太瓦时的电力,相当于瑞典或荷兰一年的总用电量。马斯克判断,电力缺口最早可能会在2025年发生,“明年你会看...【详细内容】
2024-04-09    雪豹财经社  Tags:AI   点击:(4)  评论:(0)  加入收藏
OpenAI和谷歌再起纷争:AI的尽头是内容
日前,纽约时报的一篇报道称,人工智能公司 OpenAI为收集高质量训练数据而开发了一个语音转录模型Whisper。该模型主要用于转录 OpenAI 获取的超过 100 万小时的 YouTube 视频,也...【详细内容】
2024-04-09  小编也疯狂  新浪网  Tags:AI   点击:(4)  评论:(0)  加入收藏
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09    财联社  Tags:AI产业   点击:(4)  评论:(0)  加入收藏
站内最新
站内热门
站内头条