您当前的位置:首页 > 电脑百科 > 人工智能

大模型(LLM)最新趋势总结

时间:2023-07-11 15:11:59  来源:企鹅号  作者: 鹤啸九天的科技思考

引言  

又几个月过去了,大模型(LLM)行业有什么新进展、新趋势?

(0)总结——太长不看

关键结论:

开源社区模型不具备真正智能,更好的小模型来自大模型的 Scale Down

GPT-4模型信息:采用MoE架构,16个experts,800b参数

如何减少幻觉 hallucination?scaling/retrieval/reward model

指令遵循的开源小模型被过度炒作,已经到达瓶颈,突破方向是更强的 Base Model 和更进一步的反馈数据

用不了多久,大家会把80%算力从 TrAIning 转向 Serving

预计未来模型的迭代节奏会很像手机系统:1-2 年更新一次大版本,中间有无数次小版本迭代;

中期来看,RLHF 不应该是 Alignment 的唯一手段, Direct Preference Optimization 和 Stable Alignment 是新路径

长期来看,小版本迭代的角度:隐私/权限的增强、更多的图片/文件/声音格式的 Embedding

LLM 的 Context Window 就像电脑内存,向量数据库是 LLM 的硬盘

Robot Learning 已成为学界主流研究路线

(1)上一期报告回顾

3个月前,文章(The Age of AI:拾象大模型及OpenAI投资思考)介绍了拾象投研机构对LLM的调研报告,内容涉及:

① 什么是大模型?LLM是新一代通用计算机,windows 95 级别的计算机平台;

② 从基础模型到 Killer Apps,价值链如何被分配?OpenAI、Anthropic 为代表的基础模型能力边界不断拓宽,占据价值链中最主要的环节;

③ 什么是 AI Native 应用?AI Native 应用不是语言模型的嵌套,而是对现有软件服务的重构;

④ LLM 浪潮下,科技巨头们是如何和 LLM 做结合的?顶级CEO 们对于 LLM 尚未形成共识,未来 6 个月是重要的窗口期;

⑤ OpenAI 为什么能够成为 LLM 最强王者?OpenAI 组织活力来自自上而下对 AGI 的坚定信仰、极高的人才密度,以及自下而上推动创新的实验机制。

具体来说,对于LLM的几个关键判断:

① LLM是计算机,而OpenAI的GPT系列将成为Windows 95级别的计算机平台

② LLM基础模型拿走价值链的大头(60%),其次是AI Infra基础架构、Killer Apps,各占20%。所以,大家纷纷发力训练大模型。

③ 从Mobile到LLM:大模型真正理解语言,数据组织效率和能力继续加强。人机交互方式开始迈入新时代(CUI对话交互)

④ LLM的边界:目前只是空有大脑,身体和感官还在逐步成长。

⑤ 下一步:给大脑装上感官(多模态)以及手脚(插件/AutoGPT之类)

另外,LLM之上的应用会是什么样?全方位的重构:交互、数据信息、服务以及反馈机制,一个可行的路子是AI Native软件开发——把已有应用按照LLM的能力图谱重新设计一遍,对话式交互(CUI)走到前台。

相对于应用层,未来3-5年,AI-Infra的确定性机会更多,体现在模型层和工具层的各类应用。

(2)最新报告:State of LLM

6月29日,时隔3个月,拾象投研团队再次发布LLM调研报告:State of LLM

精简总结如下(原始报告获取方式见尾部附录)

继续看好LLM,如火如荼、大动干戈的“千模大赛”到底在争什么?下一代超级入口!

目前,OpenAI、Anthropic和google处于第一梯队。

报告甚至将LLM训练复杂度比作“造原子弹”,每次发布堪称“登月”,有些夸张,但LLM训练确实不容易。

过去的几个月时间,已经很多家公司发布自己的大模型,各有特色,灿若繁星:

开源系列羊驼大家族最为耀眼,英文名已经“售罄”。

更多介绍见前文:ChatGPT复现: 三步走+大模型进化图谱

其中不少LLM宣称达到或趋近ChatGPT/GPT-4的80-90%,大家也都体验过,可圈可点

上次的有偏评测(约120道题)中,初步探了探底:

详见文章:千模大赛哪家强?大语言模型中文评测实践。

报告里关于LLM训练的事实和观点:

预训练:GPT系列的成功主要源自于小创新,训练数据远超过其他大模型。

微调:GPT并非采用预训练一体的模型结构。

奖励模型:OpenAI 数据飞轮效应有限,外部数据标注分散给多家公司。

至于稳坐神坛的GPT-4,这次报告明确指出:GPT-4采用MoE架构,16个experts,800b参数,“吃掉”30T数据,训练消耗5万张A100,推理用了3-4万A100。而这只是开始,下一代模型重点是多模态,消耗的资源将更大更多,10万张H100!

至于业界普遍看好的开源模型,这次报告波了盆冷水:开源社区模型不具备真正智能,更好的小模型来自大模型的 Scale Down

同时,报告还指出:指令遵循的开源小模型被过度炒作,已经到达瓶颈,突破方向是更强的Base Model 和更进一步的反馈数据。

LLaMA+指令微调≠GPT 3.5

怎么办?开源社区开始“分工协作”,转向 pre-train环节。

至于,盛传的“开源大模型才是未来的赢家”,大家态度截然相反,客户坚信,而研究者悲观,算力、数据、时间差以及全栈产品链,不是一般开源组织玩得起的。

千模大赛还在继续,热潮还会持续多久?过于关注训练会不会浪费资源?

跟风而上的浪潮终究会退下,到时候,少数人成为弄潮儿,而多数人被淹死,成为他人谈资。

大模型训练尘埃落定后,新的浪潮是什么?大模型应用,其中 Serving 是个难题。

报告里分析了什么时候80%算力从 Training 转向 Serving?要看用户群体,B/C/G 时间点各不相同。

B/G:私有化部署和小语种模型

C:终端推理解决隐私问题

产品上,目前主要简单辅助,多模态、复杂推理问题解决后,才会带来质的飞跃。

成熟期时间轴上的刻度依次是 长程窗口、多模态、小模型天花板、模型压缩等,B/C/G侧应用随之逐步展开,Serving时刻到来。

预计未来模型的迭代节奏会很像手机系统:1-2 年更新一次大版本,中间有无数次小版本迭代;

中期来看,RLHF 不应该是 Alignment 的唯一手段, Direct Preference Optimization 和 Stable Alignment 是新路径

长期来看,小版本迭代的角度:隐私/权限的增强、更多的图片/文件/声音格式的 Embedding

LLM 的 Context Window 就像电脑内存,向量数据库是 LLM 的硬盘;因而,向量数据库成为LLM领域应用的必备工具,大量vector store厂商成为投资热门。

LLM应用新趋势:LLM扮演system 1,负责快思考,而LLM的Agent助手扮演system 2,负责慢思考(理性推导)

报告还提到了经典的幻觉问题:

幻觉原因:模型学习了错误信息,模型只善于模仿语言风格,而不能良好地判断正确的信息

如何减少幻觉(hallucination)?

方法有:scaling/retrieval/reward model

① scaling:大模型小型化,降低幻觉频率

② retrieval:通过检索融入事实信息,纠正幻觉

③ reward model:用奖励模型来鉴别幻觉

有了大模型的加持,学术界已经把Robot Learning 做为主流研究路线

LLM+Robotics=?

软件上,机器人大脑大幅升级;

硬件上,人形机器人热度再起。



Tags:LLM   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
一文解析如何基于 LangChain 构建 LLM 应用程序
Hello folks,我是 Luga,今天我们继续来聊一下人工智能(AI)生态领域相关的技术 - LangChain ,本文将继续聚焦在针对 LangChain 的技术进行剖析,使得大家能够了解 LangChain 实现...【详细内容】
2024-03-07  Search: LLM  点击:(31)  评论:(0)  加入收藏
有了LLM,所有程序员都将转变为架构师?
编译 | 言征 出品 | 51CTO技术栈(微信号:blog51cto)生成式人工智能是否会取代人类程序员?可能不会。但使用生成式人工智能的人类可能会,可惜的是,现在还不是时候。目前,我们正在见...【详细内容】
2024-03-07  Search: LLM  点击:(19)  评论:(0)  加入收藏
一文读懂大型语言模型LLM
在当今的技术世界中,人工智能正以前所未有的速度发展和演变。这一领域的快速发展得益于先进的机器学习算法、海量数据的可用性以及计算能力的显著提升。特别是,在自然语言处理...【详细内容】
2024-01-02  Search: LLM  点击:(81)  评论:(0)  加入收藏
SQL应用于LLM的程序开发利器——开源LMQL
译者 | 朱先忠审校 | 重楼我相信你听说过SQL,甚至已经掌握了它。SQL(结构化查询语言)是一种广泛用于处理数据库数据的声明性语言。根据StackOverflow的年度调查,SQL仍然是世界上...【详细内容】
2023-12-27  Search: LLM  点击:(77)  评论:(0)  加入收藏
生成式人工智能潜力的释放:软件工程师的MLOps和LLM部署策略
译者 | 李睿审校 | 重楼生成式人工智能最近的爆发标志着机器学习模型的能力发生了翻天覆地的变化。像DALL-E 2、GPT-3和Codex这样的人工智能系统表明,人工智能系统在未来可以...【详细内容】
2023-12-18  Search: LLM  点击:(118)  评论:(0)  加入收藏
构建更好的基于LLM的应用程序的四大秘诀
作者 | Adrien Treuille译者 | 布加迪自从OpenAI发布首个ChatGPT模型以来,人们对生成式AI的兴趣激增。基于大语言模型(LLM)的应用程序现处于企业思考生产力和效率的最前沿,用于...【详细内容】
2023-12-13  Search: LLM  点击:(137)  评论:(0)  加入收藏
解决LLaMA、BERT等部署难题:首个4-bit浮点量化LLM来了
大语言模型 (LLM) 压缩一直备受关注,后训练量化(Post-training Quantization) 是其中一种常用算法,但是现有 PTQ 方法大多数都是 integer 量化,且当比特数低于 8 时,量化后模型的...【详细内容】
2023-11-17  Search: LLM  点击:(145)  评论:(0)  加入收藏
LLM量化包与传统投资策略的对比分析
随着科技的发展和金融市场的变化,投资者们在寻求更有效的投资策略时,开始关注量化投资。LLM量化包作为一种先进的量化投资工具,与传统投资策略相比,具有许多独特的优势。本文将...【详细内容】
2023-11-17  Search: LLM  点击:(132)  评论:(0)  加入收藏
LLMs应用框架:LangChain端到端语言模型
在当今数字化时代,语言处理技术的重要性日益凸显。大语言模型(LLMs)作为其中的重要分支,已经在多个领域取得了显著的进展。然而,如何将这些模型应用到实际场景中,实现端到端的自动...【详细内容】
2023-11-16  Search: LLM  点击:(168)  评论:(0)  加入收藏
什么是 LLM (大型语言模型)以及如何构建LLM?
来源:Mangesh Gothankar在本文中,我们将了解如何从零开始构建 LLM(大型语言模型)。你可能会问,为什么要做这样的事情?是这样的,LLM 在无数应用中都非常有用,从头开始构建一个 LLM,你...【详细内容】
2023-11-09  Search: LLM  点击:(90)  评论:(0)  加入收藏
▌简易百科推荐
行业大模型快速落地的一年,如何做?
生成式AI正成为时下科技企业“讲故事”的关键词之一。但从发展上看,无论是“文生文”的大语言模型,还是“文生图”的多模态模型,更多的是辅助人们进行一些简单的办公,或者提供一...【详细内容】
2024-04-10    钛媒体APP  Tags:行业大模型   点击:(3)  评论:(0)  加入收藏
互联网充斥“针对小白的AI课”,能相信吗?普通人不学AI课程会被淘汰?
早前,一位标榜清华大学博士和多家公司AI顾问名头的百万级粉丝量博主,向用户大力推介“所有人都需要学”的AI入门课程。不过,这些课程最终因贩卖焦虑、蒙骗学员而被平台下架。然...【详细内容】
2024-04-10    九派新闻  Tags:AI课   点击:(5)  评论:(0)  加入收藏
藏在AI背后的“吃电狂魔”
人工智能时代的能耗黑洞据估算,到2027年,人工智能行业每年将消耗85~134太瓦时的电力,相当于瑞典或荷兰一年的总用电量。马斯克判断,电力缺口最早可能会在2025年发生,“明年你会看...【详细内容】
2024-04-09    雪豹财经社  Tags:AI   点击:(3)  评论:(0)  加入收藏
OpenAI和谷歌再起纷争:AI的尽头是内容
日前,纽约时报的一篇报道称,人工智能公司 OpenAI为收集高质量训练数据而开发了一个语音转录模型Whisper。该模型主要用于转录 OpenAI 获取的超过 100 万小时的 YouTube 视频,也...【详细内容】
2024-04-09  小编也疯狂  新浪网  Tags:AI   点击:(2)  评论:(0)  加入收藏
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09    财联社  Tags:AI产业   点击:(3)  评论:(0)  加入收藏
和“数字人”交朋友,当心隐私被出卖......
在虚拟社交中如何在保护用户隐私和数据安全的同时提供高质量的社交体验?如何避免过度依赖虚拟社交找到虚拟与真实之间的平衡点?《中国消费者报》记者就此展开了调查APP里有个...【详细内容】
2024-04-09    中国消费者报  Tags:数字人   点击:(6)  评论:(0)  加入收藏
AI“复活”成产业链:成本可降至数百元
大模型应用落地,带火数字人(11.560, 0.29, 2.57%)赛道。文|《中国企业家》记者李艳艳 实习生 孙欣编辑|姚赟头图来源|《流浪地球2》电影画面截图清明节前,预估会有需求的庞立...【详细内容】
2024-04-09    中国企业家  Tags:AI“复活”   点击:(3)  评论:(0)  加入收藏
多方热议人工智能产业新机遇
编者按  从前沿科技展会到高层对话平台,从上海、重庆到博鳌,从线上到线下……一场场高规格、大规模的盛会中,人工智能正在成为各界热议的高频词。赋能千...【详细内容】
2024-04-08    中国家电网  Tags:人工智能   点击:(5)  评论:(0)  加入收藏
​人形机器人时代来了吗
日前,由中国人形机器人(11.080, -0.05, -0.45%)百人会主办的人形机器人大赛在北京经济技术开发区开赛。工作人员向参观者展示一款人形机器人。参观者与一款陪护型人形机器人...【详细内容】
2024-04-08    中国青年报  Tags:​人形机器人   点击:(6)  评论:(0)  加入收藏
AI重塑社交:腾讯与字节跳动的新赛场
文|新火种 一号编辑|美美最近,腾讯和字节跳动这两大互联网巨头几乎同步推出了各自的AI社交产品,尽管腾讯和字节跳动在前段时间刚刚“破冰”,但这一举措不仅意味着这两大巨头之...【详细内容】
2024-04-07    蓝鲸财经  Tags:AI   点击:(8)  评论:(0)  加入收藏
站内最新
站内热门
站内头条