与3、4月份人们充满期待的科幻想象相比,当下做大模型的人,关注的话题更接近现实。他们发现,数据是难题,算力也是难题,大模型这条路,前景美好但现实艰难。
作者:任晓宁
卷数量
7月6日至7日,在上海2023年世界人工智能大会召开的2天时间里,据记者不完全统计,有10多款大模型新品发布或宣布即将发布。发布的公司有互联网科技公司、创业公司,还有通信公司;而在大模型新品中,有通用大模型,也有专注细分行业的行业大模型。
已经发布的包括:阿里巴巴的绘画大模型“通义万相”、中国电信的类ChatGPT产品“TeleChat大模型”商汤科技联合香港中文大学和清华大学等推出的“书生通用大模型体系”、第四范式专注企业软件领域的“式说”大模型。
7月7日下午,华为宣布发布盘古大模型3.0。华为常务董事、华为云CEO张平安在PPT最显眼位置写着“不作诗只做事”,他说,盘古大模型聚焦价值场景,致力于深耕政务、金融、制造、煤矿、铁路、制药、气象等行业。比如气象行业,盘古气象大模型可以在相同的空间分辨率下,比欧洲气象中心的operational IFS速度提升10000倍以上,同时保持极高的精准度。
而即将发布的主要大模型产品也有不少。京东将在7月13日发布的千亿级“言犀大模型”,中国移动将于近期发布“九天”1+N大模型,医渡科技称正在研发医疗大模型,并将于近期针对部分目标场景推出小范围邀请测试。奇安信集团董事长齐向东表示,正在研发安全行业大模型,面向政府和企业客户;10月24日,科大讯飞将发布通用大模型,全面对标ChatGPT。
在5月底举行的中关村论坛上,有专家披露,据其统计到当时为止,中国10亿级参数规模以上大模型已发布了79个。如今,随着世界人工智能大会上批量发布的一批大模型,百模大战也已经正式打响。
卷垂直
年初ChatGPT在国内爆火后,大模型的热度持续至今。中金公司一位高管在大会论坛上说,他过去3个月参加的一半以上的会都是人工智能相关的,“似乎不谈ChatGPT,大家就要玩完了似的。”
这种热度可以解释为何直到现在,仍有众多公司还在继续发布大模型。不过,随着人们对大模型认知的增加,大模型的问题也逐渐凸显,成为需要直面的挑战。
图灵奖得主、中国科学院院士、清华大学交叉信息研究院院长姚期智认为,未来大模型应用中最直接影响的就是文书工作,作为生产力工具,许多文书工作可以交由大模型来完成。
作为文书领域的重要玩家,金山办公也发布了他们基于大模型的AI办公产品“wps AI”,可以润色文章,自动制作表格和PPT。用户可以让AI把一篇提纲制作成PPT,并能随意更换PPT风格。
“WPS AI”搭建在MiniMax、百度文心、智谱AI等大模型之上。金山办公CEO章庆元在大会现场表示,金山办公将WPS AI定位为大语言模型的应用方,未来锚定AIGC(内容创作)、Copilot(智慧助手)、Insight(知识洞察)三个战略方向发展。
同样在7月7日当天,语言智能科技企业蜜度发布了专门针对校对垂直行业的大模型,名为“蜜度文修”。蜜度首席技术官刘益东告诉经济观察报记者,蜜度深耕语言智能领域已有十余年时间,拥有庞大的专业数据语料。今年ChatGPT火了后,他们尝试做了一个校对领域大模型,训练出来的效果很令人震惊,在垂直领域的效果远远好于通用大模型。
刘益东还提到,做垂直行业大模型的成本比通用大模型低很多。他们的校对模型,只拿百余张卡训了一个多月的时间,做了几轮比对实验,效果就已经达到可以发布的程度了。
卷进度
新的大模型不断涌现,之前已经发布的大模型公司也不甘示弱,在7月6日、7月7日公布了最新进展。
今年4月10日,商汤发布了通用大模型产品“日日新”。7月7日,“日日新”更新到2.0版,商汤集团联合创始人、董事长兼CEO徐立现场展示了大模型新能力。
徐立用他自己的照片做案例,生成了“一个戴眼镜的男人,弹吉他”的图片,这是他没有做过的事情,生成后发给家人朋友,很多人都信以为真。这些AI生成图片的细节达到了照片级。他还展示了AI绘画的功能,现在商汤大模型可以帮用户补充提示词,比如,一个用户输入了“中国龙,蓝色摆件,珠宝风格”关键词后,AI生成了一条龙的普通图片,大模型可以自动把提示词补充为“一个中国龙的3D渲染图,具有极其精细的图案,龙站在一个蓝色玛瑙海上,添加深度和神秘感……”,AI生成的新图片艺术感增强了许多。
徐立说,4月发布大模型后,商汤每周都在对大模型做迭代。此外,针对行业需求,他们也在大模型基础上推出了小模型。
作为国内首个发布大模型的互联网大厂,百度也在人工智能大会上公布了“文心一言”最新进展。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰称,文心大模型3.5效果、功能、性能全面提升,实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。
此外,做大模型的公司们,当下也正在努力搭建生态,建立标准。7月7日,百度、华为、阿里巴巴等企业被工信部中国电子技术标准化研究院(简称“电子标准院”)授予“国家人工智能标准化总体组大模型专题组”组长单位,正在积极推动大模型国家标准体系建设,助力中国大模型产业发展。
卷算力
与3、4月份人们充满期待的科幻想象相比,当下做大模型的人,关注的话题更接近现实。他们发现,数据是难题,算力也是难题,大模型这条路,前景美好但现实艰难。
“算力是人工智能产业创新的基础,大模型的持续创新,驱动算力需求的爆炸式增长。可以说,大模型训练的效率或者是创新的速度,根本上取决于算力的大小。”华为轮值董事长胡厚崑判断,伴随大模型带来的生成式 AI 突破,人工智能正在进入一个新的时代,算力已经成为越来越稀缺的资源。
华为目前正在着手解决算力问题。7月6日,华为宣布旗下算力解决方案昇腾AI集群全面升级,集群规模从最初的4000卡集群扩展至16000卡,为业界首个万卡AI集群。此前,腾讯云也面向大模型发布新一代高性能计算集群,算力性能较前代提升高达3倍。
不过,当前的算力仍有很大挑战。一位大模型创业公司人士告诉记者,大模型的研发成本非常高昂。仅算力一个领域,做训练、推理、数据处理,就需要数千卡并行的能力,这是一套非常复杂,也非常费钱的系统工程。
清华大学电子工程系系主任汪玉举了一个例子,若同时处理14亿人的推理请求,需要10*24 FLOPs(模型计算力),这个数字超过中国数据中心总算力的3个数量级。
“现有GPU硬件平台的算力仍难满足大模型的需求。”汪玉说。即使现有的最好的芯片,想解决算力问题也仍有很大挑战。
算力之外,大模型数据也有挑战。一位做智能汽车的创始人苦恼于数据量太大,他们公司刚卖了1万辆汽车,但产生的数据已经让他觉得很庞大了,他不敢想象卖到10万辆车时会怎样。硬币的另一面,也有人因为数据不够而感到困难,一位用大模型做生物医药研发的人士说,他们最缺的就是数据,这阻碍了他们研发医药的速度。
腾讯高级执行副总裁汤道生表示,通用大模型一般基于公开信息来训练,在许多专业知识和行业数据积累不足。在策略上,通用大模型有点像“把大海煮沸”,不够聚焦,可以解决80%的问题,但未必能够满足企业某个场景的具体需求。
徐立也提到,大模型的幻觉性问题仍很严重,是需要解决的问题。幻觉性问题是自然语言处理领域中的基础问题之一,指文本生成模型的生成结果中含有与输入事实上冲突的内容。这些问题造成了大模型“一本正经的胡说八道”现象。
除此之外,清华大学智能产业研究院院长、中国工程院院士张亚勤提到,当下大模型仍有自己的局限性。比如ChatGPT会有时效性问题,你问它它是什么时候发布的,它不知道,因为它使用的是2021年9月前的数据。另外,大模型还有效率低、涉嫌侵犯隐私和知识产权保护问题等,这些问题都将影响大模型的商用。张亚勤认为,大模型效率至少还要提高10倍,才有大规模商用的可能性。