在国产版GPT接踵而至的背景下，目前国内的算力平台还不足以提供支撑，这也成为制约我国大模型发展的重要瓶颈。
上周，百度推出基于大模型的AI聊天机器人(10.720, 0.27, 2.58%)“文心一言”，成为国内首个冲进GPT赛道的互联网企业。3月18日，第一财经记者从达观数据获悉，该公司自主研发的大型语言模型“曹植”系统也取得突破性进展，有望成为国内大规模语言模型中首批可落地的产业应用级模型。
在国产版GPT接踵而至的背景下，目前国内的算力平台还不足以提供支撑，这也成为制约我国大模型发展的重要瓶颈。
垂直大模型也需要上千张GPU
据介绍，“曹植”与ChatGPT和“文心一言”这类更加通用的大语言模型不同，是专注于垂直、专用领域的模型，目标是赋能金融、政务、制造等多个垂直领域。
达观数据创始人CEO陈运文对第一财经表示：“‘曹植’在垂直领域内的理解和生成的任务上都达到了很好的效果。目前在一些技术细节方面还在调优，未来达观数据将建立多个垂直领域的专用语言大模型，整体功能会很有特色。”
他举例称，基于达观AIGC智能写作能力，可适配各类材料申报业务场景，基于已有各结构化类数据，快速撰写各类制式和非制式文档，应用于公文、招投标、投行申报文档、法律文书等专业写作场景。
华为公司创始人任正非近期也对ChatGPT发表看法。他表示：“未来在AI大模型上会风起云涌，不只是微软一家，人工智能软件平台公司对人类社会的直接贡献可能不到2%，98%都是对工业社会、农业社会的促进，大家要关注应用。”
ChatGPT带动了自然语言处理整体上下游以及芯片的思考和发展，某种程度上大模型也很可能成为下一代技术发展的基础设施。中国建立自己的基础模型体系已成为必然需求，在这一发展过程中，目前国内企业面临的普遍问题是算力不足。
陈运文向第一财经记者坦言，训练一个垂直的大模型可能需要上千张GPU芯片集群。“现在面临的问题是，我们需要的GPU数量还远远不够，远水解不了近渴。”他对第一财经记者说道，“集群需要的GPU数量很多，建设周期长投入大。”
目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100（或者国内使用的替代产品A800），该芯片的单价超过1万美元。此外，英伟达最新一代的H100芯片的性能也远超A100，但价格也更高，约合25万元人民币。
除了单个的芯片之外，英伟达还出售一个包含8个A100的服务器系统DGX，售价接近20万美元。分析师和技术专家估计，训练GPT-3等大型语言模型的耗资可能超过400万美元。
这对于大多数中小企业而言几乎是不可能承受的开支。在陈运文看来，如果有超大中心能够提供算力租赁的模式，将会解决中小企业很大一部分算力不足的问题。“国内现有的租赁平台的问题是算力规模还太小，而且价格太高。”陈运文告诉第一财经记者。
企业探索减少对算力的依赖
在GPT这类大模型问世前，国内几乎没有任何应用场景需要用到如此大的算力。第一财经记者了解到，商汤科技等国内企业都拥有自己的超算中心，但这些平台仅向定向合作客户开放；而阿里巴巴等对外出租的超算平台的的算力仍然不足以满足目前大量的大模型需求。
复旦大学自然语言处理实验室邱锡鹏教授此前也表示，该实验室开发的大语言模型MOSS受制于算力资源不足的问题。据介绍，MOSS是基于32张英伟达A100芯片算力。相比之下，ChatGPT模型背后拥有约3万块A100芯片，差距接近1000倍。
对此，邱锡鹏认为，在资源有限的情况下发展大模型的方向是“用规模较小的模型找到特定的应用场景”，例如可以在企业内部私有部署，经过一些数据微调就可以转化为生产力。
作为GPT算力最重要的提供者，英伟达已经在探索新的商业模式。黄仁勋已经表示，英伟达愿意将人工智能的算力放在云端共享给企业。
“我们提供的价值是将原来需要投入10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心，现在将该数据中心放在云端共享，意味着可以由100家公司来分担这一成本，因此每家公司支付的实际上是非常少的费用。”他说道，“现在企业可以花一两千万来构建一个类似GPT的大型语言模型，这是可以支付得起的。”
不过也有业内人士指出，解决算力问题只是开发大模型的第一步。澜舟科技创始人CEO周明对第一财经记者表示：“虽然现在算力平台不足是行业面临的普遍问题，但是即便算力问题解决了，还是会有其他问题，关键在于对大模型本质的理解需要提升。”
周明表示，在美国现在大家也是一窝蜂地去搞大模型，其实很多人对大模型的机理理解还停留在比较初步的认知，包括大语言模型的工程化管理，缺乏独立思考的精神。
周明也同意，未来大模型的一个发展方向是，在算法上进行优化，从而减少对模型和算力的依赖。“比如用很小的GPU也可以做大模型，这个方向值得关注。”他对第一财经记者表示。
京公网安备 11010802035086号