3月22日,在“华彩杯”算力大赛上海赛区启动会上,上海市经信委副主任汤文侃表示,分析GPT-4等大模型成功要素,除海量的高质量语料数据外,更重要的是庞大的智算算力支持。我国有超过20%的算力是智能算力,但目前智能算力较为分散,进一步支撑AI大模型的训练还有一定难度,同时,和新发布的ChatGPT专用GPU相比,我国在AI芯片上也存在代际差距。
面对智能算力存在的不足,北上广等数字经济发达地区陆续出台了政策推进智算中心建设,全国首个AI公共算力平台前不久也落地上海。有AI领域人士表示,希望AI公共算力平台能够提供训练模型所需要的一部分算力,同时也希望能够降低训练成本。
20%
近年来,我国数据和算力基础设施建设成效显著。中国信通院云大所副所长李洁在接受媒体采访时表示,截至2022年底,全国在用数据中心机架总规模超过650万标准机架,算力总规模达到180EFLOPS,位居全球第二,算力总规模近五年年均增速超过了25%,存力总规模超过1000EB。
“随着‘东数西算’工程全面启动,算力提升到和水电气等基础资源同等重要的地位和高度,我国算力基础设施建设持续提速,未来算力对我国经济发展的促进作用将得到进一步提升。”李洁说。
算力还可以进一步细分成三种不同的类型,基础算力、智能算力和超算算力。当前的算力规模中,有超过20%的算力是智能算力,可用于人工智能各类应用,包括模型训练和推理。
智能算力和基础算力有何不同?开域集团董事长兼CEO施侃对北京商报记者表示,智能算力主要是指基于GPU、FPGA、ASIC等可以加速AI计算的服务器平台提供的算法,区别于由CPU服务器提供算力的基础算力。
“基础算力主要用于传统的计算应用,如计算机科学、数值计算和物理模拟等领域。而智能算力主要用于人工智能应用,如图像识别、语音识别和自然语言处理等领域。智能算力的计算能力要求更高,需要具备更好的并行计算能力和内存容量。”全联并购公会信用管理委员会专家委员安光勇说。
根据《2022-2023中国人工智能计算力发展评估报告》,2021年中国智能算力规模达155.2 EFLOPS(FP16),预计到2026年中国智能算力规模将达到1271.4 EFLOPS。2021-2026年期间,预计中国智能算力规模年复合增长率达52.3%。
短板
AI大模型的成功有赖庞大智能算力的支持。正因为有万张训练卡的计算资源支撑,OpenAI才带来算法应用的革新。有数据显示,ChatGPT的总算力消耗约为3640PF-days,需要7-8个投资规模30亿元、算力500P的数据中心才能支撑运行。
“根据OpenAI ChatGPT的访问量估算,仅仅是支持推理服务就需要长期占用上万张A100芯片。就训练GPT3这样规模的大模型来看,也需要同时使用上千张A100训练1个月以上。”施侃说。
施侃介绍,算力的开销受多种因素影响,比如训练的数据量、模型大小、推理服务器数量等等。开域集团目前主要消耗量在训练视频生成的多模态大模型上,在训练期间最多会同时使用数百张A100芯片。
不过,智能算力已经成为了制约我国AI大模型研发和生产的重要瓶颈之一。“智能算力依赖AI芯片,主流AI芯片是英伟达公司生产的GPU,最先进的GPU芯片限于禁令对我国封锁,中国目前只能使用缩水版A100,而美国已经有ChatGPT专用芯片,相比之下有至少两代的差距。”深度科技研究院院长张孝荣对北京商报记者表示。
3月22日,在GTC大会上,英伟达发布ChatGPT专用GPU,推理速度提升了10倍。“当前唯一可以实际处理ChatGPT的GPU是英伟达HGXA100。与前者相比,现在一台搭载四对H100和双NVLINK的标准服务器速度能快10倍,可以将大语言模型的处理成本降低一个数量级。”英伟达CEO黄仁勋说道。
智能算力分散也是目前面临的一大难题。中国人民大学副教授、北京市社科院研究员王鹏对北京商报记者表示,要进一步训练AI大模型,我国所需要的是高端化、专门针对大模型训练的芯片,这一类智能算力我国目前还不够多。同时,智能算力还分布在全国各地的不同算力中心,难以发挥整体算力优势,统一协调、集中起来为某几个项目、实验室或企业的AI大模型训练服务,还有一定难度。
精进
面对智能算力存在的不足,各地也在积极扩大智能算力规模。北京、上海、广州等数字经济发达地区陆续出台了政策推进智算中心建设。
2月13日,北京发布《2022年北京人工智能产业发展白皮书》,提出北京将支持头部企业打造对标ChatGPT的大模型,着力构建开源框架和通用大模型的应用生态。加强人工智能算力基础设施布局,加速人工智能基础数据供给。
2月20日,全国首个AI公共算力平台上海市人工智能公共算力服务平台在上海正式揭牌启用。汤文侃表示,为抢占算力发展制高点,接下来,上海推进算力网络建设,推广公共算力服务,依托已成立的市人工智能公共算力服务平台,满足科研机构和广大中小企业的人工智能算力需求。
人工智能企业希望获得哪些支持?施侃表示,“我们主要还是希望获得算力方面的支持,一方面是能够提供训练模型所需要的一部分算力,另一方面能够在价格方面降低训练成本。在这方面我们非常愿意积极参与,并且与上海市人工智能公共算力服务平台一起探索这种创新的模式”。
王鹏认为,除了提供政策支持和补贴外,各地政府还应当进一步夯实基础设施,例如通过多元化的方式方法,调动各方力量和资源共同来推进,在全国集中建几个针对智能算力的超级运算中心,用来训练AI大模型,把更多的优质算力集中起来统一分配,统一研发攻关。
北京商报记者 方彬楠 袁泽睿