中国10亿参数规模以上大模型已发布79个，集中在北京和广东

文章转载来源：AI之势

来源：澎湃新闻

记者 张静

·据不完全统计，目前中国10亿参数规模以上的大模型已发布79个，14个省市/地区都在开展大模型研发，主要集中在北京和广东，其中北京38个大模型，广东20个大模型。中国大模型中，已有半数以上大模型开源，高校/科研机构是开源主力。

·北京、江苏、广东、上海等是大模型人才相对较多的地区，为大模型研发提供关键智力要素支撑。但人才总量仍然稀缺，大模型具有较高门槛，需要高素质AI人才，目前各地大模型人才数量均不充足。

中国10亿参数规模以上的大模型已发布79个，主要集中在北京和广东。

5月28日，在2023中关村(5.930, -0.03, -0.50%)论坛平行论坛之一的人工智能大模型发展论坛上，中国科学技术信息研究所所长赵志耘发布《中国人工智能大模型地图研究报告》，目前中国10亿参数规模以上的大模型已发布79个，主要集中在北京和广东，其中北京38个大模型，广东20个大模型。中国大模型中，已有半数以上大模型开源，高校/科研机构是开源主力。

2017年谷歌发布的Transformer网络结构是大模型发展的源头技术，自此以后大模型技术在自然语言理解、计算机视觉、智能语音等方面都取得了标志性的技术突破，在模型精度、通用性和泛化能力等方面都实现了跨越式发展。ChatGPT又进一步激发了语言大模型爆发式涌现，也吸引了大量研发团队投入到通用视觉、多模态等更多大模型研发方向。赵志耘表示，仅用5年多时间，大模型技术已形成庞大技术群，衍生出涵盖各种参数规模、各种技术架构、各种模态、各种场景的大模型家族。

从全球大模型发展态势来看，美国谷歌、OpenAI等机构不断引领大模型技术前沿，欧洲、俄罗斯、以色列等越来越多的研发团队也在投入到大模型的研发中。从全球已发布的大模型分布来看，中国和美国大幅领先，超过全球总数的80%，美国在大模型数量方面始终居全球最高，中国从2020年进入大模型快速发展期，目前与美国保持同步增长态势。

在中国大模型的发展态势中，赵志耘表示，据不完全统计，到目前为止中国10亿参数规模以上的大模型已发布79个，14个省市/地区都在开展大模型研发，主要集中在北京和广东，其中北京38个大模型，广东20个大模型。在模型领域分布上，自然语言处理仍是目前大模型研发最活跃的重点领域，其次是多模态领域，在计算机视觉和智能语音等领域的大模型还较少。在研发主体分布上，大学、科研机构、企业等不同创新主体都在参与大模型研发，学术界和产业界之间的联合研发仍不足。“今年以来大模型有着快速发展的态势，但我们同时也观察到了合作收缩的趋势，接下来需要注意。”

与此同时，算力-模型匹配度高，公共算力发展迅速。北京、广东、浙江、上海等地的大模型数量最多，这四个地方也是近三年人工智能服务器采购数量最高的地区。各地也在通过提供公共算力方式补充快速增长的人工智能算力需求，为大模型研发提供更多算力支持。

人才也是人工智能的重要支柱。北京、江苏、广东、上海等是大模型人才相对较多的地区，为大模型研发提供关键智力要素支撑。但人才总量仍然稀缺，大模型具有较高门槛，需要高素质AI人才，目前各地大模型人才数量均不充足。

“通过大模型的论文发布，我们可以看到中国大模型的学术影响力正在逐步形成。从区域影响力来看，北京、广东、上海三地无论是论文数量还是论文引用量都在国内最高。”赵志耘表示，清华大学与阿里和百度联合开发的CogView模型论文引用数最高。但与国外领先大模型的学术影响力相比差距仍然较大。

从开源创新生态上看，中国大模型中，已有半数以上大模型开源，北京、广东、上海三地开源数量和开源影响力均居国内前三。高校/科研机构是开源主力，“清华大学的ChatGLM-6B、复旦大学的MOSS以及百度的文心系列大模型开源影响力最高。”赵志耘表示。

中国大模型的产业化应用沿着两条路径发展，第一种是通用类大模型持续拓展应用领域，文心一言、通义千问、紫东太初、星火认知等中国一批通用化大模型正在快速发展，打造跨行业通用化人工智能能力平台，其应用行业正在从办公、生活、娱乐向医疗、工业、教育等加速渗透。第二种是垂直领域专业类大模型不断深化落地，一批针对生物医药、遥感气象等垂直领域的专业大模型发挥其领域纵深优势，提供针对特定业务场景的高质量专业化解决方案。

倡导加强资源和研发力量的统筹，促进大模型有序发展。

针对大模型发展的不足，赵志耘提出4点建议与展望：

一是加强资源和研发力量的统筹，促进大模型有序发展。通过加强智算中心、超算中心、云计算中心等计算资源的统筹，制定公共数据共享目录和共享规则，推动数据分级分类有序开放。

二是加快基础研究和技术创新，提升学术和开源影响力。大模型技术仍处于发展初期，潜在的基础理论和技术创新空间巨大。通过蒸馏、量化等小型化技术实现模型“瘦身”，为大模型小型化、绿色化发展提供技术支撑。进一步加强产学研合作，鼓励大模型开源开放，也将加速大模型技术进步。

三是强化大模型发展中的场景牵引作用，打造大模型标杆项目。以行业专有训练数据集为基础，打造金融、医疗、电力等领域的专业大模型，在特定业务场景实现高质量应用突破，也希望通过应用场景和应用数据反向促进大模型技术迭代升级。

四是强化国际合作，积极参与全球人工智能治理。以负责任的态度共同推动大模型的治理，希望人工智能的治理原则和伦理规范能够进一步在大模型的全链条中落地生根。同时在增进共识的基础上加强人工智能治理的全球合作。