Meta确认5月发布Llama 3，参数量达1400亿

周二，在伦敦的一场活动上，Meta 确认计划在下个月初推出其 LLM 的最新版 Llama 3，这个模型是驱动生成式 AI 助手的核心技术。

这一消息证实了《The Information》杂志周一发布的关于 Meta 即将推出这款新产品的报道。

“到下个月，实际上不到一个月的时间，我们希望在更短的时间内推出我们的新一代基础模型套件 Llama 3，”Meta 全球事务总裁 Nick Clegg 说。他描述了听起来像是针对产品的几个不同迭代或版本的发布计划。“今年，我们将陆续推出多个具有不同功能和型号的模型，很快就会开始。”

Meta 首席产品官 Chris Cox 补充说，该计划将利用 Llama 3 为 Meta 旗下的多个产品提供技术支持。

Meta 一直在努力赶上 OpenAI 的步伐。当 OpenAI 一年多前推出 ChatGPT，并且这款应用程序迅速走红，使得生成式 AI 问答成为日常主流体验时，Meta 和谷歌等其他大型科技公司都感到措手不及。

Meta 在 AI 领域一直采取非常谨慎的策略，但这并没有在公众中获得良好反响，之前的 Llama 版本因功能受限而备受批评。（Llama 2 于 2023 年 7 月对外公开，Llama 的第一版虽未公开发布，却仍然在网上泄露。）

预计 Llama 3 将在规模上超越 Llama 2，不仅能更准确地回答问题，还能处理更复杂问题，甚至包括一些更具争议性的问题。这或许能让这款产品受到用户的青睐。

“我们的长期目标是将 Llama 驱动的 Meta AI 打造成世界上最有用的助手，”AI 研究副总裁 Joelle Pineau 说，“为了达到这一目标，我们还有很多工作要做。” 公司没有透露 Llama 3 所使用的参数规模，也未提供其工作方式的演示。预计，Llama 3 大约有 1400 亿个参数，而最大的 Llama 2 模型为 700 亿个参数。

值得注意的是，Meta 构建的 Llama 系列作为开源产品，代表了 AI 作为一项更广泛技术发展的不同哲学理念。通过这种方式，Meta 希望能更受开发者欢迎，与那些更封闭的模型形成对比。

但似乎 Meta 在文本生成之外的其他生成式 AI 领域采取了更为谨慎的策略。公司尚未发布其图像生成工具 Emu，Pineau 透露。

“在生成令人满意的图片并体现创意背景时，延迟、安全性和易用性都非常重要，”Cox 说。

讽刺的是，即便 Meta 正努力推出 Llama 3，其内部仍存在一些对生成式 AI 持怀疑态度的重要人物。

备受赞誉的 AI 学者，同时也是 Meta 首席 AI 科学家杨立昆猛烈抨击了生成式 AI 的整体局限性，并表示他更看好其后续技术。他预测，未来的发展方向将是联合嵌入预测架构（JEPA），这是一种在模型训练和产生结果方面不同的方法，Meta 一直在用它来构建在图像生成领域更准确的预测 AI。

“AI 的未来是 JEPA，而非生成式 AI，” 他说，“我们可能需要更改 Chris 的产品部门名称。”