ChatGPT用于生产级对话式AI系统的那些缺点

审校 | 孙淑娟

ChatGP凭借其详细和酷似人类的书面回应引起了全世界的关注，引发了关于人们应该如何与这种人工智能（AI）进行互动的热烈讨论。从许多方面来看，ChatGPT都是其前身GPT-3.5的升级版，不过它仍然容易胡编乱造。专家们表示，对于生产级应用而言，AI开发人员可能会考虑将ChatGPT与其他工具结合使用，以获得完整的解决方案。

ChatGPT和GPT-3.5由OpenAI开发，并在微软Azure上加以训练，两者都是基于大型语言模型的对话式AI系统，但存在重大的区别。

首先，生成式预训练Transformer（GPT）3.5比ChatGPT早问世，其神经网络拥有比ChatGPT更多的层。GPT-3.5是作为一种通用语言模型开发而成的，它可以处理很多任务，包括翻译语言、总结文本和回答问题。OpenAI为GPT-3.5提供了一套API接口，这为开发人员提供了一种更有效的方式来访问其功能。

ChatGPT则基于GPT-3.5，是专门作为聊天机器人（“对话式代理”是业界更喜欢采用的术语）而开发的。一个限制因素是，ChatGPT只有文本界面，却没有API。ChatGPT是在庞大对话文本集上加以训练的，与GPT-3.5及其他生成式模型相比，它能更好地进行对话。生成回应的速度比GPT-3.5更快，而且其回应来得更准确。

然而，这两种模型都往往胡编乱造，或者用业内人士所说就是“产生幻觉”。ChatGPT的幻觉率在15%到21%之间。与此同时，GPT-3.5的幻觉率从20%左右上升到41%，因此ChatGPT在这方面有所改善。

硅谷公司Moveworks在其AI对话式平台上使用语言模型及其他机器学习技术，其平台被众多行业的公司所使用。这家公司的创始人兼机器学习副总裁Jiang Chen表示，尽管往往胡编乱造（这是所有语言模型存在的通病），但ChatGPT比之前的AI模型有了重大改进。

Chen说：“ChatGPT确实给人们留下了深刻的印象，给了人们惊喜。”Chen之前是谷歌的工程师，专门开发这个科技巨头的同名搜索引擎。“其推理能力可能会让许多机器学习从业人员感到惊讶。”

Moveworks使用各种语言模型及其他技术为客户构建定制的AI系统。它一直是BERT的大用户，BERT是几年前由谷歌开源的语言模型。该公司使用GPT-3.5，并已经开始使用ChatGPT。

不过据Chen表示，说到构建生产级对话式AI系统，ChatGPT有其局限性。在使用这类技术构建自定义对话式AI系统时，有各种因素需要权衡；重要的是要知道界线在哪里，以便构建一个不会提供错误答案、没有过度偏见、不会让人们等待太久的系统。

Chen表示，ChatGPT在生成有意义的回应以解答问题方面比BERT更胜一筹。具体来说，ChatGPT比BERT有更强大的“推理”能力，BERT被设计用来预测句子中的下一个单词。

虽然ChatGPT和GPT-3.5可以提供令人信服的回应以回答问题，但它们封闭的端到端特性阻止了像Chen这样的工程师对它们进行训练。这也给为特定行业回答自定义的语料库带来了障碍（零售商和制造商使用的词语与律师事务所和政府使用的词语不同）。他表示，这种封闭性还增加了减少偏见的难度。

BERT足够小，可以由Moveworks这样的公司托管。该公司构建了一条数据管道，用于收集某家公司所特定的数据，并将数据传送到BERT模型中加以训练。这项工作让Moveworks得以对最终的对话式AI产品施加更大的控制度，这在GPT-3.5和ChatGPT之类的封闭系统中是不可能实现的。

Chen说：“我们的机器学习堆栈是分层的。我们使用BERT，但我们也使用其他机器学习算法，这使我们得以将客户特有的逻辑和客户特有的数据融入其中。”

Chen表示，虽然OpenAI模型要大得多，并在大得多的语料库上加以训练，但没有办法知道它们是否适合某个特定客户。

他说：“（ChatGPT）模型经过预训练，可以对馈入给它的所有知识进行编码。它本身并不是为了执行任何特定任务而设计的。它之所以能够加速并实现快速增长，是由于这种架构本身实际上很简单。它是一层层同样的东西，所以可以说它融合在一起。由于这种架构，你知道它具有学习能力，但你不知道它在哪里编码什么信息。你不知道哪几层神经元编码了你想要推断的特定信息，所以它更像是一个黑盒子。”

Chen认为，ChatGPT可能正大行其道，但它作为对话式AI的生产级工具所具有的用途可能有点被夸大了。一种更好的方法是利用多个模型的优势，而不是完全致力于一个特定的模型，从而更好地与客户的性能、准确性、偏见预期以及技术的底层功能保持一致。

他说：“我们的策略是在不同的地方使用一系列不同的模型。你可以用大模型来教小模型，然后小模型就会快得多。比如说，如果你想进行分段搜索，就应该使用……某种BERT模型，然后将其作为某种向量搜索引擎来运行。ChatGPT就此而言太庞大了。”

虽然眼下ChatGPT在现实应用环境中的用处可能比较有限，但这并不意味着它不重要。Chen表示，ChatGPT可能产生的持久影响之一是吸引从业人员的注意力，并激励人们在对话式AI技术在未来可能实现的功效方面突破极限。

他说:“我确实认为它开辟了一个领域。展望未来，当我们打开黑盒子，我认为会出现更多有意思的方式和应用。这是我们感到兴奋的地方，我们正致力于这个领域的研发。”

原文标题：​​The Drawbacks of ChatGPT for Production Conversational AI Systems​​，作者：Alex Woodie​