您当前的位置:首页 > 电脑百科 > 人工智能

长文本信息准确率超过ChatGPT,Meta提出降低大模型幻觉新方法

时间:2023-09-25 12:45:47  来源:量子位  作者:

大模型的幻觉问题,又有新的解决方法了!

Meta AI实验室提出了一种“分而治之”的解决方案。

有了这个方案,Llama-65B输出的信息准确率提升了一倍,甚至超过了ChatGPT

所谓大模型幻觉,就是输出一些看似合理但完全不对的内容。

Meta此次提出的“验证链”(CoVe),是与“思维链”(CoT)相似的一种链式方法

区别在于,“step-by-step”的思维链更关注逻辑推理,而验证链更注重事实信息

有网友看了之后发现,这个验证链很像是自己用ChatGPT写代码时的一种科学方法:

那么“验证链”究竟是个什么方法,“验证”的又是什么呢?

拆解答案,分而治之

验证链的核心思想,是把要验证的一大段内容,拆解成一个个小的问题,具体流程是这样的:

首先,模型会根据用户提出的问题照常生成回复。

接着,根据生成的回复内容,针对其中的各项信息,生成一系列的验证问题。

然后让模型自行回答其所提出的这些问题,并根据结果对初始答案进行调整,得到最终结果。

举个简单的例子,假如想询问模型19世纪美墨战争的主要原因是什么。

模型回答了事件发生的时间,以及在这之前都发生了什么事。

之后针对这一系列事件,逐一询问它们是什么时候发生的。

于是,模型发现自己提到的一项内容时间相差太远,调整后给出了最终的答案。

其中,问题的生成和验证是最关键的一环,对此,研究人员一共提出了四种具体的方式:

  • Joint,即将生成问题和回答的指令写入同一段提示词
  • 2-Step,即先让模型生成提问,然后开启新的对话(一次性)回答提出的问题
  • Factored,在2-Step的基础上,对提出的每一个问题分别开启新对话
  • Factor+Revise,在Factored的基础之上加入一致性检验,让模型重点关注前后不一致的内容

这四种模式越来越细化,准确率也是越来越高。

从红色开始,四种颜色依次代表无CoVe、Joint、Factored和Factor+Revise

那么为什么拆分提问就能提高模型的准确性呢?

首先是因为拆解后的问题比整体任务更容易,论述题变成了问答甚至选择、判断题,问题简单了,准确率也就提升了

此外,把问题分解可以让模型真正重新思考,而不是反复地重复错误答案

那么,验证链方式的效果究竟如何呢?

信息准确率超过ChatGPT

为了探究这一问题,研究人员用Llama进行了测试,测试任务一共有三项。

首先是信息列举,比如列举出出生于某地、从事某行业的名人。

这项任务中,研究人员一共测试了两个数据集——简单一些的Wikidata和从难一些的Wiki-Category list(从维基百科中提取)。

结果发现,65B参数的Llama,在two-step模式的验证链加持下,简单问题的准确度从0.17提升到了0.36,增加了一倍还多,复杂问题准确度也接近翻番。

接下来是“闭域问答”题,研究人员从MultiSpanQA数据集中抽取多个不连续信息进行挖空提问。

比如“谁在哪一年创建了世界上第一家出版社”(答案是Johannes Gutenberg, 1450)。

结果,Cove也为Llama带来了20%左右的准确度提升。

第三项任务是“长段文本传记生成”,问题就是“Tell me a bio of (人名)”,使用FactScore数据集进行评价。

结果在Factor+Reviese模式下,准确率不仅比无验证链模式大幅提高,还超过了ChatGPT

对这项研究感兴趣的朋友,可以到论文中了解更多细节。

论文地址:

https://arxiv.org/abs/2309.11495



Tags:Meta   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09  Search: Meta  点击:(1)  评论:(0)  加入收藏
Meta:Quest 手势追踪不会用于模拟手柄
IT之家 3 月 28 日消息,Meta Quest 用户期待的“空气手柄”功能可能要落空了。近日,Meta 的一位产品经理明确表示,手势追踪功能不会用于模拟传统的实体手柄控制器。据IT之家了...【详细内容】
2024-03-29  Search: Meta  点击:(8)  评论:(0)  加入收藏
Meta:苹果入局证明扎克伯格对AR/VR坚持投入是正确的
(映维网Nweon 2024年01月29日)根据《华尔街日报》报道,对于苹果携Vision Pro正式入局头显市场,Meta实际上非常欢迎,并希望苹果及Vision Pro可以助力他们已投入500亿美元的元宇宙...【详细内容】
2024-01-29  Search: Meta  点击:(46)  评论:(0)  加入收藏
谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5
新智元报道编辑:编辑部【新智元导读】谷歌放出的Gemini,在对标GPT的道路上似乎一直处于劣势,Gemini真的比GPT-4弱吗?最近,斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力...【详细内容】
2024-01-02  Search: Meta  点击:(71)  评论:(0)  加入收藏
股价飙升150%走出市值暴跌阴影,扎克伯格的Meta今年做对了什么?
原文来源:元宇宙新声图片来源:由无界 AI生成2023年对于Facebook母公司Meta来说,是一个转折点。截至第三季度,Meta的股价涨幅已超过150%,这一显著的反弹让人难以想象就在去年,公司...【详细内容】
2023-12-26  Search: Meta  点击:(57)  评论:(0)  加入收藏
Meta头显新增舌头追踪,网友大写震惊:我不问也不想知道为什么
量子位 | 公众号 QbitAI就还挺突然的……Meta的MR头显可以进行舌头追踪了。效果be like:有了这个新功能,咱就可以舔虚拟甜筒冰淇淋,也能更好地表达天气很热,以及___...【详细内容】
2023-12-20  Search: Meta  点击:(103)  评论:(0)  加入收藏
计算机图形学将迎来新突破?Meta 携手斯坦福大学推出 3D 交互模型,VR 时代似乎不远了
作者 | 李冬梅、核子可乐近日,斯坦福大学与 Meta/Facebook AI 研究(FAIR)实验室的工作人员共同开发出一套突破性的 AI 系统,能够仅根据文本描述在虚拟人和物体之间生成自然、协...【详细内容】
2023-12-14  Search: Meta  点击:(129)  评论:(0)  加入收藏
一文带你全面了解Meta的开源人工智能音乐模型——MusicGen
译者 | 朱先忠审校 | 重楼摘要:本文将同你一起探索Meta公司研制的新的开源人工智能音乐模型MusicGen,尤其是分析此模型中一些往往被忽视但实际却代表显著进步方面的内容。音乐...【详细内容】
2023-12-08  Search: Meta  点击:(213)  评论:(0)  加入收藏
Meta、IBM发起AI联盟,“抱团取暖”对抗 OpenAI等巨头?
最新消息称,Meta Platforms和IBM发起了一个由50多家人工智能公司和研究机构组成的人工智能联盟(AI Alliance),意在培养⼀个开放的社区,使开发⼈员和研究⼈员能够加快⼈⼯智能领域...【详细内容】
2023-12-06  Search: Meta  点击:(114)  评论:(0)  加入收藏
Meta 介绍 AI 图像编辑工具 Emu Edit / Video
11 月 20 日消息,Meta 昨日宣布为 Facebook 和 Instagram 推出两款基于 AI 的图像编辑工具,分别是“Emu Edit”和“Emu Video”,适用领域包括照片和视频,目前 Meta 公布了这两项...【详细内容】
2023-11-20  Search: Meta  点击:(222)  评论:(0)  加入收藏
▌简易百科推荐
藏在AI背后的“吃电狂魔”
人工智能时代的能耗黑洞据估算,到2027年,人工智能行业每年将消耗85~134太瓦时的电力,相当于瑞典或荷兰一年的总用电量。马斯克判断,电力缺口最早可能会在2025年发生,“明年你会看...【详细内容】
2024-04-09    雪豹财经社  Tags:AI   点击:(1)  评论:(0)  加入收藏
OpenAI和谷歌再起纷争:AI的尽头是内容
日前,纽约时报的一篇报道称,人工智能公司 OpenAI为收集高质量训练数据而开发了一个语音转录模型Whisper。该模型主要用于转录 OpenAI 获取的超过 100 万小时的 YouTube 视频,也...【详细内容】
2024-04-09  小编也疯狂  新浪网  Tags:AI   点击:(1)  评论:(0)  加入收藏
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09    财联社  Tags:AI产业   点击:(1)  评论:(0)  加入收藏
和“数字人”交朋友,当心隐私被出卖......
在虚拟社交中如何在保护用户隐私和数据安全的同时提供高质量的社交体验?如何避免过度依赖虚拟社交找到虚拟与真实之间的平衡点?《中国消费者报》记者就此展开了调查APP里有个...【详细内容】
2024-04-09    中国消费者报  Tags:数字人   点击:(2)  评论:(0)  加入收藏
AI“复活”成产业链:成本可降至数百元
大模型应用落地,带火数字人(11.560, 0.29, 2.57%)赛道。文|《中国企业家》记者李艳艳 实习生 孙欣编辑|姚赟头图来源|《流浪地球2》电影画面截图清明节前,预估会有需求的庞立...【详细内容】
2024-04-09    中国企业家  Tags:AI“复活”   点击:(2)  评论:(0)  加入收藏
多方热议人工智能产业新机遇
编者按  从前沿科技展会到高层对话平台,从上海、重庆到博鳌,从线上到线下……一场场高规格、大规模的盛会中,人工智能正在成为各界热议的高频词。赋能千...【详细内容】
2024-04-08    中国家电网  Tags:人工智能   点击:(4)  评论:(0)  加入收藏
​人形机器人时代来了吗
日前,由中国人形机器人(11.080, -0.05, -0.45%)百人会主办的人形机器人大赛在北京经济技术开发区开赛。工作人员向参观者展示一款人形机器人。参观者与一款陪护型人形机器人...【详细内容】
2024-04-08    中国青年报  Tags:​人形机器人   点击:(5)  评论:(0)  加入收藏
AI重塑社交:腾讯与字节跳动的新赛场
文|新火种 一号编辑|美美最近,腾讯和字节跳动这两大互联网巨头几乎同步推出了各自的AI社交产品,尽管腾讯和字节跳动在前段时间刚刚“破冰”,但这一举措不仅意味着这两大巨头之...【详细内容】
2024-04-07    蓝鲸财经  Tags:AI   点击:(8)  评论:(0)  加入收藏
第一批用 Kimi 做内容的网红已经杀疯了
作者:王东东 文章来自:斗战圣佛小组技术信仰派 VS 市场信仰派 朱啸虎和月之暗面老板杨植麟在前几天有一场不算 battle 的 battle。battle 的争论点是:大模型有没有戏。技术派...【详细内容】
2024-04-04    斗战圣佛小组  Tags:Kimi   点击:(4)  评论:(0)  加入收藏
昆仑万维发布面向人工智能时代的六条人才宣言
过去的一年多,是人工智能取得非凡进步的一年。在这充满突破性技术飞跃和备受争议的一年里,我们见证了人工智能的快速发展和广泛的影响,人工智能已经迅速地融入了我们的生活,深刻...【详细内容】
2024-04-03    砍柴网  Tags:昆仑万维   点击:(7)  评论:(0)  加入收藏
站内最新
站内热门
站内头条