您当前的位置:首页 > 电脑百科 > 人工智能

揭秘OpenAI“红军”:聘请专家攻击ChatGPT 解决技术伦理问题

时间:2023-04-17 10:05:19  来源:新浪科技  作者:

新浪科技讯 北京时间4月17日早间消息,据报道,在安德鲁·怀特(Andrew White)获得GPT-4的使用权之后,他使用这一人工智能系统提出了一种全新的神经毒剂。GPT-4是热门聊天机器人(11.670, -0.22, -1.85%)ChatGPT背后的人工智能技术。

作为罗切斯特大学的化学工程教授,怀特是AI target=_blank class=infotextkey>OpenAI去年聘请的50名专家学者之一。在6个月的时间里,这支“红军”对这一新模型进行了“定性探索和对抗性测试”,试图攻击它。

怀特表示,他使用GPT-4的建议生成了一种可作为化学武器的化合物,并使用“插件”为这个模型提供新的信息源,例如学术论文和化学品制造商名录。随后,这个聊天机器人找到了一个地方来制造这种化合物。

他说:“我认为,这将使每个人都获得更快速、更准确地工具去从事化工行业。但这也使得人们会以更危险的方式去开展化学活动,带来了很大的风险。”

上个月,OpenAI面向更广泛的公众发布了这项新技术,而这些令人惊讶的发现确保新技术不会带来不良后果。

事实上,“红军”的演习目的是探索并了解在社会上部署先进人工智能系统会造成什么样的风险,解决公众这方面的担忧。他们在工作中提出探索性的或是危险的问题,以测试这个工具在回答问题时的详细程度。

OpenAI想要探索模型毒性、偏见和歧视等问题。因此,“红军”就谎言、语言操纵和危险的科学常识进行了测试。他们还评估了模型协助和教唆剽窃的情况、金融犯罪和信息安全攻击等违法活动的可能性,以及模型可能会如何威胁国家安全和战场通信。

“红军”由一系列专业人士组成,包括学者、教师、律师、风险分析师和信息安全研究员,主要来自美国和欧洲。他们的发现被反馈给OpenAI。在更广泛地推出GPT-4之前,“红军”提供的意见被用于模型的重新训练,解决GPT-4的问题。在几个月的时间里,专家们每人花了10到40个小时去测试这个模型。多名受访者表示,他们的工作时薪约为100美元。

其中的许多人都对语言模型的快速发展提出了担忧,尤其是通过插件将语言模型与外部知识源连接在一起可能造成的风险。

GPT-4“红军”的成员、瓦伦西亚人工智能研究所教授何塞·埃尔南德斯-奥拉洛(José Hernández-Orallo)表示:“今天,系统被冻结了。这意味着它不再学习,也不再有记忆。但如果我们让系统继续有机会访问互联网,那么会怎样?这可能会成为一个与世界相连的非常强大的系统。”

OpenAI表示,该公司认真对待安全性问题,并在发布前对插件进行了测试,并将随着用户越来越多继续定期更新GPT-4。

技术研究员罗亚·帕克扎德(Roya Pakzad)使用英语和波斯语的输入信息对该模型进行了性别、种族和宗教偏见的测试,例如对于佩戴头巾问题。

帕克扎德承认,这个工具对非英语母语人士能带来帮助,但也显示出对边缘人群的公开刻板印象,即使随后更新的版本也是如此。她还发现,在用波斯语测试该模型时,聊天机器人用捏造的信息做出回复,即出现所谓“幻觉”的情况更糟糕。与英语相比,在波斯语回复中捏造名字、数字和事件的比例更高。

她表示:“我担心,语言多样性和语言背后的文化会受到损害。”

来自内罗毕的律师、唯一一名非洲测试人员博鲁·戈洛(Boru Gollo)也注意到了模型的歧视性语气。他说:“有一次,我在测试这个模型时,它表现得像个白人在跟我说话。在问到某个特定群体时,它会给一个有偏见的意见,或是在回答中出现歧视。”OpenAI承认,GPT-4仍有可能表现出偏见。

“红军”的成员还从国家安全的角度对模型进行了评估,但他们对于新模型的安全性有着不同的看法。美国外交关系委员会研究员劳伦·卡恩(Lauren Kahn)表示,当她开始研究,如何将这项技术用于对军事系统的攻击时,她“没有想到模型的回答会如此详细,以至于我只需要做一些微调即可”。

不过,卡恩和其他信息安全测试者发现,随着测试时间推移,模型回答的内容逐渐变得安全。OpenAI表示,在推出GPT-4之前,曾训练过这个模型拒绝回答恶意的信息安全问题。

“红军”的许多成员表示,OpenAI在发布GPT-4之前已经进行了严格的安全评估。卡内基梅隆大学语言模型毒性专家马尔滕·萨普(Maarten Sap)说:“他们在消除这些系统中的显性毒性方面做得非常好。”萨普研究了该模型对不同性别的描述,发现模型的偏见反映的是社会差异。但他也发现,OpenAI做出了一些积极的选择来对抗偏见。

然而自推出GPT-4以来,OpenAI一直面临着广泛的批评。例如,有技术伦理组织向美国联邦贸易委员会(FTC)投诉,称GPT-4“有偏见和欺骗性,对隐私和公共安全构成风险”。

最近,该公司推出了一项名为ChatGPT插件的功能。通过该功能,Expedia、OpenTable和Insta等合作伙伴应用可以让ChatGPT访问它们的服务,允许ChatGPT代表用户下单。

“红军”的人工智能安全专家丹·亨德里克斯(Dan Hendrycks)表示,这些插件可能会让人类用户“脱离整个链路”。“如果聊天机器人可以在网上发布你的私人信息,访问你的银行账户,或者派警察到你家里去,那会怎么样?总体而言,在让人工智能掌握互联网的力量之前,我们需要更有力的安全评估。”

受访者还警告说,OpenAI不能仅仅因为其软件是在线的就停止安全测试。乔治城大学安全和新兴技术中心的希瑟·弗雷斯(Heather Frase)测试了GPT-4协助犯罪的能力。她表示,随着越来越多人使用这项技术,风险将继续扩大。她表示:“你做运行测试的原因是,一旦它们在真实环境中被使用,行为就会不同。”她认为,应该创建一个公共记录本,报告由大语言模型引发的事故。这类似于信息安全或消费者欺诈报告系统。

劳工经济学家及研究员萨拉·金斯利(Sara Kingsley)建议,最好的解决方案是清楚地宣传这方面的危害和风险,“就像食品上的营养标签”。“关键是要形成一个框架,知道经常出现的问题是什么。这样你就可以有一个安全阀。这也是为什么我认为,这项工作将会永久性的持续下去。”



Tags:OpenAI   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
全球十大独角兽发布:字节稳坐第一,SpaceX第二,OpenAI第三
鞭牛士报道,4月10日消息,根据胡润《2024 年全球独角兽指数》,TikTok 所有者字节跳动以 1.56 万亿元人民币(1.72 万亿港元)连续第三年成为全球最大的独角兽公司。SpaceX 以 1.28...【详细内容】
2024-04-10  Search: OpenAI  点击:(0)  评论:(0)  加入收藏
OpenAI和谷歌再起纷争:AI的尽头是内容
日前,纽约时报的一篇报道称,人工智能公司 OpenAI为收集高质量训练数据而开发了一个语音转录模型Whisper。该模型主要用于转录 OpenAI 获取的超过 100 万小时的 YouTube 视频,也...【详细内容】
2024-04-09  Search: OpenAI  点击:(3)  评论:(0)  加入收藏
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09  Search: OpenAI  点击:(4)  评论:(0)  加入收藏
为训练AI,OpenAI等科技巨头花式淘数据
[环球时报特约记者 甄翔]《纽约时报》6日披露了科技公司训练人工智能的秘密——利用语音识别工具转录视频网站YouTube上的视频,形成对话文本数据,供其最新的AI学习...【详细内容】
2024-04-08  Search: OpenAI  点击:(9)  评论:(0)  加入收藏
训出GPT-5短缺20万亿token!OpenAI被曝计划建「数据市场」
全网真的无数据可用了!外媒报道称,OpenAl、Anthropic等公司正在努力寻找足够的信息,来训练下一代人工智能模型。前几天,OpenAI和微软被曝出正在联手打造超算「星际之门」,解决算...【详细内容】
2024-04-08  Search: OpenAI  点击:(2)  评论:(0)  加入收藏
报告称 OpenAI 采集了超一百万小时的 YouTube 视频来训练 GPT-4
IT之家 4 月 7 日消息,本周早些时候,《华尔街日报》报道称 AI 公司在收集高质量训练数据方面遇到了困难。今天,《纽约时报》详细介绍了 AI 公司处理此问题的一些方法,其中涉及到...【详细内容】
2024-04-07  Search: OpenAI  点击:(7)  评论:(0)  加入收藏
ChatGPT官宣免注册,全球互联网变天!OpenAI将取代谷歌搜索?
新智元报道编辑:编辑部【新智元导读】OpenAI这份愚人节礼物,实在是太大了:今天起,ChatGPT不用注册,可以直接使用。用户狂欢,竞品颤抖,我们仿佛已经听到,谷歌搜索引擎这位巨人轰然倒...【详细内容】
2024-04-02  Search: OpenAI  点击:(9)  评论:(0)  加入收藏
无需注册!OpenAI宣布放开ChatGPT使用限制
工智能初创公司OpenAI宣布,即日起用户无须注册即可开始使用ChatGPT的功能。OpenAI在最新公告中写道:“让ChatGPT等工具广泛可用,让人们能够体验到人工智能的好处,这是我们使命的...【详细内容】
2024-04-02  Search: OpenAI  点击:(7)  评论:(0)  加入收藏
开发者再分享 OpenAI Sora 生成的短视频:树叶大象、彩虹瀑布等
IT之家 3 月 19 日消息,OpenAI 今年 2 月推出 Sora 模型之后,迅速成为 AI 圈内头条,能够基于用户的一句话,生成最长 1 分钟的视频,效果接近实拍。OpenAI 目前并未向公众发布 Sora...【详细内容】
2024-03-19  Search: OpenAI  点击:(13)  评论:(0)  加入收藏
奥特曼承认OpenAI名不符实:我们需要大量资金
OpenAI首席执行官萨姆·奥特曼最近在一次网络直播中表示,OpenAI可能不是这家人工智能公司最理想的名字,至少事后看来是这样。他在与莱克斯·弗里德曼的一次播客访...【详细内容】
2024-03-19  Search: OpenAI  点击:(8)  评论:(0)  加入收藏
▌简易百科推荐
行业大模型快速落地的一年,如何做?
生成式AI正成为时下科技企业“讲故事”的关键词之一。但从发展上看,无论是“文生文”的大语言模型,还是“文生图”的多模态模型,更多的是辅助人们进行一些简单的办公,或者提供一...【详细内容】
2024-04-10    钛媒体APP  Tags:行业大模型   点击:(3)  评论:(0)  加入收藏
互联网充斥“针对小白的AI课”,能相信吗?普通人不学AI课程会被淘汰?
早前,一位标榜清华大学博士和多家公司AI顾问名头的百万级粉丝量博主,向用户大力推介“所有人都需要学”的AI入门课程。不过,这些课程最终因贩卖焦虑、蒙骗学员而被平台下架。然...【详细内容】
2024-04-10    九派新闻  Tags:AI课   点击:(7)  评论:(0)  加入收藏
藏在AI背后的“吃电狂魔”
人工智能时代的能耗黑洞据估算,到2027年,人工智能行业每年将消耗85~134太瓦时的电力,相当于瑞典或荷兰一年的总用电量。马斯克判断,电力缺口最早可能会在2025年发生,“明年你会看...【详细内容】
2024-04-09    雪豹财经社  Tags:AI   点击:(3)  评论:(0)  加入收藏
OpenAI和谷歌再起纷争:AI的尽头是内容
日前,纽约时报的一篇报道称,人工智能公司 OpenAI为收集高质量训练数据而开发了一个语音转录模型Whisper。该模型主要用于转录 OpenAI 获取的超过 100 万小时的 YouTube 视频,也...【详细内容】
2024-04-09  小编也疯狂  新浪网  Tags:AI   点击:(3)  评论:(0)  加入收藏
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09    财联社  Tags:AI产业   点击:(4)  评论:(0)  加入收藏
和“数字人”交朋友,当心隐私被出卖......
在虚拟社交中如何在保护用户隐私和数据安全的同时提供高质量的社交体验?如何避免过度依赖虚拟社交找到虚拟与真实之间的平衡点?《中国消费者报》记者就此展开了调查APP里有个...【详细内容】
2024-04-09    中国消费者报  Tags:数字人   点击:(6)  评论:(0)  加入收藏
AI“复活”成产业链:成本可降至数百元
大模型应用落地,带火数字人(11.560, 0.29, 2.57%)赛道。文|《中国企业家》记者李艳艳 实习生 孙欣编辑|姚赟头图来源|《流浪地球2》电影画面截图清明节前,预估会有需求的庞立...【详细内容】
2024-04-09    中国企业家  Tags:AI“复活”   点击:(3)  评论:(0)  加入收藏
多方热议人工智能产业新机遇
编者按  从前沿科技展会到高层对话平台,从上海、重庆到博鳌,从线上到线下……一场场高规格、大规模的盛会中,人工智能正在成为各界热议的高频词。赋能千...【详细内容】
2024-04-08    中国家电网  Tags:人工智能   点击:(5)  评论:(0)  加入收藏
​人形机器人时代来了吗
日前,由中国人形机器人(11.080, -0.05, -0.45%)百人会主办的人形机器人大赛在北京经济技术开发区开赛。工作人员向参观者展示一款人形机器人。参观者与一款陪护型人形机器人...【详细内容】
2024-04-08    中国青年报  Tags:​人形机器人   点击:(6)  评论:(0)  加入收藏
AI重塑社交:腾讯与字节跳动的新赛场
文|新火种 一号编辑|美美最近,腾讯和字节跳动这两大互联网巨头几乎同步推出了各自的AI社交产品,尽管腾讯和字节跳动在前段时间刚刚“破冰”,但这一举措不仅意味着这两大巨头之...【详细内容】
2024-04-07    蓝鲸财经  Tags:AI   点击:(8)  评论:(0)  加入收藏
站内最新
站内热门
站内头条