ChatGPT诞生前传
最近，AI target=_blank class=infotextkey>OpenAI 的 CEO Sam Altman 在一场公开会议上为 GPT-5 辟谣。
他声称 OpenAI 并没有在训练 GPT-5，而是一直基于 GPT-4 做别的工作。
OpenAI 是一家非常有趣的机构，和微软、google 等大公司不同，OpenAI 从不避忌谈及自己的理念、产品，始终保持坦诚的态度。
为什么 OpenAI 如此特别？这个只有几百人的非盈利组织为什么能做出震惊世界的 AI 产品？Karen Hao 写作的这篇万字长文或许能告诉你 OpenAI 成功的秘密。
本文于 2020 年 2 月发布于 MIT Technology Review，距离 GPT-3 发布还有四个月，距离 ChatGPT 发布还有两年零九个月。
文/Karen Hao@MIT Technology Review译/f.chen@真格基金
这是一个关于竞争压力如何侵蚀理想主义的故事。
每年，OpenAI 的员工都会投票预测通用人工智能（AGI）的到来时间 —— 这在内部主要被视为一项有趣的团建活动，不同员工做出的估计也差异巨大，值得一提的是，虽然是否能够成功构建自主的 AI 系统还存在争议，但 OpenAI 已经有一半人打赌 AGI 可能会在 15 年内实现了。
经过短短四年发展，OpenAI 已成为世界领先的 AI 研究实验室之一。一方面，它因持续发布引人注目的研究成果而声名鹊起，并与 Alphabet 的 DeepMind 等其他 AI 巨头齐名；另一方面，它也是硅谷宠儿，Elon Musk 和传奇投资人 Sam Altman 都是其创始人。
但最重要的是，OpenAI 因其使命而备受推崇。它的愿景是成为第一个实现 AGI 的组织，但不是为了统治世界，而是为了确保这项技术的安全发展，并将所产生的利益公平地分配给所有人。
如果任技术自由发展，AGI 可能很容易失控 —— 狭义智能，即今天（指 2020 年）我们周围笨拙的 AI，已经为我们展示了很多例子。现在，我们已经知道，算法是有偏见且脆弱的，它们可能造成严重虐待和欺骗，而开发和运行它们的成本却将控制它们的权力集中在少数人手中。推想可知，没有‘仁慈的牧羊人’小心指导，AGI 可能会是灾难性的。
OpenAI 希望成为这个‘仁慈的牧羊人’，并精心打造‘个人形象’—— 身处这个由富有且强势的巨头主导的领域，它在成立时即定位为非营利组织。
组织的第一份声明说，这种区别将使它‘为每个人，而不是股东创造价值’；它的章程 —— 这份文件如此神圣，以至于员工薪水取决于他们对条款的遵守程度 —— 进一步宣称 OpenAI 的‘首要承担的责任是面向人类的’；此外，安全地实现 AGI 非常重要，甚至如果另一个组织首先接近实现这一目标，OpenAI 将停止竞争，转向与之合作。这样的叙事对投资者和媒体来说非常有吸引力，2020 年 7 月，微软向该实验室投资了 10 亿美元。
然而，在 OpenAI 办公室度过的三天，以及对公司过去和现在的员工、合作者、朋友和其他领域专家进行的近三十多次采访，呈现出了一个完全不同的情况，该公司对外的表述和实际运营理念并不一致。随着时间推移，激烈的竞争和越来越大的融资压力已经侵蚀了其成立时的透明、开放和合作的理念。
许多在该公司工作或曾经工作的人坚持在此报道中匿名，因为他们没有获得发言权限或担心受到报复。对他们的访谈表明，OpenAI 尽管有着崇高的愿景，但却痴迷于保守秘密、保护形象和维持员工的忠诚度。
从诞生开始，AI 技术的发展方向一直是理解人类智能，再实现自主创造。1950 年，著名的英国数学家和计算机科学家 Alan Turing 在论文中问了一个著名的问题：‘机器能思考吗？’六年后，一群科学家聚在达特茅斯学院，正式规范了这个学科。
‘这是知识史上最基本的问题之一，对吧？’位于西雅图的非营利性 AI 研究实验室艾伦 AI 研究所（Allen Institute for Artificial Intelligence， AI2）的 CEO Oren Etzioni 说，‘这就像我们是否理解了宇宙的起源，是否理解了物质这类问题一样。’
问题在于，AGI 的定义一直都很模糊。没有人真正能准确描述它会是什么样子，或至少应该做到什么，也很难说只有一种通用智能，人类智能可能只是其中的一个子集。关于实现 AGI 的目的也存在不同的意见，在更浪漫化的观点中，一种不受睡眠需求或人类交流效率限制的机器智能可以帮助解决气候变化、贫困和饥饿等复杂问题。
但 AI 领域的共识是，实现这种先进的能力需要数十甚至数百年的时间 —— 如果确实有可能开发出来的话。许多人还担心，过度热衷于追求 AGI 可能会适得其反，历史上，在 20 世纪 70 年代与 80 年代末 90 年代初，AI 研究过度夸大其词，但表现不佳。一夜之间，资金枯竭，给一整代研究者造成了深深创伤。过去担任行业组织‘AI 合作伙伴关系（Partnership on AI）’研究主管的 Peter
Eckersley 说：‘这个领域感觉像是一潭死水。’OpenAI 是该组织的成员之一。
在此背景下，OpenAI 于 2015 年 12 月 11 日以高调的姿态诞生了。它不是第一个公开宣布要实现 AGI 的实验室 —— DeepMind 在五年前就这么做了，并在 2014 年被 Google 收购 —— 但似乎有所不同：首先，其惊人的启动资金量引起了轰动，它将从私人投资者（包括 Musk、Altman 和 PayPal 联合创始人Peter Thiel）那里获得 10 亿美元的启动资金，明星投资者名单也引起了媒体的极大关注；其次，其首批员工名单也同样令人瞩目：
- 曾任支付公司 Stripe CTO 的 Greg Brockman 将担任 CTO；
- 曾在 AI 先驱 Geoffrey Hinton 手下学习的 Ilya Sutskever 将担任研究主任；
- 七名从顶尖大学毕业或从其他公司挑选而来的研究员，组成了核心技术团队；
- 2018 年 2 月，Musk 宣布因对 OpenAI 的方向存在分歧而离开了该公司，一个月后，Altman 辞去了创业加速器 Y Combinator 的总裁职务，成为 OpenAI 的 CEO。
但最重要的是，OpenAI 的非营利性质相当于一个声明：‘有一个领先的研究机构，可以将全局利益放在个人自身利益之上，这非常重要。我们非常鼓励研究人员将被鼓励对外发布他们的工作，无论是论文、博客文章还是代码，而我们的专利（如果有）将与世界分享。’虽然没有指明，但也暗示得非常清楚：像 DeepMind 这样的实验室无法为人类服务，因为它们受到商业利益的限制，它们是封闭的，但 OpenAI 是开放的。
在研究环境越来越私有化、专注于短期金融收益的趋势下，OpenAI 为解决最大的问题提供了一种新的融资方式。紧密关注该实验室发展的机器学习专家 Chip Huyen 说：‘它是一束希望之光。’
在旧金山的 18th Street 和 Folsom Street 的交叉口处，OpenAI 的办公室看起来像个神秘仓库。这座历史悠久的建筑物由沉闷的灰色板条搭建而成，有着有色玻璃窗户，大部分百叶窗都被拉了下来，染着褪色红漆的‘先驱建筑（PIONEER BUILDING）’这几个字毫不起眼地藏在拐角处，这是它曾经的主人先锋卡车厂存在的痕迹。
但其内部空间明亮且通风良好。一楼有几个公共空间和两个会议室，其中一个适合举行大型会议，被称为《2001 太空漫游》（A Space Odyssey）；另一个则更像是一个闪烁着荣耀之光的电话亭，被称为《无尽的玩笑》（Infinite Jest） —— 这是我访问期间被限制进入的空间。我也被禁止参观二楼和三楼，所有人的办公桌、机器人(11.720, -0.17, -1.43%)和几乎所有有趣的东西都在那里，访谈时间到了，他们就下来见我，会议间隙，会有一名员工小心地监督我。
拜访 Brockman 那天，天空湛蓝，但他看起来有些紧张和谨慎。他带着试探性的微笑说：‘我们从未给过别人如此多的权限。’他留着毫无修饰的简洁发型，像 OpenAI 的许多其他人一样，穿着休闲服装。
31 岁的 Brockman 在北达科他州的农村长大，度过了他所描述的‘专注、安静的童年’：挤牛奶、收鸡蛋，自学爱上了数学。2008 年，他进入哈佛大学，本打算双修数学和计算机科学，但很快就不耐烦了，因为他渴望进入现实世界；一年后，他退学转而进入麻省理工学院，但几个月后，他又退学了 —— 这是他的最终决定，他搬到了旧金山，再也没有回头。
Brockman 带我去吃午饭，以便在公司全体会议期间将我带离办公室。在街对面的咖啡馆里，他充满热情、真诚并兴奋地谈论 OpenAI，多次将其使命与科学史上里程碑式的成就相提并论。他有着很容易令人欣赏的领导魅力，还分享了让自己印象深刻的书，重点落在了硅谷最喜欢的叙事之一 —— 美国登月竞赛上，‘我很喜欢的一个故事是清洁工的故事。’
他接着引用了一个可能是虚构的著名故事：‘肯尼迪走向他，问他：‘你在干什么？’他说：‘哦，我正在帮助把人送上月球！’’还有横跨大陆的铁路，‘实际上这是最后一个完全由人手工完成的大型工程…… 一个风险极大的巨大规模项目’，以及爱迪生的白炽灯，‘一群杰出的专家说‘它永远不会成功’，一年后它就发布了’等等。
Brockman 知道 OpenAI 所下的赌注之大，也知道它会引发愤世嫉俗的情绪，带来审查。但每次提到这些，他传达的信息都很明确：人们可以尽情怀疑我们，这是我们做出大胆尝试的代价。
早期加入 OpenAI 的人都记得当时充满能量、兴奋和使命感的氛围。团队很小 —— 每个人的关系都很密切 —— 管理方式松散且不正式。每个人都遵从一个扁平的结构，任何人都可以提出想法，参与辩论。
Musk 在建立‘集体主义神话’方面起了不小的作用。‘他对我说‘我明白，AGI 可能很遥远，但如果不呢？如果未来五到十年，它实现的几率只有 1% 或 0.1%，我们应该认真研究它吗？’’加州大学伯克利分校的教授 Pieter Abbeel 回忆道，他和他的几个学生在前两年在那里工作。
但这种不正式的运营方式也部分导致了团队方向的模糊。2016 年 5 月，Altman 和 Brockman 见了当时是谷歌研究员的 Dario Amodei，当时，Amodei 告诉他们没有人理解 OpenAI 在做什么，其实在《纽约客》发表的一篇报道中，团队自己也不清楚。‘我们现在的目标……是做最好的事情。’Brockman 说，‘有点模糊。’
然而，几个月后，Amodei 加入了团队。他的妹妹 Daniela Amodei 之前曾与 Brockman 合作，所以他已经认识了 OpenAI 的许多成员。两年后，在 Brockman 的邀请下，Daniela 也加入了 OpenAI。‘想象一下，我们从零开始。’Brockman 说，‘我们只有这个理想，希望 AGI 进展顺利。’
到了 2017 年 3 月，也就是成立 15 个月后，公司管理层意识到，团队需要更加专注。于是，Brockman 和其他几位核心成员开始起草一份内部文件，为实现 AGI 的路径铺平道路。
但很快他们就发现了一个致命问题 —— 随着团队对领域的发展趋势研究得更加深入，他们意识到，保持非营利性质在经济上是不可持续的。其他竞争者利用算力资源取得突破性成果的速度每 3.4 个月就会翻倍。Brockman 说，‘为了跟上这个节奏’，他们需要足够的资本来匹配或超过这种指数级增长速度，这需要一种新的组织模式，在可以快速积累资金的同时，还忠于使命。
公众和大多数员工都不知道，是在这个前提下，OpenAI 于 2018 年 4 月发布了其新的章程。该文件重新阐述了实验室的核心价值观，但微妙地转变了用词以反映新情况。
除了承诺‘避免使用 AI 或 AGI 对人类造成伤害或过度集中权力’之外，它还强调了对资源的需求‘我们预计需要调动大量资源来实现我们的使命，但我们将始终努力减少员工和利益相关者之间产生的可能损害广泛利益的利益冲突。’
‘我们花了很长时间与员工在内部反复推敲原则。’Brockman 说，‘即使我们改变了我们的结构，这些东西也必须保持不变。’
组织的结构变化发生在 2019 年 3 月，OpenAI 建立了一个‘有限利润’的子机构来摆脱纯粹的非营利性质 —— 这是一个在非营利实体监管下的盈利机构，投资者回报的限制为 100 倍。不久之后，它宣布获得了微软 10 亿美元的投资 —— 尽管当时没有透露这是由现金和 Azure（微软的云计算平台）提供的信用额度构成的。
不出所料，这一举动引发了一波指责 OpenAI 背弃使命的浪潮。在消息宣布后不久，Hacker News 发布了一篇文章，文中一位用户问 100 倍回报如何限制：‘Google 的早期投资者已经获得了大约 20 倍的资本回报，而你们的赌注是 OpenAI 将拥有比 Google 回报更高几倍的企业结构……但你们不想‘过度集中权力’，这如何实现？如果权利不是资源集中的话，是什么？’
这一举动也令许多员工感到不安，他们表达了类似的担忧。为了平息内部的不安，管理层起草了一份 FAQ 作为一系列高度保密的过渡文件的一部分，其中一个问题是这样的：‘我能信任 OpenAI 吗？’‘是的’，回答开始，随后是一段解释。
章程是 OpenAI 的支柱，也是实验室所有策略和行动的基础。在我们的午餐期间，Brockman 像背诵经文一样诵读它，从公司的各个层面出发解释其存在的原因（他在背诵中途强调：‘我想我知道每个句子是什么，因为我花了很多时间仔细阅读章程，确保我的记忆完全正确，我不是在会议前才读这些东西的。’）：
- 你将如何确保人类在你们开发更高级别技术能力的同时继续过着有意义的生活？‘正如我们所写的，我们认为它的影响应该是给每个人经济自由，让他们找到今天无法想象的新机会。’
- 你将如何组织自己来向人类平均分配 AGI？‘我认为公共事业是我们的愿景的最佳类比。但是再一次强调，它完全受章程的约束。’
- 你将如何竞争率先实现 AGI 而不损害安全性？‘我认为绝对存在这种重要的平衡，我们最好的方法就是依照章程。’
对 Brockman 来说，严格遵守这份文件是 OpenAI 的组织结构保持有效性的关键。内部一致性至关重要：除了极少数例外，所有全职员工都必须在同一个办公室工作 —— 对于政策团队，尤其是主管 Jack Clark 来说，这个规定让他的生活需要在旧金山和华盛顿特区之间高频流转，但他不介意，事实上，他认同这种做法。他说，正是那些一起度过的空闲时间，比如和同事一起吃午饭，帮助所有人保持共识。
在许多方面，这种方法显然取得了成功：公司拥有令人印象深刻的一致性文化。员工工作时间长，用餐和社交时间不断地谈论工作；许多人参加同一个派对，订阅理性哲学杂志‘有效利他主义’；他们用机器学习术语开玩笑来描述自己的生活：‘你的生命是函数的一部分吗？’‘你优化什么？’‘一切基本上都是一个最小最大函数。’
公平地说，其他 AI 研究者也喜欢这样做，但熟悉 OpenAI 的人们都同意：与该领域的其他人相比，它的员工更多地将 AI 研究视为身份而非工作（2019 年 11 月，Brockman 在 OpenAI 的标志性的花朵背景下在办公室里迎娶了他交往一年的女友 Anna，Sutskever 担任主持人，戒指传递者是一个机械手）。
但在 2019 年年中，章程不再仅是午餐时间的谈资。在转为有限利润后不久，管理层推出了一种新工资结构，部分基于每个员工对使命的理解程度。在一个名为‘统一技术阶梯（Unified Technical Ladder）’的电子表格中，除了‘工程专业知识’和‘研究方向’等板块外，最后一个板块概述了每个级别的文化相关期望：
- 第三级：‘你理解并内化了 OpenAI 的章程。’
- 第五级：‘你确保你和你的团队成员所参与的所有项目与章程一致。’
- 第七级：‘你负责维护和改进章程，并要求组织中的其他人也做到。’
大多数人第一次听说 OpenAI 是在 2019 年 2 月 14 日。当天，实验室宣布了令人印象深刻的新研究成果：一种可以轻松生成令人信服的文章和报道的模型 —— 只需输入《指环王》中的一句话或者一条关于 Miley Cyrus 扒窃的（虚假）新闻报道的开头，它就会输出大量相同风格的段落。
但也有一个问题：研究人员表示，这种名为 GPT-2 的模型因过于危险而无法发布。如果这么强大的技术落入了坏人手中，就很容易被武器化，用于大规模生产虚假信息。
科学家们的反对声音立即出现了。一些人说，OpenAI 只是在做公关噱头，GPT-2 根本不足以构成威胁，如果是威胁，为什么要公布其存在却不向公众开放以逃避公众审查？‘OpenAI 似乎是在利用人们对 AI 的恐慌进行营销。’研究 AI 生成的虚假信息的罗格斯大学助理教授 Britt Paris 说。
到了 5 月，OpenAI 改变了主意，宣布了‘分阶段发布’的计划。在接下来的几个月里，它逐步推出了越来越强大的 GPT-2 版本。在此期间，它还与几个研究机构合作，审查算法的滥用可能性，并制定反制措施。最终， OpenAI 在 11 月发布了完整代码，称‘到目前为止没有强有力的滥用证据’。
在公众持续指责公司是为了追求公关效果的情况下，OpenAI 坚称 GPT-2 并不是噱头，相反，这是经过一系列内部讨论和辩论后达成共识的谨慎思考的实验。共识是，即使这次有些过度，这样的行动也会为应对更危险的研究设立先例。此外，章程预测，‘安全问题’将逐渐迫使实验室‘将来减少发布的产品’。
这也是政策团队在连续的六个月的博客文章中仔细阐述的论点，我也参加了一次讨论会。政策研究科学家 Miles Brundage 在谷歌文档中强调说：‘我认为这肯定是成功故事框架的一部分。这一节的主题应该是：我们做了一件伟大的事情，现在有些人正在复制它，这是其有益的一个证据。’
但是，OpenAI 与 GPT-2 的媒体宣传也遵循了一个既定模式，这让更广泛的 AI 社区感到警惕。多年来，实验室的重大研究公告已多次被指责是为了推动 AI 炒作周期。批评者还曾多次指责实验室将其结果夸大到了错误的程度，因此，AI 领域的许多人倾向于与 OpenAI 保持距离。
这并没有阻止实验室继续投入资源来提升其公众形象。除了研究论文外，OpenAI 还在精心撰写维护的公司博客文章中发布其结果，其中的所有工作都是在内部完成的，包括文字撰写、多媒体材料的制作和每个封面图片的设计。
有一段时间，它还开始制作一部记录其项目的纪录片，以对标 DeepMind 的 AlphaGo 的 90 分钟电影，最终这成为了一个独立制作的作品，Brockman 和他的妻子 Anna 进行了部分资助（我也同意无偿在纪录片中出现，为 OpenAI 的成就提供技术解释和背景）。
反对声音一直在增加，为了解决这个问题，内部讨论也不断增多。员工对外部的持续批评感到沮丧，管理层担心这将削弱实验室的影响力和雇佣最优秀人才的能力。一份内部文件强调了这个问题，并提出了外联策略：
-‘政策’部分指出：‘为了在政策层面具有影响力，我们需要被外界视为机器学习研究和 AGI 领域最值得信任的信息源。’
-‘战略’部分写道：‘获得研究界的广泛支持不仅是获得这样的声誉所必需的，而且会放大我们的信息传递。’ ‘明确地将机器学习社区视为沟通利益相关者，改变我们的口吻和外部信息，只有在有意选择的前提下才与他们对抗。’
GPT-2 引发如此激烈的反对还有另一个原因。人们觉得 OpenAI 放弃了其早期的开放和透明的承诺。随着一个月后的转型的消息，这些被隐瞒的研究让人们更加怀疑。难道技术一直被保密，是为了便利未来的许可证发放吗？
然而，人们并不知道，OpenAI 不止一次选择了隐藏其研究计划，它还有另一个保密的研究计划。
关于实现 AGI 需要什么技术的问题，目前存在两种主流技术理论：一种理论认为，所有必要的技术已经存在，弄清楚如何扩展和组合它们即可；另一种理论认为，需要有全新的范式，当前 AI 中的主流技术，深度学习，不足以达到这个目标。
大多数研究人员的观点介于这两个极端之间，但 OpenAI 则几乎一直专注于扩展和组合这一端。它的大部分突破都是将更多的算力资源投入到其他实验室开发的技术创新中而取得的。
Brockman 和 Sutskever 否认这是他们唯一的策略，但实验室严密保守的研究表明了情况可能恰恰相反。一个名为‘Foresight’的团队正在实验，测试他们能否通过使用越来越大量的数据和算力来训练现有的算法，将 AI 能力推向更远的前沿。对于管理层来说，这些实验的结果已经证实了他们的直觉，即实验室的全力投入、计算驱动的策略是最佳方法。
由于 OpenAI 认为这些是其主要竞争优势，因此这些结论被隐瞒了大约六个月。员工和实习生受到明确指示不得泄露这些结果，离职员工也签署了保密协议。
直到 2020 年 1 月，该团队才在一个主流开源 AI 研究数据库上发布了一篇论文，虽然没有引起太多关注，但那些参与了这个被严格保密的实验的人对这种行为变化感到迷惑 —— 值得注意的是，几个月前（指文章发布时），另外一篇由不同研究人员得出类似结果的论文已经被发布了。
这种程度的保密不是 OpenAI 的初衷，但现在已经成为他们的习惯。随着时间的推移，OpenAI 的管理层已经放弃了他们最初的信念，即‘公开是构建有益的 AGI 的最佳方式’。
现在，保持沉默的重要性已经被灌输给那些与实验室合作或在实验室工作的人，包括不经与沟通团队明确许可就不能接受记者采访。在初次拜访实验室之后，我开始联系公司员工，这时我收到了一封来自沟通团队负责人的电子邮件，提醒我所有的采访必须经过她的批准。
当我拒绝并表示这会破坏大家告诉我的信息的有效性时，她便指示员工让她知道我的工作。之后，之前是记者的 Clark 发来了一条 Slack 信息，赞扬大家对记者的‘调查行动’保密得非常紧密。
在回应加强保密措施的声明中，OpenAI 的发言人提到了章程的一部分：‘我们预计，未来我们会减少与安全问题相关的披露，同时增加关于安全、政策和标准研究重要性的分享。’发言人还补充道：‘我们每次信息/产品发布都要经过信息风险评估流程，我们希望放缓我们的结果发布节奏，以了解潜在的风险和影响。’
OpenAI 的最大秘密之一是接下来要开展的项目。消息人士向我描述了它的大致内容：使用大量的算力资源训练一种能够处理图像、文本和其他类型数据的 AI 系统（多模态模型）。
一小组人正在进行初步尝试，预计其他团队和工作最终也会加入其中。在宣布这个项目的全公司会议上，实习生被禁止参加。熟悉计划的人提供了一个解释：管理层认为这是最有希望达成 AGI 的方式。
负责 OpenAI 战略的人是前谷歌员工、现任研究总监 Dario Amodei。他给我留下了一个更加焦虑版的 Brockman 印象，他同样真诚而敏感，但是带着一股不稳定的紧张的能量。他在讲话时看起来有些疏离，眉头紧锁，一只手不自觉地拽着他的卷发。
Amodei 将实验室的战略分为两部分。第一部分规定了 OpenAI 如何实现先进的 AI 能力，他将其比作投资者的‘投资组合’，不同的 OpenAI 团队正在下不同的注，例如，语言团队在一项理论上押注，认为 AI 可以通过纯语言学习对世界有深刻的理解，而机器人团队正在推进一种相反的理论，认为智能需要有‘身体’作为介质才能发展。
也正像投资组合一样，不是每个投注都有同等的权重，但为了科学严谨性，所有投注都应该在被放弃之前得到测试。Amodei 以 GPT-2 举例阐释了为什么要保持开放的态度：‘纯语言领域甚至是我们中的一些人都有些怀疑的方向。但现在我们看到，这真的很有前途。’
随着时间的推移，有的投注权重会有所升级，会吸引团队更多的精力。然后它们会相互交叉组合，目标是逐渐减少小团队的数量，最终合并为面向 AGI 的单一技术团队 —— 这正是 OpenAI 最新的顶级秘密项目所经历的过程。
Amodei 还解释说，策略的第二部分着重于如何使不断进步的 AI 系统变得安全。这包括确保它们反映人类价值观、能够解释其决策背后的逻辑，并且在学习的过程中不会伤害人类。专门致力于实现这些安全目标的团队正在寻求开发可应用于不同项目的方法。例如，可解释性团队开发的技术可以用来揭示 GPT-2 的句子构造或机器人运动背后的逻辑。
Amodei 承认，这部分策略有些杂乱无章，更多建立在直觉而非已有理论基础上。‘在某个时刻，我们将实现 AGI，在那之前我希望这些系统在运行时能让我感觉良好。’他说，‘任何令我感到不好的事情，我都会建立和招募专注于解决这些问题的团队。’
尽管 Amodei 在追求曝光率和保密性方面有点矛盾，但当他说这句话时，他看起来很真诚 —— 失败的可能性似乎让真的他感到不安。
‘我们处于一个尴尬的位置：我们不知道 AGI 会是什么样子，也不知道它会在何时出现。’他说，‘任何人的思维都有局限性，我发现最好的方法是聘请其他安全研究人员，他们通常有不同于我的视角，我希望有这种差异和多样性，因为这是发现并解决所有问题的唯一方法。’
问题在于，现实中的 OpenAI 缺乏‘差异和多样性’，这一事实在我待的第三天得到了印证。在唯一一次被允许与员工一起用午餐的时候，我选择了看起来最具多样性的餐桌。不到一分钟，我意识到在那里用餐的人实际上并非 OpenAI 员工，而是 Musk 创立的 Neuralink，该公司专注于脑机接口技术，与 OpenAI 共用一栋大楼和餐厅。
OpenAI 受访人称，在 120 多名员工中，25% 为女性或非二元性别人士。她说，执行团队中有两名女性，管理团队中有 30% 的女性，但她没有具体说明这些团队的成员是谁（包括 Brockman 和 Altman 在内的四位高管都是白人男性，在我在 LinkedIn 和其他来源上找出的 112 多名员工中，白人或亚洲人为压倒式的大多数 -- _注：目前这个信息有变化）_。
公平地说，这种缺乏多样性在 AI 领域很普遍。去年，纽约研究机构 AI Now 的一份报告发现，女性仅占领先 AI 会议作者的 18%，教职的 20%，分别占 Facebook 和谷歌研究人员总数的 15% 和 10%。OpenAI 的受访人说：‘在学术界和行业中，仍有很多工作要做，多样性和包容性是我们认真对待并不断努力改进的事情，我们通过与 WiML，Girl Geek 和我们的学者计划等倡议合作来实现这一目标。’
确实，OpenAI 已经在尝试扩大其人才库以增加多样性，他们在 2018 年启动了针对少数族裔的远程学者计划。虽然所报告的过程均为积极正面的，但最初的八名学者中只有两名成为全职员工，拒绝留下的最常见原因是需要在缺乏多样性的旧金山居住。例如 Nadja Rhodes，现在是一家总部位于纽约的公司的机器学习工程师。
但如果多样性对于整个 AI 行业来说是一个问题，那么对于一个使命是将技术公平地传播给每个人的公司来说，这是更加根本的问题。事实上，OpenAI 是缺乏少数群体成员的代表。
OpenAI 计划如何‘把 AGI 的好处分配给所有人’？在 Brockman 经常引用的组织使命中，这阐述的并不太清晰，管理层也倾向于含糊地谈论这个问题（2020 年 1 月，牛津大学未来人类研究所与 OpenAI 合作发布了一份报告，建议通过分配一定比例的利润来共享收益，但作者们也提到‘有关如何实施’是‘重大未解决问题’）。一位曾在 OpenAI 工作过的前职员匿名表示：‘这是我认为 OpenAI 最大的问题。’
‘他们正在用复杂的技术实践来尝试用 AI 解决社会问题。’罗德斯大学的 Britt Paris 说，‘似乎他们实际上没有能力真正理解社会问题，他们只是知道这是个赚钱的好出发点。’
Brockman 同意，OpenAI 最终需要技术和社会专业知识结合才能实现其使命。但他不同意需要从一开始就解决社会问题。他说：‘你要如何将伦理学或其他观点融入进来？什么时候，如何引入？可以践行的一种策略是，从一开始就尝试把可能需要的所有东西融入进来 —— 但我认为这种策略不太可能成功。’
他说，首先需要弄清楚 AGI 会是什么样子，那时才是‘确保我们理解后果的时候’。
2019 年夏天，在实行盈利上限模式和微软投资 10 亿美元之后的几周后，OpenAI 的管理层向员工保证，这些变化不会从实质上改变 OpenAI 的研究方法。微软与实验室的价值观高度一致，任何商业化的努力都很遥远，探索基本问题仍是工作的核心。
有一段时间，这些保证似乎是真的，项目继续进行。许多员工甚至不知道公司是否有向微软作出过任何承诺。
但 2020 年，商业化压力加剧，盈利性项目的需求不再像是遥远的未来。Altman 私下与员工分享了实验室 2020 年的愿景，他传递的信息很清楚：OpenAI 需要赚钱才能进行研究，反之则不行。
管理层表示，这是一种艰难但必需的权衡，因为缺乏富有的慈善捐赠者，实验室必须做出这个选择。相比之下，位于西雅图的非营利组织 AI2 是一个雄心勃勃的推进基础 AI 研究的组织，它的资金来自于已故亿万富翁 Paul Allen 留下的自维持（至少在可预见的未来）的资金池，Paul Allen 因与 Bill Gates 共同创立微软而闻名。
但事实是，OpenAI 面临这种权衡，不仅是因为它没钱，还因为它做出了要最先实现 AGI 的战略选择。这种压力迫使它做出看起来越来越远离初衷的决定。它急于吸引资金和人才，倾向于舆论炒作，希望保密以使其研究保持优势，追求算力密集的策略 —— 不是因为这是实现 AGI 的唯一方式，而是因为这也许是最快的方式。
然而，OpenAI 仍然是 AI 人才和前沿研究的堡垒，聚集了真诚地努力为人类福利而工作的人 —— 换句话说，它仍然拥有最重要的根基，而且还有时间去改变。
采访前远程研究员 Rhodes 时，我问她这篇文章中最不能跳过的一个话题是什么，她犹豫地说：‘我想，在我看来，其中一些问题可能来自于它面临的环境，还有一些来自于它倾向于吸引的和排除的人。’
‘但在我看来，它做了一些正确的事情，我感觉那里的人是真诚地在努力。’
京公网安备 11010802035086号