对话前OpenAI科学家：爱、灭亡和人工智能

“技术是为了人类，为了我们的利益、我们的繁荣而存在的，但我们很容易忘记这一点”

左为肯尼斯·斯坦利（Kenneth Stanley），右为乔尔·雷曼（Joel Lehman）

文｜郑可书

编辑｜刘以秦

肯尼斯·斯坦利（Kenneth Stanley）不是咨询从业者，但近几个月，他的邮箱堆满咨询邮件。困惑的人们在邮件里问他：“这一切是什么意思？”

“这一切”，指的是ChatGPT的出现，及其引发的AI热潮。自去年11月发布以来，全世界的人都在使用它、谈论它，试图理解它代表的威胁和机会。

研发出ChatGPT的公司OpenAI同样成为热门话题。肯尼斯曾在那里工作。已经错过ChatGPT、担心再次错过新机会的投资人联系到他，想了解他在做什么，因为“任何与人工智能、与OpenAI有关系的人，都可能在做重要的事情”。

OpenAI另一位前员工乔尔·雷曼（Joel Lehman）则接到了世界各地猎头的询问，包括中国。他与肯尼斯于2020年入职OpenAI，并在ChatGPT发布前几个月离开。在OpenAI，他们共同领导的开放性（Open-Endedness）团队，致力于让算法在没有预定目标的情况下自我学习、创新。

此前，他们曾在大学、AI初创公司几何智能（Geometric Intelligence）、优步（Uber）AI实验室工作。2022年离开OpenAI后，肯尼斯创办了一家名为Maven的公司，建立开放式、偶然性社交网络，而乔尔在AI独角兽Stability旗下的Carper领导开放性研究团队。

他们已在人工智能行业工作多年，但如今技术进展之快、论文数量之多，有时也让他们感到难以跟上。

此刻的中国人工智能行业面对相似的焦虑。业界、学界机构担心错失机会，纷纷发布大模型。5月28日，科技部直属的中国科学技术信息研究所发布《中国人工智能大模型地图研究报告》，称中国10亿级参数规模以上大模型至少有79个。这个数字还在持续增加，竞争越来越激烈，参与者在浪潮中挣扎。多位中国AI创业者告诉《财经十一人》，他们目前最关注的AI议题，是商业模式、变现能力。

肯尼斯和乔尔已经走过为钱挣扎的阶段，他们给出了完全不同的回答。肯尼斯最担心的是，AI会让人远离人性——机器越来越有趣，以至于人会花更多时间与机器交流，而非与人交往。长此以往，社会纽带将会断裂，政府将会瓦解。而他最初对人工智能产生兴趣的原因，恰恰是他想通过了解“智能”来了解人性。

乔尔则关心机器学习如何为个人、社会的开放式成长做出积极贡献。他说，现在的机器学习以一种非常狭隘的方式对待人类，将满足偏好视为促进人类繁荣的唯一途径，这催生了信息茧房，增加人与人的隔阂。人类是丰富而复杂的。“我们可能对某些事物上瘾，可能会做违背自身利益的事情；我们拥有意志力，但有时经过挣扎之后，我们才会做自己真正想做的事。”今年2月，他发表论文《机器之爱（Machine Love）》，探索机器从更丰富、复杂的维度去“爱”人的可能性。

他们使用AI工具辅助工作，但在一些事情上拒绝AI参与。肯尼斯和孩子一起玩时，即便不借助任何电子设备，也能很开心；乔尔很少在写作中使用ChatGPT，因为他“不想自动化真正关心的事情”。

创新是他们关心的另一件事。2015年，两人合著的《为什么伟大不能被计划》出版。他们在书中记录多年AI研究过程中的发现：设定目标，有时会成为阻碍；遵循好奇心的指引，反而能够解决问题、实现创新。该书中文版于今年出版，引发不少中国科技、教育从业者的讨论。

今年5月、6月，《财经十一人》分别与肯尼斯、乔尔进行了一次书面交流、一次视频交流。最关注的AI议题之外，他们还谈到OpenAI的工作体验，美国AI行业的创投环境，以及Transformer的缺陷、AGI（通用人工智能）的到来等技术问题。

以下是肯尼斯、乔尔和《财经十一人》的对话。对话经过整理、删减：

美国投资界的优势在于多样性

财经十一人：在OpenAI工作是什么体验？

肯尼斯：很兴奋，我们能够体验全新的技术。我在学术、商业实验室都工作过，OpenAI和其他研究机构的明显差异是：其他机构有不同的研究小组，小组成员们制定自己的议程，在各自的领域发表论文；OpenAI也有小组，但不同的小组目标一致：我们共有一个使命，并一起朝着这个使命前进。

乔尔：OpenAI是一个令人兴奋的、快速发展的、务实的、严谨的公司。员工可以提前试用模型，让人感觉生活在未来。另外，OpenAI有充足的算力资源，我供职过的其他研究机构都没有这个条件。我们拥有同一种愿景，而这个愿景与其他AI机构或者多数人当时的想法都不同——OpenAI相信规模化，相信使用更多的数据和算力，就能增强模型的能力。

财经十一人：ChatGPT发布后，你的工作、生活发生了什么变化？

肯尼斯：我的邮箱突然接到了大量的咨询请求，好像全世界都对这个领域感兴趣，甚至是恐惧——他们担心自己被落下，因此寻找权威人士，询问这一切是什么意思。还有很多投资人联系我，想找到下一个风口。ChatGPT的成功让他们认为，任何与人工智能、与OpenAI有关的人，都可能在做重要的事情。

关于GPT，在某种程度上，它令人害怕，因为它相当准确地捕捉到了人类认知的某些方面。这不仅是科学上的进步，还具有哲学上的重要意义，因为这些认知是将人类与宇宙中的其他一切区分开来的东西，而它们开始在机器中运转。

乔尔：很多猎头联系我，包括来自中国的。另外，OpenAI如此频繁地出现在新闻中，以至于我的父母第一次如此了解我所在的公司。这种感觉很神奇。

财经十一人：为什么在2022年下半年、ChatGPT发布前几个月离开OpenAI？

乔尔：我没有预料到ChatGPT会产生如此巨大的影响。OpenAI是一个很棒的做研究的地方，但它的研究总是往一个特定的方向推动；而我和肯尼斯作为研究者，希望参与更基础、更开放的（不限定方向的）探索性研究。正好那时，我们都有其他合适的工作机会，所以我们离开了。

财经十一人：有观点认为，中国的投资机构过于重视被投公司的商业模式与盈利能力，不像OpenAI的投资方那样愿意冒险，所以扼制了创新，导致中国没有做出OpenAI和ChatGPT。你怎么看？

肯尼斯：将OpenAI的融资过程解读为“投资人不应该关心钱”，是错误的。OpenAI的创始团队是世界一流的人才，所以投资人才愿意把赌注放在这里。

财经十一人：美国AI行业的创投环境是什么样的？

肯尼斯：在美国，有足够多的投资人注重理念和愿景、愿意冒险，也有人只看利润。同一个人的想法也会改变，例如，我投资了一个目标不明确的公司，失败、赔钱了，那么下一次我就会更关心商业模式和利润。我认为，美国投资界的优势，就在于观点的多样性。这是一个健康的环境。

我对中国的投资界没有深入了解，但多样性对任何地方都是有益的。硅谷的风险投资产业已经非常成熟，而在中国风投这样相对不成熟的环境里——我没有贬低的意思，因为几乎没有什么地方会像硅谷那样成熟——我可以想象大家非常关注利润和商业化。这样也能投出好公司，但它们不会像OpenAI那样具有革命性。

另外，决定投资方向的不仅仅是投资人，还有他们背后的各类机构、基金等。提供科学研究资金的国家机构应该不怕亏损，因为科学研究总是充满风险的；如果没有任何亏损，那意味着他们实际上没有在做研究。但我发现，这些机构反而更保守。这有点讽刺，他们会问：“研究目标是什么？”然后评估目标的可行性，再决定是否给钱。反倒是市场化的投资人会有不同的观点。他们把投资视为一个组合，不在意个别的失败，总体的上涨能够弥补下跌就行。他们有时更愿意说：“我不知道这有什么意义，但它听起来很酷，我要投。”

Transformer有缺陷，AGI还很遥远

财经十一人：Transformer之后，会有新的架构出现吗？（注：Transformer是Google 在2017 年提出的一种自然语言处理模型，也是今天AI大模型的基础架构。）

肯尼斯：我不相信Transformer就是我们到达的最终架构，这种观点从研究角度看，似乎过于乐观了。但我不能排除这种可能性。也许可以不改变架构，只改变训练方法、提示词（prompt）的长度等其他方面。

提示词中的文本是有顺序的，神经网络确实看到了这个顺序，只是目前能输入的提示词太短了，所以Transformer无法按照时间顺序学习。也许将来会有一些突破，让提示词能够长到囊括整个人类历史，然后模型就可以在提示词中学习。这是一个非常奇怪的想法，但如果可以实现，也许架构将保持不变。

另一个因素是硬件，科学家们会想到非常有趣的新架构，但当前的硬件可能无法承载，这就限制了我们尝试某些方案的空间。

乔尔：Transformer确实非常惊人，可以完成许多任务，但从历史经验看，会出现超越它的方法。

目前Transformer的一个基本缺陷是没有“循环（recurrence）”能力。面对问题时，人类会回顾经验进行学习，过去的某个心理状态能够无限次地反复再现，因此你想反思某件事情多久，就可以反思多久。Transformer也拥有对过去的显式记忆，但这种记忆仅持续特定数量的token（注：AI处理文本的数据单位）。这种范式非常强大，足以使模型具备从输入的上下文信息中学习的能力。但它仍不能像人类那样，将记忆永久保存下来。

我想强调，我并不是说机器学习模型必须像人类大脑一样运作，但目前的研究主流路径是这样。

财经十一人：有人认为，大模型并不具备像人类一样的思考能力，它只是看起来在思考。

乔尔：这个观点很有趣，但从技术角度看，我不认同。Transformer在没有帮助的情况下进行算术运算的能力非常不像人类，它会犯很基础的错误；但是当你与它交流那些它似乎没接触过的复杂话题（比如试图将22种奇特的哲学思想结合在一起），它可以给出相当令人印象深刻的回应。因此，我认为实际情况可能处于中间位置。

财经十一人：如何定义AGI（通用人工智能）？Sam Altman（OpenAI创始人）在中国的演讲中提到，十年内会有非常强大的人工智能系统出现，我们需要从现在开始做应对的准备，你怎么看？

肯尼斯: 我不太关心 AGI 的精确定义。等我们看到它时，自然会知道。我感觉AGI这个词分散了我们的注意力。真正的问题不在于是否到达AGI，而在于，我们在十年内取得的成果，是否会对社会产生重大影响；如果是的话，那么无论它被称为AGI还是其他名字，我们都要做好准备。

乔尔：我认同。科学发展进程总是非线性的，我不知道AGI什么时候会到来，可能很快，也可能很慢。AI很快就会在一些任务上超越人类，某些方面的AGI可能很快就会到来。

这会带来两个问题。“智能”是定义人类的基础，当一个比人类还聪明的东西出现时，人类就处于危险之中。另一件有点恐怖的事情是，很多人从工作中获取意义，当AI将工作自动化，我们就需要将人生意义从工作转向寻找愉悦、做自己喜欢的事。这很好，但转变过程会非常艰难。目前的证据显示，在美国，人们即使有社会保障，也会因失业沮丧，甚至会滥用药物。面对这种可能的未来，我们还没有做好准备。

财经十一人：AGI什么时候会实现？

肯尼斯：关于这个问题，有很多不同观点。但现实是，没人能知道。智能领域还存在一些尚无明确解法的缺口。

现在比较主流的通往AGI的方法是，基于Transformer，继续增加数据和算力。因为过去这种规模化方法很好地填补了先前模型的漏洞，例如从GPT-2到GPT-3、再到GPT-4的升级。基于此，一些人认为我们正处于AGI的临界点——只需要进一步规模化，就能解决问题。

但有些东西是无法通过规模化改善的，比如创新性。目前的模型无法像人类发明摇滚乐那样，发明一种新的范式。这是一个严重的不足，因为文明的本质就是创新。

存在这个缺陷的原因是，Transformer是通过数据学习，而“创新性”之类的东西并不在数据里。目前，被输入模型的数据不是按时间顺序从头到尾排列的，而是一整个单独的数据块。这导致模型缺少时间概念，而创新是与时间顺序密切相关的。

我们人类始终身处某个特定的时间点，这个点之前发生了什么、还没有发生什么都是默认的，所以我们能知道什么是新的、前沿的；但模型无法判断时间点，它将所有这些东西都视为一团巨大的混合体：它会看到关于汽车的数据，关于太空飞船的数据，关于大型语言模型的数据，但它们都是同时存在的，没有先后之分。因此，模型无法判断什么是前沿的。

另一个例子是幻觉问题（注：“幻觉”即AI生成的虚假或错误信息），即语言模型怎么知道自己知道什么、不知道什么？“知道自己记得什么”不是一个语言过程。如果我问你，你三周前吃了什么？你会说不记得了。但你怎么知道自己不记得？这个过程无法用言语表达，你不能说，我检查了这个，然后检查了那个，所以我知道我不记得了。这更像是一种隐含的、与生俱来的过程，并不涉及语言；如果没有语言，它就不存在于数据中，模型也就无法从数据中获得这个概念。

现在，由于RLHF（Reinforcement Learning from Human Feedback，从人类反馈中进行强化学习，即由人类来训练模型，模型做得好就奖励，做得不好就惩罚）的运用，这些不足也许可以修正。但我认为，只有在模型真正理解它应该知道什么、不应该知道什么的情况下，这种方法才能有效；而只有这些知识隐含在数据中时，它才能真正理解。但目前看来，数据中似乎不存在这类知识。例如，要让模型学会诚实，我们可以在它不诚实时惩罚它，然后它会变得诚实。但这并不意味着它理解了诚实的重要性。

这些问题很难通过规模化来解决，有解决办法，但需要更多的复杂性，需要新的洞察和技术突破，不会轻易实现。所以AGI仍然很遥远。

爱，灭亡和人工智能

财经十一人：如今，很多业界人士在警告AI的威胁，强调对AI进行控制和监管。而你研究的AI开放性，是让AI在没有目标的情况下，产生更多新的、让人意想不到的结果，是关于放松控制的。如何看待其中的矛盾？

肯尼斯：好问题。AI作为一门科学，本身就是在寻求进一步的发现和创新。我们应该接受对开放性的研究，依靠它找到平衡——既允许持续发现，又受到足够的限制。

乔尔：对开放性的研究在一定程度上很重要，因为它使我们能够科学地解决贯穿整个技术史的问题：我们如何从开放性过程中获得最大收益，同时降低风险？同样的开放式科学过程为我们提供了治愈疾病的疫苗和环球飞行的飞机，也为我们提供了核武器。创造力和控制力之间的张力很深，需要大量思考和研究。

财经十一人：你现在已经是AI-native的生活状态了吗？

肯尼斯：不是。我确实在工作中使用AI，但生活中很多事情，比如和我的孩子一起玩，即使没有任何电子设备，也会很棒。我适度使用AI，生活就是生活。

乔尔：我用 ChatGPT（带有 GPT-4）理解新的知识领域，用 Copilot写代码。

但是到目前为止，我还没有在写作中使用ChatGPT（比如我没有用它来回答你的这些问题）。部分原因是它还没有融入我的工作流程。比如，我会用特定的文本编辑器，把GPT集成进去很麻烦。而且，我喜欢写作的艺术性质。也许在未来，它会变得足够容易，能够融入工作流程；但我也有些抵触，因为有时候，你不想自动化你真正关心的事情。

财经十一人：当下，你最关心的一个关于AI的议题是什么？

肯尼斯：我担心我们与人性越来越疏远。我8岁时对AI产生兴趣。它最吸引我的一点是，它能让我更好地理解人，与人产生更紧密的联系。这可能很难理解，毕竟我们这些人看起来只是成天和机器打交道，对人类没有兴趣。但理解“智能”的过程，其实就是在理解人性的本质。心理学也在理解智能，可它只研究运作原理，不研究构建方法；而我一直觉得，如果我不能构建某样东西，我就无法真正理解它。

用机器取代人的情况令我困惑。这就是我所说的与人性的疏远——机器变得足够丰富和有趣，以至于你会抽出时间与机器交往，而不是与人交往。我们看到的图像、听到的音乐、读到的故事，曾经是人类丰富想象力的产物，如今却越来越多地被机器生产。

我受到震动的具体时刻，是第一次看到DELL-E（注：OpenAI的图像生成产品）时。突然间，我意识到艺术可以不是自我表达，它只是艺术。而我一直认为，艺术的可爱之处在于呈现人性。那时，我的孩子大约7岁。他喜欢画画，而这个机器生产的画作质量远超他。这让我对未来非常困惑——这个冰冷的东西没有真正的体验，却会使人们无法欣赏我孩子的自我表达。我不喜欢那样的世界。

像DELL-E这样的技术也可以帮助人类自我表达，但如果走向错误的方向，我们将沉溺于没有人性的东西，停止与人类互动，那时，社会纽带会破裂，政府也会瓦解。摆在我们面前的一个巨大挑战是：如何让人工智能支持有意义的人际联系，而非鼓励隔离与孤独。

乔尔：目前我最关心语言模型部署到世界的速度。我担心制度（如法律、教育、经济、新闻媒体和政治制度）更新缓慢，适应速度跟不上语言模型的发展速度。

在美国，社交媒体、推荐引擎等系统占用人们大量时间精力。这些系统拥有将我们联系起来的能力，但它们往往只追求用户参与度、停留时长，而非帮助我们改善生活。

似乎我们的所有制度都在这种方式下变成赌博。比如，在美国，为了赢得选举，一些政治候选人不再进行诚实的辩论，而是针对受众心理特点创建广告，激起他们对其他政党的仇恨。机器学习以许多不同的方式参与其中，像是个性化推荐与信息茧房。这也是我将研究方向转到机器学习、哲学交叉领域的主要原因之一。我希望我们能以更有益的方式使用机器学习。

财经十一人：有办法避免这些情况进一步恶化吗？

肯尼斯：一种方法是，鼓励开发增强人类能力的AI工具——将人随口唱的曲子制作成完整作品，促进高质量的人际互动，诸如此类。但人类的本性难以控制。如果与AI交流很愉快，人们就会这样做。这有点像吃糖，甜味让人愉快，但你必须努力控制，不能过度。

我们也需要国际合作，来建立审查与法律框架，还要确定具体责任人。这也很难，涉及经济问题与国际竞争——如果能够实现AI的独立发展，一个国家可以彻底改革全球经济，获得巨大优势。因此，不合作是非常有诱惑力的。

财经十一人：很多中国AI创业者为商业模式、融资苦恼，他们想聚集资源，做出中国的OpenAI。你不关心钱的问题吗？

肯尼斯：如果我在一个急需钱的创业时期，我也会重视融资；但我似乎已经过了这个阶段——我现在认为，只要我做正确的事情，就能拿到融资。所以我更关注前景，担心没有证据来支持我的想法，而不是钱。

我个人觉得，“成为下一个OpenAI” 不是一条明智的道路，因为通常，你无法再次成为同样的事物。这个事物之所以出色，就是因为它是第一个这么做的、独一无二的。现在，对话机器人领域的竞争非常激烈，而我并不认为自己出色到能赢，所以，我更倾向于思考，有什么与OpenAI完全不同的新东西？

乔尔：我喜欢钱。我很幸运，曾在薪酬丰厚的实验室里工作。但现在，更多的钱并不能让我感觉生活更有意义。

财经十一人：美国公众在关心哪些关于AI的问题？

肯尼斯：有各种各样的担忧，有人关注长期风险，比如人类的灭绝威胁；有人关注短期，比如就业问题。还有人同时担心所有问题。有人对其他人感到愤怒，认为后者关心的不重要的问题吸引了大量关注，让人们无法聚焦到真正重要的事情上。目前缺乏共识。我认为人们正在整理思绪，确定哪些是当下最重要的、值得我们花费大量时间精力应对的问题。

财经十一人：论文《机器之爱》的主要内容是什么？

乔尔：“人工智能”是将我们对“智能”的理解植入机器，试图理解智能的本质；“人工生命”是将“生命”进行抽象，并在计算机中模拟生物进化。我尝试将同样的思路应用到“爱”，将“爱”这个概念进行抽象，使得机器能够表现出“爱”。在实践中，这意味着将机器学习的方法与研究爱的领域（如哲学、灵性、心理疗法等）的方法结合。

机器学习的一个问题是，它以一种非常狭隘的方式对待人类，将满足偏好视为促进人类繁荣的唯一方式。从这个视角看，社交媒体重视用户参与时长，就变得可理解了：在机器学习的眼中，你是一个完全理性的个体，因此你在社交媒体上花更多的时间，就意味着它提供了有价值的东西。

但是，人类是丰富而复杂的。我们可能对某些事物上瘾，可能会做违背自身利益的事情；我们拥有意志力，有时经过挣扎之后，我们才会做自己真正想做的事。

在这篇论文中，我采用更丰富的人类行为模型（类似于马斯洛需求层次理论），试图利用语言模型，让机器尊重、促进人类的发展，而不仅仅是给予狭隘的满足。

财经十一人：这听起来与你如今最关心的AI议题紧密相关。你是在寻找解决问题的方法吗？

乔尔：我不敢自称有解决方案，但我希望找到一种积极的前进方式。我对人类、人类心理学，以及人类领域与机器领域如何能够有效结合非常感兴趣。技术是为了人类，为了我们的利益、我们的繁荣而存在的，但有时，我们很容易忘记这一点。

（内容来源：搜狐网，2023.7.22，作者：财经十一人）