首页 > 科技快讯 > 对话OpenAI科学家：伟大的创新无法被计划

对话OpenAI科学家：伟大的创新无法被计划

晰数塔互联网快讯
2023-11-15 11:06

“这是计划的一部分。”

这是《三体Ⅱ：黑暗森林》中，面壁者为了掩饰自己的真实计划而对外说的一句话。无论面壁者做的事情有多么荒唐，都可以被解读为“这是计划的一部分”。人们愿意相信“瞒过智子，对抗三体人”的伟大壮举是可以被计划的。

在约定俗成的社会理念中，每开始一项工作，人们总是习惯性地“确立目标-制定计划-执行计划-完成目标”。这套流程意味着明确的方向和有效的结果。

但是，做好计划真的是“万灵药”吗？

来自OpenAI的科学家肯尼斯·斯坦利（Kenneth Stanley）和乔尔·雷曼（Joel Lehman）并不这么认为，他们提出了一个观点：真正的伟大无法在计划中诞生，并根据这个观点写作了一本书——《为什么伟大不能被计划》。

在两位科学家看来，决定某一技术领域能否出现伟大突破的“踏脚石”，很大程度来自于另一个看似毫不相干的领域。

回顾历史，莱特兄弟发明飞机，最早用的是自行车技术（自行车就是飞机的“踏脚石”）；微波技术本来是用于驱动雷达磁控管的一个部件，意外成就了微波炉；世界上第一台计算机是用真空电子管制造的，但真空管的历史与计算机毫无关系；如今被人工智能企业抢破头的GPU，最初只在游戏领域大放异彩；电子产品的普及带火了锂电池，而锂电池后来成为了点燃新能源汽车产业的第一把火。

作为OpenAI最伟大的产品之一，ChatGPT当初并不是其计划中的产物，但ChatGPT横空出世，直接颠覆了移动互联网时代的人机交互方式，也让人们开始重新审视，在即将到来的通用人工智能时代，人与机器谁才是世界的主宰。

成功的标准往往具有一定欺骗性，它可能会阻碍人们发掘必不可少的“踏脚石”，这些“踏脚石”一起挑战着人类社会一直以来对于目标和计划的“盲目崇拜”。

两位科学家认为，过于宏大的计划有时也会成为“枷锁”，偏离计划航线之外、无法服务于最终目标的探索将被认为是一种无用的浪费，而这种“目标驱动”的价值导向最终很可能将“伟大的创新”扼杀在摇篮里。

这个有些出位的观点，来自两位科学家的一个“看似不起眼，但十分有趣”的研究项目。作为OpenAI的科学家，肯尼斯·斯坦利和乔尔·雷曼一直致力于人工智能和机器学习的研究，见证了OpenAI和ChatGPT一路的成长，并不断反思这段历程带来的哲学性启发，最终落笔成书。

‍本文，甲小姐深度对话肯尼斯·斯坦利和乔尔·雷曼，试图与他们共同探寻“为什么伟大不能被计划”这一核心观点背后的底层逻辑。

谈计划：“几乎没有任何伟大的事物是通过规划而成功的”

甲小姐：OpenAI连续七年坚持GPT路线，并以实现AGI为愿景，最终打造出ChatGPT。你们写的这本书的名字是《为什么伟大不能被计划》，你们认为OpenAI“伟大”吗？ChatGPT是“计划”的产物吗？

乔尔·雷曼：OpenAI做了很多了不起的事，但ChatGPT绝对不是OpenAI成立之初的目标，许多通往ChatGPT的踏脚石也都没有把ChatGPT当成最终目标，比如Transformer架构来自谷歌。OpenAI的许多早期探索都与电子游戏、多代理模拟（multi-agent simulations）和机器人有关，他们在这些领域广泛探索并取得了巨大成功。

不过，有一条主线贯穿OpenAI研究的始终，即规模——大型神经网络、大数据、大量算力的重要性，很多人迟迟没有意识到这一点。但即便如此，ChatGPT的成功，以及它掀起的文化浪潮还是出乎我的意料。

肯尼斯·斯坦利：GPT和ChatGPT是伟大的发现，它们不是计划中的。GPT-3之前，GPT-2并不那么为人所知，它离人类智能还很遥远。但有人意识到它很有趣。我们在书中写道，有时投资某件看起来很有趣的事情或许是个好主意，即使你不知道它会带来什么。结果是，投资GPT-2带来了GPT-3，后来又有ChatGPT问世，二者在某种程度上都是计划外的。

甲小姐：你们在书中提到：“伟大的成就总是在没有计划、意想不到的地方诞生。没人会想到电子产品热销推动的锂电池技术进步，最后会成就革新汽车产业的特斯拉；游戏产业需求催生的高性能显卡，会成为未来AI大模型激烈竞争的基础。”虽然这些不是计划的产物，但也需要有关键的公司、关键的人去发现事物之间的关系，去发现踏脚石，从而带来新的技术和产品。你们认为，这些关键的公司、关键的人有哪些特征？他们与计划的关系是什么？

乔尔·雷曼：锂电池和GPU本身就是有趣的踏脚石。关键在于，我们是否有能力从这些踏脚石中看到未来的机会。例如，深度学习研究人员认识到大规模并行计算可以实现某种特定的大规模神经网络。关键公司和关键人物都能够认识到事物的发展前景，并判断出从中可能衍生出哪些有趣的新事物。

肯尼斯·斯坦利：真正伟大的成就背后，是有人注意到了一块新的踏脚石，让原本非常遥远、不太可能发生的事情突然变成了可能。最先注意到世界变化的人，往往就是成就伟大的人。例如，GPU很早就在显卡领域出现了，但人工智能领域并未过多关注GPU，直到人们发现GPU可以处理神经网络，才意识到GPU可能是人工智能领域的踏脚石。我们无法计划踏脚石何时出现，但第一个意识到踏脚石出现的人会得到很多回报。

甲小姐：不同的科技成果在科技发展的领域内有不同的成长路径。“伟大不能被计划”这句话有没有局限性或适用范围？

肯尼斯·斯坦利：如果某件事近在咫尺，做计划是有意义的。但当我们希望实现一些宏大的目标时，伟大就无法计划了。

比如AGI，我们无法确定通往AGI的踏脚石是什么，因此我们必须不断探索。请相信，每过一年，就会有更多踏脚石出现，我们就会距离AGI更近一点，只是我们无法提前知道踏脚石是什么。

甲小姐：过去几十年，中国从国家层面领导了众多技术创新项目。其中许多项目都有精确的目标导向。例如，上世纪八十年代启动的中国国家高技术研究发展计划，也就是著名的“863计划”，就为各个尖端技术领域设计了发展蓝图，极大地推动了中国高新技术的进步，你如何看待这种计划带来的巨大作用？

肯尼斯·斯坦利：“863计划”包含很多内容，我并不了解全部的历史，很难评价。但美国也发起了许多全国性的倡议，其中包含很多科研计划。

人类社会往往只允许人们有目的地说话，所以我们的框架都是带目标的，并以此来概括我们所有的努力。但当人们有所发现时，他们往往有非目标的直觉，只是说“这很有趣”。

这些非常有目标指向的大型计划，并不总能按照既定的方式实现。研究者因为某个项目得到了资助后，可能还是会做出非目标的决定，并最终对社会产生积极影响。一般来说，这类资助项目往往是事后在目标导向的意义上被定义为成功。这很不幸！再次强调，这不是对某个项目的批判。

某种程度上，一个鼓励创新的社会，制定一些不那么目标导向的计划可能更有意义。实际上，资助方付钱给研究者是为了开辟新领域，不是为了实现某个特定的最终目标。这个过程有很多可能性，但问题是，目标驱动型研究得到了大量的资金，而那些目的性不强的研究几乎没有资金。这个问题需要全球科技界思考。

甲小姐：中国的“两弹一星”很伟大，是计划的产物；美国的“信息高速公路”很伟大，也是计划的产物；埃隆·马斯克给我们带来了很多伟大的创新，有些是未经计划的，但很多也是计划的产物，比如SpaceX、储能超级工厂……我们可以各自列举出“计划带来的伟大”“计划导致的失败”“不被计划带来的伟大”“不被计划导致的失败”这四方面的案例。案例可以证明观点，但案例也会以偏概全。比起观点之争，我更想知道，你提出“伟大不能被计划”更深层次的逻辑是什么？

肯尼斯·斯坦利：你提出的“很多事情都是目标导向”这一观点，我有不同的解释。我认为埃隆·马斯克和特斯拉并不是目标驱动的结果。埃隆首先意识到，大规模量产的锂电池是一块踏脚石——这不是规划而来的。此后，计划就变得可行了。

如果你只差一步之遥，制定计划确实很有意义。你不可能在20世纪50年代计划要登上月球。我们可以真正实现登月目标，是因为踏脚石已经铺好，而在100年前制定计划是毫无意义的。因此，我更倾向于一种激进的观点，即几乎没有任何伟大的事物是通过规划而成功的。

甲小姐：既然所有案例都如此复杂，你如何避免从这些故事中得出误导性结论？

乔尔·雷曼：所有最伟大的发明都不会来自于大规模的发明浪潮中，就像你不可能直接从火堆里找到笔记本电脑一样。有些事情可以通过计划来实现，有些却不能。

目标驱动型工作很容易争取资金，也很容易在文化和社会上获得关注，相比之下，我们没那么尊重非目标驱动的任务。对我来说，最重要的部分是随着时间推移展开的探索过程，它将我们引向一个非常奇妙的地方。

甲小姐：很多人都知道OKR、KPI，这些计划可能跟你们书中提到的计划含义不太一样，却是我们在日常工作中离不开的。你们在OpenAI有工作计划吗？方便问问你们的OKR或KPI是什么吗？

肯尼斯·斯坦利：我不想特别评论OpenAI。整个硅谷都有OKR和KPI，包括研究实验室。我认为至少在研究或创新领域，在公司的某些创新部门，OKR和KPI是一个错误。

通过OKR来指导研究实验室只会适得其反，误入歧途，因为很多时候，那些真正能带来重大发现的事情看起来并不像所谓的“重大发现”。因此，你的KPI可能会误导你走入死胡同，或者做一些无关痛痒的事。我们需要另一种制度，承认趣味性是可以追求的实际具体事物，比如“为了有趣而追求趣味性”。

实际上，我已经尝试在我的新公司建立这样一个新体系。当时我的联合创始人提出要制定OKR，被我拦下了。公司不能有OKR，这对创新不是很友好。我试着想出了一个替代体系，细节我就不多说了。但在公司的其他方面，规划是有意义的，比如规划下一年的预算，升级公司的主服务器群等都可以设定为目标。我并不主张完全摆脱OKR和KPI，只是对于专注于创新的公司内部，摆脱这些确实是有意义的。

乔尔·雷曼：我完全同意肯尼斯的观点。在研究领域，几乎所有的OKR、KPI都有些奇怪的地方，比如“在世界级会议上发表3篇论文”——这只会激励研究者去参与论文比赛，而不会真正去做变革性的科学研究。

谈范式：“当每个人都在扎堆时，要想办法与众不同”

甲小姐：OpenAI似乎已经成为行业的指南针。我们采访了很多中国人工智能从业者，有人说要用OpenAI实践来验证自己的创新想法，还有人提出了超越ChatGPT的目标。这种想法是否有利于中国人工智能产业的发展？

乔尔·雷曼：这个问题很微妙。从目前行之有效的最佳实践中汲取灵感，对训练大规模语言模型是非常有意义的。但如果总是在和其他人相同的范式下工作，你的目标是什么？

OpenAI开创的范式不一定会无限期存在，他们也无法保证是否会出现其他范式。把视野缩小到“要像OpenAI那样”是很危险的，你完全可以从OpenAI中得到启发，走得更远，走得更不同。

甲小姐：现在的确有点缺乏多样性，所有人都在讨论ChatGPT。

乔尔·雷曼：这有些危险，几乎是一种悲剧。下一件击败ChatGPT的事情可能完全不同，它可能来自不同的架构，可能是聊天机器人之外的其他有趣应用。

人类的天性就是喜欢扎堆。当每个人都在扎堆时，要想办法与众不同。这通常很难做到。

社会要有空间来孵化不同算法、不同方法、不同思维方式。你看杨立昆（Yann LeCun）研究卷积神经网络初期，他甚至还默默无闻地苦苦挣扎了一段时间，并没有得到太多资助。但如今，卷积神经网络已经广为人知，它作为一个踏脚石的作用非常强大，还将继续发挥巨大作用。在人工智能领域，其他研究人员或许正在点亮其他踏脚石。

甲小姐：你们在书中还提到了“定理派启发式方法”和“实验派启发式方法”两类人工智能研究方法论。回看整个人工智能研究历程，从符号主义到连接主义再到行为主义，人工智能研究似乎是一个从“定理派启发式方法”不断向“实验派启发式方法”转变的过程，即研究者对人工智能算法的严密论证越来越少，越来越像做化学实验一样，以最终性能为导向反向调整算法，算法的黑盒效应越发严重。为什么会有这种变化？

肯尼斯·斯坦利：我们在书中对两种方式都进行了批判，认为两者都有缺陷。从历史上看，随着神经网络越来越占据主导，实验派启发式方法也更加普遍。神经网络很难进行理论分析，但人们仍然对理论结果感兴趣。

神经网络有点像生物有机体，它们知道自己要做什么。你无法提前计算出结果，也无法预测会发生什么。你必须训练它，然后找出答案。从理论上讲，对神经网络进行的行为预测是不可证明的，它只能基于某种假设设定。

任何一种方法，都无法保证我们处在一个有趣的踏脚石上。如果在某个特定实验中，方法A的效果不如方法B，并不一定意味着方法A就不是通往AGI的黄金门票。好比现在你要和一个3岁小孩比考试成绩，你当然比他好很多。但那个3岁的孩子也许会在五十年后成为历史上最伟大的天才之一。

我们倡导一种更为困难的范式转变，不依靠理论或实验，而是论证“何为有趣”。不过，只是因为有趣就去做某件事很难融入社会。

甲小姐：有些研究人员正在大力推动“可解释人工智能”和“人工智能与人类对齐”的研究，使人工智能更加安全。这些研究方向是好的踏脚石吗？

乔尔·雷曼：可解释人工智能绝对是很好的方向。神经科学的发展史表明，解读我们的大脑是相当困难的。如果能更多地了解这些模型，了解它们是如何工作的，很可能向我们揭示出一些未知的东西。

此外，有种说法是，“语言模型的很多知识都反映了我们自己的文化和态度”。但人类社会中，有很多事情都是相互错位的，例如公司和消费者对同一产品会有不同理解。我担心我们现在的研究视野会过于狭窄，无法提出真正有趣的哲学问题。

谈争议：“当事情真的很危险时，伟大不再重要”

甲小姐：目前全球对GPT系列模型的认识是否存在误区？

乔尔·雷曼：肯定会有误解。我时常想我们现在最应该谈论的是什么？从GPT到GPT-2，再到GPT-3，看似呈现一种线性路径，但GPT-2到GPT-3的跳跃仍然需要一些胆识和远见。

肯尼斯·斯坦利：现在每个阵营都有强烈的观点。有的阵营认为，我们离人类水平的AGI只有一步之遥；另一个阵营则认为我们很快就会碰壁，整个范式都有缺陷，大模型可能永远无法摆脱幻觉的困扰。

每个阵营都很确信自己知道未来会发生什么，这正是最大的误解。事实上，我们根本不知道未来会发生什么。正因为还有很多我们不知道的东西，AGI才更加有趣。如果我们能更好地理解这些未知的部分，它们就能告诉我们什么是真正的智慧。因此，我们需要不断探索未知。如果每个人都确信我们了解很多，即使彼此意见相左，也很难展开讨论。

甲小姐：近期，全球对构建开源系统的热情高涨。有人认为，开源更有利于生态繁荣。反之，也有人认为闭源更便于体系创新，更考验企业的综合能力。你认为开源和闭源生态在未来的人工智能生态中扮演着怎样的角色？

乔尔·雷曼：开源模型确实能鼓励更多的研究人员去尝试，去改变，去测试真正激进的想法，并且有机会接触到开源模型实际的内部结构。但如果你不在OpenAI工作，你就无法真正接触到激活的程序，也就无法以新的、不同的方式对其进行微调。所以可以预见的是，这将导致生态系统中的创新减少。例如，围绕开源图像模型stable diffusion会有大量有趣的新模型出现，但从生态的角度看，这似乎只扩大了模型生态。

从赚钱的角度看，如果你在训练最大的模型，就需要重塑你所做的投资。所以闭源模型的出现也合情合理。我想在不久的将来，开放式的模型会更小一些，能力更弱一些，而闭源模型的规模会更大，并且更便利。

使用闭源模型，有人会为你托管，并负责所有细节。你也会在闭源模型领域看到很多有趣的创新，比如很多很酷、很有趣的使用语言模型推理的方法。但你只是在推动模型的发展，你可以探索的范围有限。

现在有很多有趣的东西，比如所谓的BabyAGI，这些实验让人工智能有能力去浏览设备，从而变得更加自主；还有很多公众科学类的东西，也很吸引人。因此，这其中有不同的权衡。但我确实认为，开源会带来更多发现，让人们能够玩转各种东西。

甲小姐：你们在书中提到：“我们不得不面对这样一个令人不安的事实，即我们无法确定任何经验法则能否成为追求实现人工智能目标的可靠指南。”这种不安几乎是当前社会各界对人工智能研究的普遍情绪，在你们的感知中，这种不安从什么时候开始？从技术本身出发，像两位一样的AI研究人员现在能做哪些事来化解这种不安？

肯尼斯·斯坦利：这种不安或许不需要化解，它是目标问题的一部分。每个人都想定义一个目标，知道你的目标是什么，并根据目标来衡量你，这就造成新的不安。但这是一种误导，因为世界并不是这样运转的。仅仅是性能指标在上升，并不意味着你真的在朝着目标前进。因为这个世界非常具有欺骗性，我们应该做的是认识到这个世界的实际运作方式。

我们也许可以享受这种不安，它来自于一种不确定性。我们确实不了解很多事物，我们不知道路在何方，但这意味着有很多有趣的事情需要探索。我们缺乏这种探索，而我们最不了解的地方才是最有趣的地方，这就是我们的方向。

归根结底，我们必须认识到，在我们非常非常接近结果之前，我们都会有这种不安。也许有一天，我们会离终点很近，真正实现了人工智能，我们的不安就会开始消失，我们会发现我们就快成功了。当然，我们还会有其他的不安，担心实现人工智能会产生什么影响，但对正确方向的不安会消失。但我们还没到那一步。我们仍处于不确定的阶段，这是完全健康的。我们应该加倍努力探索未知，而非投资于目前熟悉的事物。

甲小姐：山姆·阿尔特曼（Sam Altman）一直在努力呼吁各国建立人工智能安全系统。你们认为人工智能需要尽早限制吗？

乔尔·雷曼：这是一个很深奥的问题。我和肯尼斯的观点可能会有些分歧，我更警惕一些。我最担心的是一些深层的人工智能安全问题。我有很多不确定的问题，比如，如果我们创造了比我们更聪明的东西，这意味着什么？

我们在书中也提到了一个问题，那就是开放式创新与伟大成就之间的矛盾，及其可能带来的风险。例如开放式创新创造了核武器，却也创造了可能带来世界末日的幽灵。因此在某些时候，我仍然会对人工智能感到不安。我不清楚。这个问题可能真的没有答案。

肯尼斯·斯坦利：我补充一个有趣的问题：不限制会不会更安全？

我同意乔尔的观点，我们应该关注人工智能对人类社会的影响。但一个复杂的问题是，让人工智能发展得更好可能会更安全。

导致人工智能安全焦虑的部分原因可能是，它缺乏自省能力、沟通能力、自律能力，无法以人类信任的方式向人类解释它在做什么以及为什么要这么做。但如果人工智能进步了，变得更先进了，也许它们就能更好地解释自己，让我们信服，从而信任它们。

如果我们说：“我们不能做这种事，太危险了”，这实际上会降低他们的可信度。这是自相矛盾的。我不知道该如何解决这个问题，但这是一个值得认真考虑的问题。不过尽管如此，我确实认为人工智能需要一些约束，但我真的不清楚答案是什么。

甲小姐：成就了OpenAI的方法论也可能会造成它的问题，比如如今的阿尔特曼似乎变成了一位“政治商人”，他在积极和全球政治家沟通，寻求并探索AI的监管治理。“不被计划带来的伟大”，是不是有可能“在计划中式微”？

乔尔·雷曼：是的。我承认一些监管可能有用，法律的出台肯定会对人工智能的研究和发展产生积极的影响。但是，制定法律是困难的。我希望人工智能技术的监管政策背后能有一些理智的程序。

肯尼斯·斯坦利：当事情真的很危险时，伟大不再重要。在某些时候，技术可能越过了一条与伟大无关的线。例如，在经济领域，你会看到政府往往相当保守，但如果我们愿意，我们也可以彻底改革整个经济体系，并尝试一些不同的东西。即使它可能很有趣，但我们不会那样做，因为这样太危险了，数百万人可能会挨饿或更糟。

现在人工智能可能还没有到这个水平，可以想象，当探索人工智能的风险不抵收益，它可能就不值得再探索。但问题是，我不知道人工智能什么时候会越界。很多事情不总是关于“伟大”，有时你只是试图保守地保证事情的安全。

甲小姐：杰弗里·辛顿（Geoffrey Hinton）等学者认为，世界上还没有过智力较低的物种控制智力较高的物种的先例，由此假设，如果有一天人工智能的智力超过人类，人类很可能会被灭绝。你们如何看待未来强人工智能和人类的关系？

乔尔·雷曼：就在几年前，谈论这个话题还像是科幻小说。在一个特定领域实现最具变革性的宏伟目标，对人类文明来说可能是有风险的。如果我们真的创造了比我们聪明得多的东西，它之于我们，就像我们之于蚂蚁一样。哲学上的争论还在发展中。从经验上看，人工智能安全领域的工作肯定是要让这些模型更加一致。这很好，但人类从未考虑过这一门槛，如果真的到了那一天，我们要非常谨慎。

肯尼斯·斯坦利：智慧是多维的，有不止一个组成部分。人工智能是否能在所有维度上都更加智能？我并不确定。

智能在某些方面的成就可能会有一些内在的限制，比如有效沟通的能力到了一定程度就不能再有效了。智力需要通过实验来了解世界，没有与世界的实际互动，你就无法掌握智力。因此，如果我们限制了人工智能接触外部世界的能力，它就不能成为主宰，因为它好像没有能力做那些实验。也许有某种武器可以用来完全统治地球，但制造这种武器肯定需要大量的物理实验。如果这个东西无法接触到真实的物理世界，它究竟是如何研制出这种武器的呢？

这是一个非常多方面的问题。让它超越我们，接管我们的生活或类似的事情可能没那么容易。但这样的情况仍然非常危险。它需要受到制约。

谈竞争：“竞争会在某种意义上耗尽创新”

甲小姐：在这轮人工智能热潮中，谷歌、Meta、微软以及中国各大科技巨头之间已经形成了竞争关系，甚至有媒体曝出在OpenAI和微软之间也存在暗箱竞争。但也有观点认为，良性竞争能够进一步刺激创新。你是否认同这种观点？你认为当前的全球竞争格局是良性的吗？

肯尼斯·斯坦利：竞争会导致趋同，促进局部最优。竞争会在某种意义上耗尽创新。如果你把它看成是一场军备竞赛，你就必须赢。你承受着巨大的压力，承担不起风险，这种情况下，你需要做出保守的选择。你会被迅速推向把“武器”越造越大、越造越多的方向，而没有时间去考虑其他可能性。

当你减轻竞争压力时，就可以尝试一些有趣的东西，这些有趣的事情会带来真正激进的创新。

目前人工智能领域每个人都在向大型语言模型靠拢，在此之前，人工智能领域还有很多其他想法。现在，语言模型获得了99%的资金，而其它路线只获得差不多1%的资金。

如果我们真的快到了整个游戏的终点，这也许是好事。但如果我们没有快到终点，就会导致趋同。这是肯定的，他们会缩减开支。我们必须后退，远离竞争对手，一切才会放松下来。但现在，我们被锁定在这样的竞争中。所以我预测短期内创新会越来越少。

甲小姐：你们认为中国在未来全球人工智能发展进程中会扮演什么角色？

乔尔·雷曼：我对中国的研究还不是很了解，但确定的是，中国的人工智能研究在影响力和资金方面都在不断增长。

一个悬而未决的问题是，人工智能领域的下一个重大变革性技术是来自中国还是美国？传统的观点可能是来自美国，但这是一个有趣的开放性问题。我原以为美国读者会更加认同我们这本书的内容，但这本书在中国似乎也很受欢迎。中国对开放式创新相关内容的兴趣，很可能会影响到他们之后进行更多元的变革性研究。

肯尼斯·斯坦利：有一点很清楚，那就是中国有足够的资源做大事。中国对大型语言模型和AGI的痴迷也意味着他们有意愿发展人工智能。很难说人工智能研究是否有真正的赢家，无论中国还是其他国家，他们都为人工智能研究整体进步的多样性做出了贡献。未来可能会有一个国家率先实现了通用人工智能，但没人知道究竟是谁。现在可能会有人说是OpenAI，但客观上看似领先的东西并不意味着它就是正确的踏脚石。

中国有很大的人口优势，有足够多的人去尝试各种东西。因此，我预计中国会有非常有趣的创新。现在中国肯定是走在前列的，而且有机会。如果中国只是一味地追赶OpenAI，中国就很难做其他更有趣的尝试。人工智能领域的下一件大事是与众不同的，而不是OpenAI，这才是资源应该去的地方。

谈创新：“尝试一些跳出当前主流范式的创新”

甲小姐：如果伟大的缔造者们没有计划，只是在埋头做事，他们如何意识到一些细枝末节中可能会生长出伟大的时刻？

肯尼斯·斯坦利：人们善于发现有趣的事情。新事物出现时，我们常讨论的机遇、科学或投资都是目标导向的，但我们应该更多讨论“趣味性”这个主观问题。人类最伟大的才能之一，就是在尚未明确具体方向时，理解新想法或新事物的有趣之处。因为有了新想法或新事物，世界才有了全新的视野和机遇。

人们往往善于在自己的专业领域内发现有趣的踏脚石。在某个领域经验丰富的人，对新事物是否有趣的直觉和感觉真的很重要。当然，“专家一定知道什么是有趣的”这种观点不一定正确，但专家至少能够和你讨论为什么这个问题很有趣。

甲小姐：“有趣”是成就“伟大”的重要前提吗？

乔尔·雷曼：是的。“趣味性”是一个很深的话题，不同的人会被不同的有趣事物所吸引。有一种说法是，直觉来自于深厚的专业知识，来自于对可能出现的新事物的深入了解。各个领域都会有一些有趣的创新，但没有被完全联系起来。有些例子表明，来自某个领域的有趣事物会启发另一个领域。例如，GPU让人工智能研究者重新审视神经网络世界中的基础假设。

甲小姐：乔尔，在你过往经历中，有哪些研究方向是你认为比较“有趣”，但因为“目标驱动”的原因而被主流研究方向放弃的？

乔尔·雷曼：这是个好问题。我一直对边缘研究方向感兴趣，边缘研究方向模糊不清，他们没有被完全忽视，但也没有被完全接受。

我与肯尼斯合作后开始研究开放式创新。当时这个方向还比较小众，只活跃在一个很酷但并不为人所知的社区——“人工生命”（Artificial Life）。我很惊讶，在我开始研究前，已经有人着手研究开放式创新了。

最近，我对机器学习、心理学以及两者如何结合的边缘研究方向很感兴趣，这也是一个小众话题。我发现自己总是试图论证我所做的事情是有意义的，希望历史能证明这个研究方向的价值，也希望这个方向能够得到越来越多的支持，让我们拭目以待吧。

甲小姐：我有很多学术界的朋友也会遇到类似情况，他们必须向其他人解释，为什么自己的项目很重要。即使只是一些很小的事情，他们也要在一开始把它变成一个大目标，以目标为导向，筹集更多资金，获得更多支持。这是一个自我探索的过程。

肯尼斯·斯坦利：我们在书中提到了一个非常有趣的“图形孵化器”项目，叫做Picbreeder，它让我们最初发现了关于“目标”的悖论。

当时我们想做一个孵化图片的网站，很多人都想知道为什么要做一个这样的网站。唯一的答案就是，有趣。大量用户在网站上孵化图片就会发生一些有趣的事，但我不知道具体会发生什么，这给我们的工作带来了巨大的麻烦。

我们的社会文化是，定一个宏大的目标，完成目标才能获得科学资助。但我们无法解释这个项目的目标是什么，完全被困住了。我只能说，这个网站一定很有趣。我们提交项目拨款申请时被拒绝了，相关机构都说不清这个网站的最终回报是什么。但我们最终还是无视了那些资助机构，推进这个项目。虽然没能获得资金非常遗憾，但这个项目引发了我们今天关于开放式创新的所有讨论。

甲小姐：我想如果有可能，每个人都会很喜欢开放式创新。“开放式创新”需要大量的人力、财力以及时间的投入，但有时出于现实条件的制约，包括中国在内的发展中国家需要利用有限的资源尽可能创造最大的价值。这种情况下，合理设定目标似乎成为一个必然的过程，你认同吗？

乔尔·雷曼：我不同意，但这个问题很有趣。有一种误解是，资源有限时，你可能会把一些资金投向稳赚不赔的创新方向，但你依然需要承担一些合理风险。但以Picbreeder为例，一些科学家的发现有时会带来真正巨大的附加值，历史上也有科学家跨领域创新的故事，这些科学家是很好的投资对象。至少在美国有一家投资机构，会专门给创新成果良好的科学家投资。

甲小姐：你们期待中国未来在哪个领域产生更多的“开放式创新”？

乔尔·雷曼：这取决于中国的投资方向。现在中国似乎正在大力推动机器学习和人工智能研究。问题在于，这种投资是在什么样的背景和环境下进行的，是否真的有空间进行开放式创新。我更倾向于，尝试一些跳出当前主流范式的创新，比如不局限于“让GPT性能升级1%”之类的目标，去发现一种新的架构，一种新的范式，孵化一些有趣的功能，这样才能真正实现开放式创新。

甲小姐：在书中，你们讨论了开放式进化的潜力。你如何定义开放式进化？在人工智能的背景下，它的关键特征是什么？

乔尔·雷曼：开放式进化最容易描述，只需指出自然界中的一些例子进行推导即可，它是无止境的。比如生物进化，地球在数十亿年的时间里不断创造出令人惊叹的东西。人类是进化创造出来的，我们自身也成为了开放性创新的引擎，这就是创新的故事。

甲小姐：是什么激发了你探索进化算法中的开放式概念并挑战设置特定目标的传统方法？

乔尔·雷曼：这并不是我最初的目标。我在本科时读过一本书，书中谈到了肯尼斯开发的一种特殊算法。这种增强拓扑的神经进化有点小众，但真的很酷。这激起了我脑海中的一个想法：我们的大脑由自然进化而来，如果我们在电脑里也这么做呢？受到启发后，我申请成为肯尼斯的学生。我们第一天见面他就向我提出了“新奇性搜索”的想法，这成为了我研究开放式进化的突破口，这个问题历来鲜有人关注。

甲小姐：直到今天，很多时候我们也会强调科技领域要加强产学研融合。按照书中的论述，产学研融合是否会在某种程度上成为创新的桎梏？

乔尔·雷曼：从理论上讲，它们可以很好地结合在一起，即允许有松弛、新颖、有趣的探索空间，这是在为工业服务。

但我不确定从本质上讲，是否必须进行产学研一体化。如果产业界的激励机制大量渗入学术界，学术界或多或少就会成为产业界的延伸，而产业界的竞争压力可能会比学术界更大。

在学界，深刻的科学发现似乎永远不会有实际意义，但日后却可能对商业产生巨大的影响。例如公钥加密技术催生了电子商务，但它被发明的初衷并非如此。现在社会文化上的诱惑和我们写这本书的原因就在于，我们并不欣赏产学研融合的方式。科学是一只能下金蛋的鹅，我们不想杀死它，我们想努力保护它。

本文来自微信公众号：甲子光年（ID：jazzyear），作者：甲小姐、刘杨楠，编辑：王博