首页 > 科技快讯 > Sam和Ilya的深层矛盾：有效加速主义 vs. 超级“爱”对齐

Sam和Ilya的深层矛盾：有效加速主义 vs. 超级“爱”对齐

晰数塔互联网快讯
2023-11-20 11:28

我很懒，爱写字但从不发，但因为 OpenAI 这次分裂的历史意义太大，突然把我这几个月不太理解的事情串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦，OpenAI 奇怪的治理结构，以及 Sam 和 Ilya 到底谁对谁错，我充分尊重这两个人的底层品质。如此不可思议的事情，必定藏着某种深层冲突。无论 Sam 最终是否会离开，本文探讨的冲突，应该会持续有效：

有效加速主义和超级“爱”对齐的理念冲突，以及一个变量：GPT-5 是数字生命，还是工具？

这些词看着唬人，尝试解释下。

有效加速主义

英文叫做 e/acc，是一群硅谷的科技精英们搞出来的一种科技价值观运动，你会发现有大量的 twitter 账号带有这个 e/acc 的后缀，可见其受众之广泛。比如下图分别是 Garry Tan（YC 现有掌门人）以及 Marc Andreessen（A16Z 的创始人）的账号。

那这到底是什么玩意儿，以及为什么会和 Sam 被驱逐有关？首先就要解释 e/acc。我的简单版理解：

1. 人类应该无条件地加速技术创新，并快速推出他们，来颠覆社会结构。

2. e/acc 运动认为这种对社会的颠覆风险，本质上对人类有利，因为会迫使人类适应，从而帮助我们更快达到更高的意识水平。

3. 过去三百年人类随着技术的颠覆而进化，结果显然都非常好。

很显然，e/acc 的支持者对 AGI 的态度也是一致的：让尽可能多的人参与，更快地推出产品，更快地颠覆，从而让人类更好地进化。是不是，有点“大力出奇迹”的意思？

Sam Altman是“有效加速主义者”吗？

我认为答案很确定，是的。尽管很多人说，你看 Sam 还去国会呼吁减速 AI 的发展，天天说 AI 的风险，不是应该是个“减速主义者”吗？其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

MindOS 上分析到的小道消息

证据1：Garry Tan 作为 Sam 的接任者来执掌 YC，我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2：这次 Sam 被驱逐，很多挂着 e/acc 的人已经把 Sam 当作一个象征。从 GPTs 的仓促推出，对 Worldcoin 项目的大力投资，他是懂怎么“加速”的。

所以我倾向于认为，Sam 的减速表象，是内部妥协，尤其是对 Ilya 的妥协。

超级对齐是什么？

我在今年 7 月看到 Ilya 说要成立一个“超级对齐”项目的时候，也是一脸问号。难道 ChatGPT 这么生硬的表达，还不够对齐吗？

但最近我才逐渐理解了 Ilya 的意思。可以看这段两周前的采访，以及被人爆料的，Ilya 在乎的“不是 AI 有情感，而是 AI 有对人类真正的爱”。听上去似乎是个让人无语的“白莲花阻碍进步”的故事吗？其实不然。

为了真正理解这句话，我们需要审视一下现在的对齐，一种是所谓的价值观层面（比如同性恋应该被尊重），一种是所谓的话题层面（比如不让搞黄色）。但这些真的够吗？如果是个聊天机器人（比如去年的 ChatGPT），那完全够了。但如果是个具有自主决策和行动能力的超级智能呢，可能就有一个大大的问号了。

为什么超级“爱”对齐那么重要？

所以“超级对齐”项目，本质是 Super-LOVE-alignment，超级“爱”对齐。这种 LOVE，是大爱，并非情爱，是人性底层那种无条件的，无关自我的，对于人类的爱，是一种“神性”的爱，一种就像孔子、耶稣、释迦摩尼这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了，但如果人类的历史上，没有这些伟大的人格带来的伟大的精神，作为文明的压舱石，就凭自私的人类，今天的世界可能会糟糕得多。

一个有趣的个人插曲，在3年前，我在一个分享中借鉴了唯识的思想，把 AI 的意识发展分为从感知（传统 AI，第1-5识），到认知（GPT-4，第6识），到自我意识（Autonomous AI Agent，第7识），到智慧和爱（AI Being？第8识）。而 Ilya 相信，AI 能判断价值观是远远不够的，因为人类历史上也很多次出现了价值观上无懈可击，却最终酿成巨大悲剧的故事。

图片来自：作者提供

解法是什么？那就是让 AI 对齐那种底层的“无条件对人类的爱”，这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个，那么比人更强大的 AI 才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题，可见他的层次之高。

那不能先推出 AGI，再修正呢？Ilya 认为不能，他认为技术的本质类似于人类的生物进化（这点讽刺地和 e/acc 的人一致）。但他认为进化的起点很重要。如果进化的开始，是一个没有“无条件对人类的爱”的 AI，那最终也一定会把我们人类带到沟里去。

变量：AI 是数字生命，还是工具

我们应该成为一个 e/acc，还是超级“爱”对齐主义者？又为什么是现在这个时间点突然驱逐掉 Sam？这些决策背后突变的因素到底是什么？

先讲一个小背景：从各种消息源来个人猜测，OpenAI 内部应该在几周前讨论了 GPT-5 的初步结果，能力上应该是非常颠覆的。而对下一步的行动，Sam 和 Ilya 应该是有巨大的分歧（可以看到 Sam 在 APEC 上的发言，已经证实了这次突破的存在）。

要解答上面的问题，取决于你认为 GPT-5 上的智能体，是数字生命，还是工具？如果我们用最简单的标准，判断是否是“数字生命”，那就是“是否具有完全的自主性”，如果依赖人类来决策和使用的技术，那就只是“工具”。e/acc 最大的悖论在于，所有我们历史上可以借鉴的案例，本质上都是“更好的工具”，这可能是 e/acc 起作用的原因。但如果现在出现的是“数字生命”呢？社会的一份子，甚至是社会的管理者呢？一个比人强大的数字生命，真的可以没有“底层的对人类的爱”吗？如果真的那样，我也会替人类的未来担心，何止是失业呢。

所以，你是一个 e/acc，还是一个超级对齐主义者，本质上的区别在于你怎么看 AI 对社会的本质。

所以，我偏向于相信 OpenAI 应该搞定了一些关键技术，然后生产了一个非常颠覆的新版本，自主性大大增强。而 Ilya 认为在通过超级对齐为他注入“对人类的爱”之前，这个版本的 AI，必须要我们抛弃有效加速主义的思想。如果没法形成共识，就抛弃拥有这个思想的人，立刻，马上。

哪怕这个人，可能是人类历史上最厉害的几个 CEO 之一。

本文来自微信公众号：Tao写字的地方（ID：neuro-symbolic），作者：陶芳波