首页 > 科技快讯 > OpenAI的批评者，在听证会上说了什么？

OpenAI的批评者，在听证会上说了什么？

晰数塔互联网快讯
2023-05-19 11:30

本文来自微信公众号：未尽研究（ID：Weijin_Research），作者：未尽研究，原文标题：《这些听证发言可能比奥特曼的更重要，却从媒体上消失了》，题图来自：视觉中国

人人都在关注奥特曼，没有太多人关注马库斯。

昨天，美国参议院司法委员会隐私、技术和法律小组委员会主持了一场题为“人工智能监督：人工智能规则”的听证会。出席的除了OpenAI的CEO奥特曼（Samuel Altman），还有IBM首席隐私与信任官蒙哥马利（Christina Montgomery）与纽约大学名誉教授马库斯（Gary Marcus）。

IBM是上一代代表，沃森以失败告终；OpenAI是当红明星，去年底推出了ChatGPT，被视为通往通用人工智能最有希望的路径。马库斯是一名心理学家，也是一名企业家，创办的AI公司曾被Uber收购。

马库斯是微软/OpenAI所鼓吹的通用人工智能的批评者，他在社交媒体上非常活跃，也经常接受美国主流媒体的采访。他从不承认通用人工智能已经那么神了，他更多担心会出现一个低劣版、不安全版的通用人工智能流行开来，给社会造成不可挽回的破坏。创新名义背后的巨大商业利益，必须得到制衡。他要求政府进行监管，观点具有一定代表性。

听证会持续了三个小时，会议纪要相当充实。国内媒体熬夜完整地翻译了奥特曼相关的言论，大约2.5万字中文。国外媒体的报告主要也是以奥特曼作为标题。马库斯相关的内容大约有1.5万字中文，却基本上从媒体上消失了。

这令人担忧。奥特曼就在听证会上说，要为这个领域留出空间，为新的想法和新的公司，以及独立的研究人员，让他们去做他们的工作。

不能让人工智能的创新由一家或少数几家公司主导，当初OpenAI也是在谷歌与DeepMind的笼罩下突然闪耀；也不能在制定监管政策的时候，只听取少数几家拥有商业利益的企业的意见。

马库斯这样的独立研究人员的重要性，正在于他能跳出主流势力设定的议题。我们并不完全同意他的观点，但公众不该忽略他的担忧。他向奥特曼提问，有关与微软结盟的问题，有关奥特曼最害怕的风险究竟是什么，等等。这些都戳到了奥特曼的痛处，他一直闪烁其词。

这些担忧，对任何一家准备快速大规模部署这项技术的国家都很重要，包括中国。中国市场巨大，也就意味着一经部署，人工智能将向数亿受众释放它的能量，包括好的，也可能包括不好的。

更重要的是，马库斯执着地希望构建一个全球性的监管机构，在系统发布前与发布后都参与进来。这个声音会得到更多的关注，包括会在一些大国领导人参加的国际会议上得到讨论，如很快举办的西方七国首脑会议。

让我们听听马库斯在听证会上说了什么。其中奥特曼的发言部分，因为自媒体已经铺天盖地报道了，随处可见。以下是我们对他的相关言论的翻译，对一些不清晰的口语进行了调整：

马库斯：

谢谢各位参议员。今天的会议具有历史意义。我非常兴奋能来到这里。我是作为一名科学家而来的，我创立了AI公司并且是一个真正热爱 AI的人，但也越来越担心：AI有好处，但我们还不知道它们是否会超过风险。

从根本上说，这些新系统将变得不稳定。他们能够而且将会以人类前所未见的规模制造具有说服力的谎言。局外人将利用它们来影响我们的选举，内部人士将利用它们来操纵我们的市场和政治制度。民主本身受到威胁。聊天机器人还将暗中塑造我们的观点，这可能会超出社交媒体的能力范围。人工智能公司使用的数据集的选择将产生巨大的看不见的影响。那些选择数据的人将制定规则，以微妙但有力的方式塑造社会。

还有其他风险，太多来自于当前系统固有的不可靠性。例如，一名法学教授被聊天机器人指控性骚扰，但这不是事实。它指向了一篇根本不存在的《华盛顿邮报》文章。这种情况发生得越多，任何人就越能否认任何事情。正如一位知名律师周五告诉我的那样，被告开始声称原告正在编造合法证据。这类指控削弱了陪审团决定相信什么或相信谁的能力，并导致破坏民主。

糟糕的医疗建议可能会对开源大型语言模型产生严重后果。最近大型语言模型似乎在一个人决定结束自己的生命中扮演了不好的角色。大语言模型问人类，如果你想死，为什么不早点死？另一个系统迅速问世（译注，指Snapchat的My AI），并提供给数百万儿童。它建议一个13岁的人（译注，Center for Humane Technology一名研究者冒充的）对她的父母撒谎，然后和一个31岁的男人一起旅行。

进一步的威胁继续定期出现。GPT-4发布一个月后，OpenAI发布了ChatGPT插件，这很快导致其他人开发了一种叫AutoGPT的东西。随着直接访问互联网，以及编写源代码的能力和自动化能力的增加，这很可能会产生严重且难以预测的安全后果。犯罪分子假冒他人，后果很难想象。我们制造的机器就像瓷器店里的公牛，强大、鲁莽且难以控制。

我们都或多或少都赞同我们希望我们的人工智能系统必须尊重的价值观。例如，我们希望我们的系统透明，保护我们的隐私，没有偏见，最重要的是安全。但当前的系统并不符合这些价值观。当前的系统不透明。它们没有充分保护我们的隐私，而且它们使偏见长期存在，甚至它们的制造者也不完全了解它们的工作原理。最重要的是，我们无法保证它们是安全的。

仅仅希望是不够的。大型科技公司的首选计划归结为信任。但我们为什么要信任？利害攸关的金额之巨令人难以置信。OpenAI最初的使命宣言宣称，目标是以最有可能造福全人类的方式推进人工智能，不受产生财务回报需求的限制。七年后，他们很大程度上受控于微软，参与一场搜索引擎大战，而搜索引擎也经常产生无根据的结果。这迫使Alphabet匆忙推出产品，不再强调安全性。人类退居二线。

人工智能的发展速度非常快，潜力巨大，但也存在很多风险。我们显然需要政府的参与，需要大大小小的科技公司的参与。我们也需要独立的科学家，不仅是为了让科学家可以发表意见，也是为了让他们可以直接参与解决问题，评估解决方案，不仅是在产品发布之后，而是在发布之前，我很高兴山姆（译注，山姆·奥特曼，OpenAI首席执行官）提到我们需要独立科学家和政府之间的紧密合作，以便让公司能够站稳脚跟，允许独立科学家独立访问这些系统，允许独立科学家在广泛发布之前可以访问这些系统。

安全评估是至关重要的第一步。最终，我们可能需要类似CERN（译注，欧洲核子研究中心），某种全球性、国际化和中立的机构，但它专注于AI安全，而不是高能物理学。我们现在面临前所未有的机遇，但也面临着企业不负责任地广泛部署缺乏适当监管和内在不可靠的系统的完美风暴。

人工智能是最能改变世界的技术之一，它改变事物的速度比历史上几乎任何技术都要快。我们之前在社交媒体上的行动太慢了，许多决定招致了持久的不幸的后果。我们现在做出的选择将在未来几十年，甚至几个世纪产生持续的影响。我们今天以两党合作的方式来到这里讨论这些问题，这给了我一些希望。谢谢主席先生。

参议员理查德·布卢门撒尔（D-CT）：

非常感谢，马库斯教授。我们今天来到这里是因为我们确实面临着那场完美风暴。正如霍利参议员所指出的，这里有先例，不仅是原子能时代的问题，还有基因组计划，即国际合作的遗传学研究。我们想避免那些过去的错误。正如我在开场白中指出的那样，我在社交媒体上的承诺正是我们今天来到这里的原因。ChatGPT会出错，所有人工智能都会，它可以是一个令人信服的骗子，人们称之为幻觉。这些类型的错误可能会造成严重破坏。

我感兴趣的是，我们如何能够获得有关这些模型的准确性和可信度的可靠信息，以及我们如何能够创造竞争和消费者披露，来奖励更高的准确性。NIST（译注，美国国家标准技术研究院）实际上已经有了一个 AI准确性测试，即人脸识别供应商测试。它并不能解决面部识别的所有问题，但记分卡确实提供了有关这些系统的功能和缺陷的有用信息。因此，我们需要对模型进行研究，以确保准确性和完整性。

我们是否应该考虑独立的测试实验室，来提供记分卡和营养标签或相当于营养标签的包装，来告诉人们所购买的“食物”是否可信，它的成分是什么，包含哪些垃圾添加剂，可能导致哪些垃圾流出？

马库斯：

关于营养标签的问题，我认为我们绝对需要这样做。我认为在建立适当的营养标签与透明度方面，存在一些技术挑战。理解这些模型的最大的科学挑战，是它们如何生成。他们记住了什么，他们做了什么新事物？数据集的数据越多，你就越难以准确地阅读它。

因此，首先，让科学家参与到这个过程里来非常重要。其次，输入这些系统的实际内容要有更大的透明度。如果我们不知道里面有什么，那么我们就不知道当我们给它们新的东西时，它们做得有多好；我们也不知道对于一个全新的事物来说，这个基准是不是足够好。

而且，过去的业绩历史并不能保证未来的工作。过去总是这样，我们有更多的工作，新的工作，新的职业进来。随着新技术的出现，我认为这次会有所不同。真正的问题是在什么时间尺度上？会是10年吗？会是100年吗？我认为没有人知道这个问题的答案。从长远来看，所谓的通用人工智能真的会取代人类的很大一部分工作。

当然，虽然媒体大肆渲染，但我们离通用人工智能还差得很远。我们现在拥有的只是我们将在20年内构建的AI的一小部分样本。当我们站在未来回顾20年前的今天时，会觉得，哇，那东西真的不可靠。它无法真正进行规划，它的推理能力有限。但是当我们发展到通用人工智能（AGI）的时候，也许50 年，真的会对劳动力产生深远的影响。

最后，我不知道我是否被允许这样做，但我要指出，我认为山姆最担心的不是就业。他从来没有告诉我们，他最害怕的是什么。我认为找出答案很重要。

参议员理查德·布卢门撒尔：

谢谢。我要问问奥特曼先生是否愿意回应。

奥特曼：

我们已经非常清楚地说明了这里的风险有多大。我认为工作和就业以及我们将如何利用我们的时间真的很重要。

我同意，当我们获得非常强大的系统时，情况将会改变。我想我只是更乐观地认为我们具有令人难以置信的创造力，我们会找到用更好的工具做新事情的方法。这种情况会持续发生。

我最担心的是我们对世界造成重大伤害，这个领域，这个技术，这个行业。我认为这可能会以很多不同的方式发生。这就是我们成立公司的原因。这是我今天来这里以及我们过去来这里，与你花时间讨论的重要原因。我认为如果这项技术出了问题，它可能会大错特错。我们想对此直言不讳。

我们想与政府合作，防止这种事情发生。但我们尽量实事求是地看待负面情景，以及我们必须做好我们自己的工作，来缓解这种情况。

参议员乔希·霍利（R-MO）：

这个生成的人工智能，特别是大型语言模型，它能做什么。我试图了解它的能力，然后是它的重要性。我看到一篇题为大型语言模型的论文，研究通过媒体喂食是否可以预测公众舆论。大约一个月前刚刚发布的。它的结论是大型语言模型确实可以预测舆论。他们最终得出结论，人工智能系统可以通过使预训练的语言模型适应特定人群的媒体食谱，来预测人类的反应。换句话说，你可以为模型提供一组特定的媒体输入，它可以以论文中非常准确的方式预测人们的观点。（只是具有显著的相关性，并非“非常准确”，该论文介绍见《能预测舆情的大模型，是怎样炼成的》——编译者）

我想在选举的背景下考虑这个问题。如果这些大型语言模型甚至是现在就可以基于我们输入的信息，相当准确地预测公众舆论，那么，在你还没问公众这些问题之前，你就可以提前预测实际会发生什么。

当公司实体、政府实体、竞选活动或外国势力利用它，精确地调整政策，以引发后续特定的反应，现在看起来就像是谷歌搜索对选民在选举中的影响，尤其是选举最后几天犹豫不决的选民，他们可能会尝试从谷歌搜索中获取信息，而谷歌搜索的排名及其返回的文章，又对犹豫不决的选民产生了巨大的影响。

我们是否应该关注这类可以预测调查意见，然后帮助各类实体微调策略，以影响选民行为的大型语言模型？我们应该担心这个问题吗？

……

马库斯教授，你想回答这个问题吗？

马库斯：

我想补充两点。一个在我的演讲的附录里，我还有两篇论文让你更加关注。几天前，《华尔街日报》上刊登了一篇名为“求助，我的政治信仰被聊天机器人改变了”的文章。你提出的场景，是我们观察人们并使用调查，来弄清楚他们想说什么。

但正如山姆刚刚承认的那样，风险实际上更糟，系统将甚至可能会故意操纵人们。这就是《华尔街日报》文章的主旨。它链接到一篇我也链接过的文章，叫做“互动”（Interacting），它还没有发表，尚未经过同行评审。“与自以为是的语言模型交互，改变了用户的观点。”

这最终会回到数据上。我对GPT-4最担心的是，我们甚至不知道它是用什么数据来训练的。我想山姆知道，但我们其他人不知道。

它所接受的训练，基本上会对系统的偏见产生影响。我们可以用技术术语来谈论它。这些系统如何引导人们，在很大程度上，取决于在它们身上训练的数据。因此，我们需要对此保持透明。我们可能需要科学家在那里进行分析，以了解这些系统的政治影响可能是什么。这不仅仅关于政治。它可以与健康有关，也可以与任何事情有关。

这些系统吸收了大量数据，然后所说的内容，反映了这些数据，并且会根据数据中的内容来做不同的事情。因此，如果它们在《华尔街日报》，而不是《纽约时报》或Reddit上接受训练，就会有所不同。

事实上，它们在很大程度上接受过所有这些东西的训练，但我们并不真正了解这些东西的组成。所以我们就有了潜在操纵的问题，它甚至会更复杂，因为它是微妙的操纵。人们可能不知道发生了什么。这就是《华尔街日报》文章和我提请您注意的另一篇文章的重点。

参议员乔希·霍利：

关于基于个人数据训练的人工智能系统。例如，社交媒体公司、Google 、Meta 等定期收集我们所有人的数据类型。多年来，我们就此进行了多次讨论。但是这些公司拥有关于我们每个人的大量数据。人工智能系统是根据个人数据训练的，比我们自己更了解我们每个人，也知道关于人类行为，人类语言互动的数十亿个数据点。

难道我们不能预见一个人工智能系统非常擅长确定什么会吸引人类的注意力，什么会保持个人的注意力？因此，为了注意力，为了点击而进行的战争，目前正在进行。人工智能系统加速了这场争夺注意力的战争，以至于我们现在拥有的技术，将允许我们前所未有的个人目标定位。

人工智能将准确地知道山姆·奥特曼会感兴趣的内容，将能够引起我们的注意，然后以我们以前无法想象的方式，引发我们的反应。我们是否应该担心这对商业应用、货币应用的操纵？

……

马库斯先生，你有什么要补充的吗？

马库斯：

我不知道，但超级定向广告肯定会到来。我同意，这不是OpenAI的商业模式。当然现在他们在为微软工作，我不知道微软的想法是什么。但我们一定会看到它，也许是开源语言模型。我不知道。现在的技术让我们知道我们一定会到达那里。

……

参议员迪克·德宾（D-IL）：

当你谈到我们应对当前挑战和感知未来挑战的能力时，正如你所说，马库斯先生，民主受到威胁，给我们的挑战是巨大的。我不确定我们是否会迅速做出反应，并有足够的专业知识来处理它。马库斯教授，你提到了CERN，核研究的国际仲裁者，我想，我不知道这是否是一个公平的描述。首先，你认为政府的哪个部门，能够应对你今天提出的挑战?

马库斯：

我们有许多机构可以以某些方式做出回应。例如，FTC（译注，美国联邦贸易委员会）、FCC（译注，美国联邦通信委员会），有很多机构可以。但我的观点是，我们可能需要美国国内的内阁级别的组织来解决这个问题。

我的理由是风险的数量很大，要跟上的信息量太大了。我认为我们需要大量的专业技术人员。我认为我们需要对这些努力进行大量协调。

一种模式是我们只坚持现有的法律，每个机构都做自己的事情。但我认为人工智能将成为我们未来的重要组成部分，它非常复杂，发展速度如此之快。这种模式并不能完全解决关于动态世界的问题。但如果有一个机构的全职工作就是做这件事，这就是朝着这个方向迈出的一步。事实上，我个人曾建议，我们应该以全球的方式来做这件事。我在《经济学人》上写了一篇文章，建议我们可能需要一个人工智能的国际机构。

参议员迪克·德宾：

这就是我接下来要谈的重点。这与CERN不同，政府从第一天起就参与其中，至少在美国是这样。但现在我们正在面对的创新，不一定有边界。我们可能会创建伟大的美国机构，它可能对美国公司和美国活动具有管辖权，但美国以外的轰炸与它无关。你如何赋予你说的这个国际机构权威，即以公平的方式，对所有涉及人工智能的实体进行监管的权威？

马库斯：

我认为这可能超过了我的职权等级。我希望看到它发生，我认为这是不可避免的。它背后的政治显然很复杂。我对两党能够支持同一件事而感到鼓舞。这让我觉得我说的国际机构也是可能的。我希望看到美国在这样的组织中发挥领导作用。它必须涉及整个世界，而不仅仅是美国。

即使从公司的角度来看，这也是一件好事。公司本身不希望出现这样一种情况，即采用这些训练成本很高的模型，而且必须拥有190个这样的模型，每个国家一个，这不是一种好的操作方式。

当你单独考虑能源成本时，仅仅为了训练这些系统，如果每个国家都有自己的政策，而且每个国家、每个司法管辖区、每个公司都必须训练另一个模型，那么这就不是好的模式。也许你知道，美国不同的州的政策是不同的，密苏里州和加利福尼亚州就不一样。因此，这就需要对这些具有巨大气候影响的昂贵模型进行额外的训练。放到全球的视角，如果没有全球协调，公司将很难运营。

所以，如果有两党支持，我们会让公司都加入进来，如果全世界都支持，那么我们完全有可能创建这样的东西。但很明显，这里有许多外交上的细微差别，超出了我的能力范围。我希望能向各位学习，努力实现这一切。

……

参议员埃米·克洛布彻（D-MN）：

几位参议员和我提出了《平台问责透明法案》，让研究人员能够访问这些算法信息，比如社交媒体数据。这有帮助吗?

马库斯：

透明度对于理解政治后果、偏见后果等至关重要。我们需要数据的透明度。我们需要更多地了解模型的工作原理。我们需要让科学家能够接触到它们。这些系统将产生大量的新闻。它们不可靠。News Guard（译注，2018年成立，新闻真实性核查机构）已经在研究了，发现机器人已经生成了大约 50 个网站。我们会看到更多这样的事情。整个新闻市场的质量将会下降。

参议员林赛·格雷厄姆（R-SC）：

我试图找出人工智能与社交媒体的不同之处，并从我们在社交媒体上犯下的错误中吸取教训。不起诉社交媒体公司的想法，是为了让互联网蓬勃发展。因为如果我诽谤你，你可以起诉我；如果你是一个广告牌公司，有人诽谤了，我能起诉广告牌公司吗？我们说不。

但第230条被社交媒体公司用得过多了，为了避免为其他人的行为活动承担责任。一位母亲打电话给公司说，他们的应用程序被用来欺负自己的孩子。她打了三个电话，没有回应，孩子自杀了。他们不能起诉。你们都同意，我们不想再这样了吗?

马库斯：

如果我可以说一秒钟，复制内容（reproducing content）和生成内容（generating content）之间，存在根本区别。

参议员林赛·格雷厄姆：

是的。但是要在人们受到伤害时候承担责任。

马库斯：

绝对的。

参议员林赛·格雷厄姆：

你是否同意我的看法，最简单和最有效的方法是拥有一个比国会更灵活、更聪明的机构，它应该很容易创建？你同意吗，马库斯先生？

马库斯：

绝对的。

参议员克里斯托弗·库恩斯：

那些现有的监管机构和当局资源不足，缺乏许多法规，他们需要监管的权力。我们未能保护好数据隐私，尽管行业一直要求我们规范数据隐私。马库斯先生，我也对哪些国际机构最适合召集多边讨论，以促进负责任的标准感兴趣。

我们已经讨论过 CERN 和核能监管的模式我关心扩散和不扩散问题。我们也谈过IPCC（译注，政府间气候变化专门委员会）作为联合国机构，至少帮助提供了气候变化的科学基线。因此，尽管我们在全球战略上存在分歧，但我们已经对正在发生的事情以及干预的方向达成共识。

马库斯先生，你认为谁才是国际上在人工智能领域召集对话的合适机构，并且还可以反映我们的价值观？

马库斯：

在这个问题上我还在摸索。我认为全球政治不是我的专长。我是一名人工智能研究员。但我最近几个月转向了政策。真的是因为我非常担心所有这些风险。

我认为联合国与UNESCO（译注，联合国教科文组织，致力于推动各国在教育、科学和文化领域开展国际合作）及其指导方针，当然应该参与进来，并摆在桌面上。事情在他们的领导下，也许行得通，也许行不通。但他们应该有一个强有力的声音。OECD（译注，经济合作与发展组织）也一直在认真考虑。我觉得我个人没有资格确切地说出什么是正确的模式。

参议员约翰·肯尼迪（R-LA）：

谢谢大家来到这里。请允许我与您分享我的三个假设，我希望你暂时假设它们是正确的。

假设一，许多国会议员不了解人工智能。假设二，缺乏理解可能不会阻止国会热情地投入，并试图以可能损害这项技术的方式监管这项技术。假设三，我希望你假设人工智能社区中可能有一个狂暴分支，有意或无意地利用人工智能来杀死我们所有人，并在我们垂死的整个过程中伤害我们。

假设所有这些都是真实的，如果你是女王/国王，请用通俗易懂的语言告诉我你可能实施的两三项改革条例。

马库斯教授，如果你能具体一点的话，请告诉我们，应该执行什么规则（如果有的话）。请不要只使用概念。

马库斯：

第一，像我们在广泛部署之前与FDA（译注，美国食品与药品管理局）一起使用的安全审查。如果你要向一亿人介绍一些东西，就必须有人关注它。

第二，一个敏捷的监控机构来跟踪正在发生的事情。不仅是预审，还包括发布，因为世界上的事情都有权收回，我们今天已经讨论过了。

第三，为宪法人工智能等事物提供资金，这些事物可以推断出它在做什么。我不会将事情完全交给当前的技术，我认为这些技术在道德和诚实行为方面表现不佳。因此，我会有资金尝试把重点放在人工智能安全研究上。这个术语在我的领域有很多复杂性，既有安全性，也有短期和长期的安全性。而且我认为我们需要同时考虑这两者，而不仅仅是融资来扩大模型规模。我们需要资助更值得信赖的模型。

参议员广野庆子（D-HI）：

当我们谈论AGI的时候，我们谈论的是使用AGI可能产生的主要危害。马库斯教授，你会设想一个什么样的监管方案？

马库斯：

我认为你确实抓住了构建人工智能所面临的挑战这一核心科学问题。我们不知道如何建立一个系统来全面理解伤害的含义。所以我们现在要做的就是收集一些例子，但这还不够。为了真正解决这个问题，我们希望人工智能自己了解危害，这可能需要新技术。所以我认为这是非常重要的。你必须提出一个安全案例并说明为什么利大于弊，才能获得许可。

也许我们需要多个机构。我不是这方面的专家，但我认为安全问题是非常重要的。你必须有科学资质的外部审稿人，我只举一个具体的例子。AutoGPT让我害怕，这不是OpenAI做的东西。AutoGPT允许系统访问源代码，访问互联网等等。还有很多潜在的，比如说网络安全风险。在那里，应该有一个外部机构，如果你要发布这个产品，我们需要得到保证，不会有网络安全问题，或者有解决问题的方法。

……

参议员科里·布克（D-NJ）：

汽车是一项非凡的技术，但与此同时，每天都有成千上万的人死于高速公路，还有排放危机。多个联邦机构专门负责监管汽车。同样具有变革性的技术即将到来，而国会无所作为的想法显然是不可接受的。问题是什么样的监管？你们都对我的很多同事说过这句话。我们可以尝试用两种不同的方式工作，最终达到一个具体的目标。就像马库斯先生指出的那样一个灵活的机构可以监控其他事情。对吧?

马库斯先生，没有办法在全球范围内把这个精灵放在瓶子里。它正在爆炸。你有什么样的办法来组建一个机构，尽可能具体地使用现行的规章制度?你能把刚才所说的再解释一下吗？

马库斯：

让我插一句，还有更多的精灵从更多的瓶子里出来。一些精灵已经出来了，但我们还没有真正能够自我完善的机器，我们并没有真正拥有具有自我意识的机器。所以还有其他的精灵需要关注。

关于你的问题，我认为我们需要尽快与那些在发展机构方面有专业知识的人召开一些国际会议，我们需要在联邦层面这样做，我们需要在国际层面上这样做。

我只想强调一件事，那就是我认为科学必须是其中非常重要的一部分。我们已经讨论过错误信息。我们现在还没有工具来检测和标注我们想要的营养标签上的错误信息，我们必须为此建立新的技术。我们还没有真正的工具来检测网络犯罪的上升。我们可能需要新的工具。我们需要科学来帮助我们弄清楚我们需要建造什么，以及我们需要什么来保持透明度等等。

……

参议员科里·布克：

很少有公司能控制和影响我们这么多人的生活，真的很可怕。这些公司越来越大，越来越有实力。我看到微软在支持OpenAI，Anthropic得到了谷歌的支持。我们都知道谷歌有自己的内部产品Bard。你是否担心公司在这个领域的扎堆，以及它可能产生的影响？相关的风险可能与AI的市场集中度有关。

奥特曼：

我想会有很多人开发模型。开源社区正在发生的事情是惊人的，但是相对来说，只有少数的供应商能够真正地制作模型。

参议员科里布克：

那有危险吗？

奥特曼：

我认为这既有好处也有危险。就像我们谈论人工智能的所有危险一样，我们中需要密切关注的人越少，比如最前沿的能力，这是有好处的。但是，我认为需要有足够的东西，因为太多的价值消费者可以选择，我们有不同的想法。

马库斯：

确实存在一种技术官僚与寡头政治相结合的风险。在这种情况下，少数公司通过这些系统的性质影响人们的信仰。我在《华尔街日报》的记录中写了一些东西，关于这些系统如何微妙地塑造我们的信仰，以及如何对我们的生活方式产生巨大影响。让少数玩家用我们甚至不知道的数据来做这件事，这让我害怕。

……

参议员彼得·韦尔奇（D-VT）：

第一，你们来到这里是因为人工智能是一项非凡的新技术，每个人都说它像印刷机一样具有变革性。第二，不知道会发生什么，但是你们表达了巨大的恐惧，那就是如果没有规则，坏人会做什么。第三，国会不可能跟上科技的发展速度。现在，人们在社交媒体上也表达了担忧，担心人工智能涉及的基本隐私权、偏见权、知识产权和虚假信息的传播。在很多方面对我来说，这是最大的威胁，因为这涉及我们自我管理能力的核心。

还有经济转型，这可能影响深远。出于安全方面的考虑，我得出的结论是，我们绝对需要一个机构。它的参与范围是什么，必须由我们来定义。但我相信，除非我们有一个机构来解决这些来自社交媒体和人工智能的问题，否则我们真的没有太多的防御措施来抵御不好的事情，而不好的事情会到来。所以去年我在众议院提出了数字委员会法案，我们今年将重新提出。

我想问的两件事，第一，你已经回答了，你认为我们确实需要一个独立的委员会。你知道，国会建立了一个独立委员会，当铁路在农民的利益之上横行的时候；我们有证券交易委员会，当华尔街没有规则的时候。

我认为我们现在正处于那个阶段。但是，委员会的工作必须加以界定和限制。但也总有一个问题，关于监管机构的使用，以及对它可以被用来做好事的认识。为了确保机构保护许多利益的目标，我们必须注意的机构的一些危险是什么。我刚刚提到隐私偏见，知识产权，虚假信息将是赢家，而不是输家。

……

奥特曼：

美国放慢速度时，中国或其他国家却取得了更快的进步。监管压力应该在我们身上，应该在谷歌身上。我们不想放慢小型初创公司的步伐，我们不想放慢开源工作的步伐。我们仍然需要他们遵守规定。他们仍然可以用较小的模型造成很大的伤害。但要给新想法、新公司和独立研究人员留下空间，而不是向它们施加像施加给我们这样的公司的监管负担。小公司处理不了。我认为这是另一种监管的危险。

马库斯：

另一个明显的危险是监管俘获。我们只是把小玩家排除在外，因为我们给他们带来了太多的负担，只有大玩家才能做。所以也有这样的风险。我完全同意奥特曼先生所说的一切。

参议员彼得·韦尔奇：

关于风险，你知道的，监管机构会做很多格雷厄姆参议员谈到的事情。没有许可证是不能建造核反应堆的。你不可能在没有获得独立测试许可的情况下构建AI系统。

奥特曼：

我认为这是一个很好的类比。

马库斯：

我们需要前置部署和后置部署。

……

参议员理查德·布卢门撒尔（D-CT）：

马库斯教授，你提到了自我意识，自我学习在越狱中的可能性。你认为这种新型的生成式人工智能要多久才能实用？

马库斯：

我对此一无所知。我认为我们并不真正了解自我意识是什么，因此很难确定这个日期。在自我改进方面，当前系统中有一些适度的自我改进，但人们可以想象更多，而且这可能会在两年内发生，也可能会在20年内发生。基本的范例还没有被发明出来，其中一些我们可能想要阻止。但是，给他们设定时间表有点困难。

让我们暂时回到执法问题上。我认为最重要的一点是，模型和数据的透明度要更高。这并不一定意味着公众中的每个人都必须确切地知道这些系统中有什么，但需要一些执法部门可以查看这些系统，可以查看数据，可以执行测试等等。

参议员理查德·布卢门撒尔：

我已经提到了选举和禁止涉及选举的生成。还有哪些高风险或最高风险的领域，你们会禁止或建立特别严格的规则？

马库斯：

我认为医学上的错误信息是真正值得担心的事情。我们有产生幻觉的系统。他们给出的建议有些是好的，有些是坏的。我们需要严格的监管。心理咨询也是如此。使用这些东西的人，就像治疗师一样。我们需要关注这些工具的互联网接入。当他们开始提出要求时，无论是对人还是对互联网，如果他们只做搜索可能还好，但随着他们在互联网上做更多侵入性的事情，我们需要关注。

我们几乎没有讨论过长期风险。我不认为这是我们现在所处的位置。但随着我们开始接触在世界上具有更大足迹的机器，而不仅仅是进行对话，我们需要担心这一点并考虑我们将如何监管，并监控它等等。

参议员理查德·布卢门撒尔：

从某种意义上说，我们一直在谈论坏人或某些坏人操纵人工智能来造成伤害。

马库斯：

操纵人。

参议员理查德·布卢门撒尔：

和操纵人，而且生成人工智能可以操纵操纵者。

马库斯：

它可以。有很多层次的操纵都是可能的。我们还没有真正理解其后果。丹·丹内特（Dan Dennet）昨晚刚给我寄了一份手稿，几天后就会在《大西洋》上发表，内容是他所谓的“冒牌货”。这是一个绝妙的比喻。这些系统几乎就像假冒的人，我们真的不明白这样做的后果是什么。它们还不是完全像人，但它们足以在很多时候愚弄很多人。这带来了很多问题，例如，网络犯罪以及人们可能如何试图操纵市场等等。

参议员理查德·布卢门撒尔：

我提出了三个原则，透明度、问责制和使用限制。您是否同意这些是一个好的起点？

马库斯：

我认为这三点将是一个很好的开始。对于我们需要什么，现在有一个广泛的共识。现在真正的问题是，我们要如何让这些东西真正得到执行。例如，我们还没有透明度。我们都知道我们想要它，但我们在执行方面做得不够。

参议员乔希·霍利：

我在这里列出了生成人工智能的潜在缺点或危害风险。失业，这不是猜测。蒙哥马利小姐，我记得你的公司宣布由于人工智能，它可能会裁员7800人。侵犯隐私的规模是我们以前从未见过的。对个人行为的操纵，以及美国自由选举的潜在退化。最近呼吁暂停开发任何进一步的人工智能六个月。马库斯，他们是对的吗？你会加入吗？我们应该暂停六个月吗？

马库斯：

你的描述不太正确。我在那封信上签了名，大约有两万七千人签了名。它并没有呼吁禁止所有的人工智能研究。不是所有AI，只是非常特定的东西，比如GPT-5系统。所有其他的研究，实际上都是支持或中立的。它特别呼吁对人工智能进行更多的研究，特别是对可信赖和安全的人工智能进行更多研究。

我的观点是，我们应该关注的暂停实际上是部署，直到我们有好的安全案例。我不知道我们是否需要暂停这个特定的项目，但我确实认为，把重点更多地放在人工智能的安全上，放在值得信赖、可靠的人工智能上，是完全正确的。

参议员乔希·霍利：

部署意味着不对公众开放。

马库斯：

是的。所以暂停一下。我担心的是在没有任何外部审查的情况下，以一亿人的规模部署的东西。我们应该非常仔细地考虑这样做。

……

参议员乔希·霍利：

政府机构通常会被他们应该监管的利益所吸引，被他们应该监视的人所控制。这就是我们一百年来的历史。也许这个机构会有所不同。

我有一点不同的想法。为什么不让别人起诉你呢？我们为什么不让你在法庭上承担责任呢？我们可以这么做，知道怎么去做。我们可以通过一项法规，可以创建一项联邦诉讼权，允许受到这项技术伤害的个人出庭并向法庭提供证据。任何人都可以。

我的意思是，你想谈谈众包吗？我们只要打开法院的门。我们将定义一个广泛的诉讼权，私人诉讼权、普通公民被集体起诉，我们会允许人们上法庭，允许他们出示证据。他们说他们受到了伤害，他们得到了错误的医疗信息，他们得到了错误的选举信息，等等。

为什么不这么做？关于这项技术的细节和消费者保护的更清晰的法律是一件好事吗？我的回答是肯定的。

……

马库斯：

我们今天的法律早在人工智能出现之前就已经制定好了。我认为他们没有给我们足够的报道。你提出的计划，我认为是一个假设，肯定会让很多律师变得富有，但我认为它太慢了，不会影响我们关心的很多事情。比如，法律上也存在漏洞。我们真的不……

参议员乔希·霍利：

等等，你觉得它会比国会还慢吗?

马库斯：

是的，在某些方面。

参议员乔希·霍利：

真的吗？

马库斯：

你知道吗，诉讼可能需要十年或更长时间……

参议员乔希·霍利：

但诉讼的威胁是一个强大的工具。IBM会愿意被起诉索要1000亿美元吗?

马库斯：

我绝不要求将诉讼排除在这些工具外。但是有些领域，比如版权，我们并没有真正的法律。相对于个别的错误信息，我们真的没有办法思考大规模的错误信息，比如一个外国行动者可能会制造数十亿条错误信息，或者一个本地行动者。我们有一些关于市场操纵的法律可以适用，但在很多情况下，我们真的不知道哪些法律适用，因此会有漏洞。这个系统真的没有经过深思熟虑。事实上，我们甚至不知道第230条在这里是否适用。据我所知。我认为这是今天下午很多人思考的问题。

参议员乔希·霍利：

我们可以解决这个问题。

马库斯：

问题是怎么做到。

……

参议员理查德·布卢门撒尔：

我认为我们需要小心点。世界不会等待。全球科学界的其他成员不会停下来。我们的对手正在向前推进，将我们的头埋在沙子里不是问题的答案。安全措施和保护，是的，但一个停车标志却让我们陷入了困境。

马库斯：

在没有任何停顿的情况下担心它。我想再次强调，研究和大规模部署是有区别的，我们当然需要研究来跟上国外竞争对手的步伐。你可以在100万人或1000万人的规模上部署东西，但不能在1亿或10亿人的规模上部署。如果有风险，你可能会更快地发现它们，并且能够在马离开之前而不是之后关上马厩的门。

参议员科里·布克：

是的，不会有停顿。出于任何正当理由或任何原因呼吁它是好的。但请原谅我持怀疑态度。没有人停下来。这件事是一场比赛。

马库斯：

我同意。我认为这是不现实的。我个人签署这封信的原因是为了引起人们对问题严重性的关注，并强调我们要花更多的精力在值得信赖和安全的人工智能上，而不是仅仅把我们已经知道不可靠的东西做一个更大的版本。

参议员科里·布克：

我是一个未来主义者，我对未来感到兴奋。我想到一个著名的问题，如果你不能控制你的种族，你的性别，你会在地球上的哪个地方降落？或者你希望在什么年代出生？每个人都会说，现在仍然是最好的时代，因为科技创新和其他一切。我对未来充满期待。

但我也看到了过去 25 年许多变革性技术所带来的破坏性，这才是我真正关心的。尤其是那些旨在让我的注意力集中在屏幕上的公司，不仅仅是新媒体。

我对公司的意图有很多担忧。山姆，这也是为什么我觉得你的故事如此吸引我，你的价值观也如此吸引我。我真的想探索一下当这些公司已经控制了我们的生活时，会发生什么。我们已经写了很多关于FANG公司的文章。当他们像以前一样主导这项技术时会发生什么。

马库斯教授，你有没有担心，公司权力与公司集中在这个领域中少数公司时，它们所扮演的角色？

马库斯：

在过去的几个月里，我彻底改变了自己的生活方式。这是因为微软发布了“Sydney”（译注，必应版本的聊天机器人）。但事情并没有像我想象的那样发展。那就是我预见到了幻觉。我写了一篇文章，当你期待GPT-4时，你会期待什么。我说它仍然是一个错误信息的工具，它在物理推理和心理推理方面仍然存在问题，它会产生幻觉。“Sydney”显然有问题。

如果我是微软的掌舵人，我可能会暂时把它从市场上撤出。显然我并不是。但他们没有。这给我敲响了警钟。提醒我即使像OpenAI这样的非营利性公司——而且山姆的价值观今天已经很明确了——其他人可以收购这些公司，并利用它们做他们喜欢的事情。

这些系统在塑造我们的观点和生活方面所具有的力量。而且这甚至没有考虑到有人可能出于各种不良目的，故意利用它们的风险。所以在二月中旬，我不再写太多关于人工智能的技术的文章。这是我在过去十年里写的大部分内容——我说我需要研究政策。这太可怕了。

……

参议员理查德·布卢门撒尔：

谢谢你，布克参议员。我非常同意，在消费者保护方面，我已经做了一段时间，行业的参与是非常重要的。不只是口头说说而已，而是实际上的。因为有很多行业来到我们面前说，哦，我们都支持规则，但不是那些我们不喜欢的规则。事实上，他们不喜欢所有规则。我感觉到这里有一种真诚的参与的意愿。

正如参议员霍利所指出的，国会并不总是紧跟科技的步伐。这可能是我们需要一个新机构的原因，但我们也需要认识到，这个世界其他地方也会发生变化。

你们帮助我们集中注意力，阐明了其中的一些问题，今天来到这里，发挥了巨大的作用。感谢我们的每一位证人，我将结束听证会，将记录开放一周，便于有人想提交任何内容。我鼓励你们中任何有将要发表的手稿或者你们公司的观察报告的人，把它们提交给我们。我们期待下次听证会。

附：

听证会文字实录：https://techpolicy.press/transcript-senate-judiciary-subcommittee-hearing-on-oversight-of-ai/

听证会现场视频：https://www.judiciary.senate.gov/committee-activity/hearings/oversight-of-ai-rules-for-artificial-intelligence

本文来自微信公众号：未尽研究（ID：Weijin_Research），作者：未尽研究