AI 已具备人格？给有关人工智能的炒作泼泼冷水（上）
神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。
编者按：OpenAI 的 AI 最近被炒得比较火。跟人对话，各种写作，乃至于根据文字描述作画，似乎已经无所不能。《纽约时报》最近一篇《AI 正在掌握语言》的文章更是把这种进展抬到了机器是不是快要具备意识的高度。但一些理性的业界人士也提出了自己的质疑，请求大家擦亮眼睛，不要冲动。文章来自编译，篇幅关系，我们分两部分刊出，此为第一部分。
背景
2022 年 4 月 15 日，Steven Johnson 在《纽约时报》杂志版上发表了一篇题为“AI 正在掌握语言，我们应该相信它说的吗？”的文章。我在这篇文章发表之前就了解到了这篇文章，因为几周前就此事别人通过电子邮件采访过我。我怀着忐忑的心情读了文章，因为我感觉到 Johnson 在文章当中提出的问题和目标并没有对人工智能支持者的说法构成足够的质疑。与此同时，我也相当有信心我的话不会被断章取义，因为对于其中他们打算要引用的话，一名事实核查员也已经联系过我进行核实了。
在阅读这篇文章时，我的期望在这两个方面都得到了满足。通常，如果我发现媒体对所谓的“人工智能”研究/产品的报道其实是炒作时，我会写一系列的推文去教育大家如何去发现和抵制这种炒作。 不过，Johnson 的文章算是万字长文，所以我决定也用同样的文章形式予以回应，而不是写几条推文。
简要概述
是，存在处理所谓的“人工智能”所造成危害的急迫性，需要建立起有效的监管和治理，让受该技术影响的人有权控制其部署方式。
不，危害不是来自于没有被教会适当价值观的自主“人工智能”。
不，解决方案不是加快“AI”（或“AGI”）的开发速度，或者由科技巨头以外的第三方开发。 （因为 OpenAI 真正的独立性与他们自称的是有差距的——鉴于当初它的资金来源以及他们与微软的交易。）
我们需要的不是科幻小说里面的东西——而是监管、对普通人和员工赋权。
对硅谷大佬凭借着雄厚资本与计算能力做到的事情阿谀奉承的文章，并没有帮助我们缩短与解决所谓的“人工智能”部署所产生问题的距离。相反，因为将注意力重新聚焦在稻草人问题上，他们反而让问题的解决变得更加困难。
如果你想多了解一点 AI 正在发生的事情，想知道有意义的解决方案可以采取什么样的形式，我推荐去看看Safiya Noble、Meredith Broussard、 Ruha Benjamin、 Shoshana Zuboff、 Abeba Birhane、 Joy Buolamwini以及她在算法正义联盟（Algorithmic Justice League）的同事，还有Khari Johnson、Edward Ongweso Jr 以及 Karen Hao等记者的文章。
关于提出对的问题
我不是记者，但在我看来，研究的一条关键经验对新闻也必定适用：在研究领域，我们提出什么样的问题决定了我们能发现什么，以及如何推进学术对话。同样地，在新闻业，我相信记者在文章中提出的问题也决定了公众会受到什么样的教育。
那篇文章的标题问道：“人工智能正在掌握语言，我们应该相信它说的东西吗？”在回答这个问题时，这篇文章并没有与它所涉主要组织（ OpenAI ）的观点保持距离，而是全盘采用了 Open AI 自己的立场。文章标题断言“人工智能”已经“掌握了语言”（剧透警告：并没有），而且在此过程中预设了可以被称为“人工智能”的东西的存在。那些不同意这种说法的人在文章中被称为“质疑者”——更多内容见下文。标题的第二部分“我们应该相信它所说的吗？”将“AI”的“说”框定为类似于“人”的“说”……文章里面也没有突出两者之间的区别。
在思考信任、可信赖性和被叫做“人工智能”的模式识别技术时，我认为有很多有价值的问题是需要被提出来的，包括：
为什么大家这么快就被大型语言模型（LLM）的输出给打动了？ （注：这不是什么新观察。这种情况至少可以追溯到大家对最早的与人对话程序Eliza的反应，参见Weizenbaum 1976 ）
企业以何种方式利用用户、投资者和监管机构的轻信？
这项技术部署在什么地方，潜在的后果是什么？谁首当其冲？
这个领域的有效监管会是什么样子的？制定相关法规的谁？
至于OpenAI ，我认为提出以下问题会很有用：
OpenAI是如何塑造围绕着他们或其他人开发的，所谓的“AI”的对话的？
OpenAI对“通用人工智能”的说辞，如何塑造了公众与监管机构对其他公司主张的理解？比方说那些声称可“预测”再犯风险、“识别”情绪或“诊断”心理健康状况的公司的主张的？
OpenAI 的员工/董事会成员/创始人与其他组织之间的关系是什么样的？
有哪些财务激励措施，它们代表的是谁的利益（注意，OpenAI与微软有“独家计算合作伙伴关系”）？
接受炒作
对于“人工智能”（甚至说不定是“通用人工智能”？）究竟是一个已经存在的东西，还是即将出现的东西，以下有一些例子可以看出Johnson的文章是如何违背了自己的看法，反而与OpenAI那帮家伙的看法颇为一致的。这些例子里面，有些比较不易察觉，有些则颇为明目张胆。这一节内容很长，因为约翰逊万字的篇幅提供了很多这样的例子。如果你觉得无聊，可以直接跳到下一节……
此处和以下所有的引用均来自《纽约时报》杂志的那篇文章；所有突出显示（加粗）的文字都是我加上的。
GPT-3 接受过编写好莱坞剧本以及纪实小说的训练，可以写出盖·特立斯（Gay Talese）的《弗兰克·辛纳屈感冒了》（Frank Sinatra Has a Cold）那种新新闻写作风格的作品。
“训练”机器学习系统是标准术语。在讨论这些系统的“训练”、“学习”以及“智能”时，我认为停下来思考一下我们的依据是什么永远都是值得的。是什么样的隐喻在起作用？在没有任何明确的指导来说明哪些方面适用，哪些方面只是暗示性的情况下，作为读者，我们被要求在多大程度上认同这个隐喻？
对于像 GPT-3 这样的（大型）语言模型，“训练”涉及到具有随机数学参数（“权重”）的数学模型的采用，以及根据模型输出与预期输出的差异对比，对这些权重进行迭代调整预期输出。GPT-3 的主要“训练”只是对大量文本序列的预测。然后还有一个“微调”的概念，也就是向预训练模型展示一小部分“提示”以及对这些提示的预期响应。我无法判断在不同的用例中，上述“训练”是指一般的预训练，还是指通过微调来使用该预训练模型的人。
给软件的一些提示，所产出的响应明显具有冒犯性或妄想性，显示出这一模型的局限性，如果在目前这种情况广泛采用，可能会造成危害。
这里我想指出的是，“目前这种状况”是怎么暗示了 GPT-3 等系统存在着一条发展道路，同时也暗示了大家注意到的 GPT-3 存在的问题只要沿着这条道路发展就是可以解决的，而并非技术与目的之间存在着根本的不匹配。
到目前为止，大型语言模型的实验主要是：探索模型，寻找真正智能的迹象，探索其创造性用途，揭露其偏见。
事实上，人们一直在用各种方式探索 GPT-3 及其同类产品。我不确定有多少人会说自己在寻找“真正智能的迹象”，但 OpenAI 的 Ilya Sutskever 今年二月份曾经在 Twitter 上这么说过：
“今天的大型神经网络说不定已经有点意识了”
但凡对新闻工作认真负责的人，我希望他们会提出这样的问题：为什么有人会期望 GPT-3 及其同类产品“具有智能”，并会要求对智能给出定义。没有，我只注意到作者对 AI 炒作的又一番添油加醋。
有一种感觉，即漫长的“AI 寒冬”，也就是该领域未能达到早期炒作预期已经持续了几十年的寒冬，终于开始解冻了。
这是对“AI 寒冬”的一种奇怪用法。“AI 寒冬”一般用来代指由于过度承诺（过度炒作），然后（必然）未能兑现炒作，导致人工智能研究缺乏资金的状况。这里用这个词是想表明人工智能现在终于不负盛名了，这反过来又助长了炒作。
但是 GPT-3 的智能（如果智能用在它身上是合适的话）是自下而上的：它的基础行为就是预测下一个词是什么。
我想，对这篇文章最宽容的解读，是“下一词预测”是 GPT-3 在其主要训练阶段所做的一切，因此，“下一词预测”是 GPT-3 的基础。但是“基本行为”对此来说就太过宏大了，而且有将这项平庸任务拔高到非常重要地位的嫌疑。
就涌现智能而言，有几点值得一提。首先，在标准化阅读理解测试方面，大型语言模型每一年都在进步。
每一年都在进步的说法是对的，因为分数一直在上升。但也有些误导：就因为测试是用来测试人类的阅读理解能力的，哪怕假设他们在衡量理解能力方面做得很好，但机器在相同测试拿到可比分数这并不意味着机器也能做类似的事情。这其实是“结构效度”的概念：测试衡量的是不是本身具备一致性而且可以有效地用测试衡量的结构？为了建立阅读理解测试的结构效度，我们需要定义什么是阅读理解，需要有证据说明回答测试问题越准确与阅读理解能力更强相对应。没有理由认为对人类进行的测试对机器同样有效，因为没有理由相信机器回答问题的过程和手段与人类一样。
此外，把（最终没有得到充分支持的）阅读“理解”理解成机器具备“涌现智能”，只会进一步强调阅读句子就是智能，也就是机器真的“理解”文字。
Murati 指出：“你会看到它把胳膊和腿都放对了位置，还穿着芭蕾舞短裙。它像个人类一样遛狗，尽管它只是个萝卜宝宝。这说明 GPT-3 对你要求它组合在一起的东西确实有很好的概念。”
（编者注：这是指 GPT-3 可以根据文字“穿着芭蕾舞裙的萝卜宝宝在遛狗”生成图像）
不加批判地引用 OpenAI 的人（Murati 是 OpenAI 副总裁）个人说过的话，《纽约时报》杂志其实是为 AI 炒作提供了一个平台。 “有很好的概念”是什么意思？最自然的解释是类似“抽象思考”这样的东西，所以声明根据“它把胳膊和腿都放对了位置”就得出了 GPT-3 会“抽象思考”的结论。但是，这种说法一样是在没有证据的情况下得出的，而 Johnson 也没有要求任何证据。即便 Murati 对“有好的概念”还有其他的技术定义，但除了“类似于人类所做的事情”以外，《纽约时报》杂志的读者还能指望别的理解方式吗？
在某种程度上，你可以将 GPT-3 看作笛卡尔主义的缸中之脑或黑客帝国式的茧中之脑的纯语言版：
（编者注：缸中之脑，一个思想实验，如果把大脑剥离出来放进营养液，由超级计算机通过神经末梢向大脑传递和原来一样的各种神经电信号，并对于大脑发出的信号给予和平时一样的信号反馈，大脑能否意识到自己生活在虚拟现实之中呢？）
我想知道所谓“纯语言”版是什么样的。我怀疑 Johnson 等人将 GPT-3 及其同类软件操纵语言形态的能力误认为是实际掌握了语言系统。语言是符号系统，符号是形式与意义的配对（或者，按照德·索绪尔的说法，是能指和所指）。但是 GPT-3 在接受训练的时候只拿到了这个方程的形式部分，所以是没有一点希望能学会意义那部分的。
也许 Johnson 设想了这样一种存在，他用自己现有的语言能力与世界互动的能力被限制住了，与他的所有感官的联系都被切断了，但这与 GPT-3 在做的事情不一样。
因此，再次暗示 GPT-3 就像任何一种大脑纯粹就是炒作。
GPT-3 及其同行清楚地表明了一件令人惊讶的事情：机器已经掌握了语言。
只有在我们将“习得语言”解释为“已被设定为生成文字字符串，且说这种语言的人觉得这种文字字符串表达连贯”时，这种说法才是正确的。鉴于围绕着它的各种炒作，读者找不到这种解释，而是理解成了其他意思（必定是误解）便情有可原了。
此外，每当计算机科学家声称能够用“语言”或“自然语言”做某件事情时，有一件事情值得再三强调，你得问，“是哪种语言？”。在 GPT-3 的情况下，答案主要是英语，还有少量的其他语言，就像训练数据的构成一样。
也许预测下一单词的游戏就是孩子们在学语言时无意识玩的游戏：听周围的成年人讲那些刚开始似乎像随机的音素流那样的东西，然后慢慢发现其中的模式，接着在说话时通过预测单词来测试这些假设。也许这个游戏就是语言在其中发挥作用的所有复杂思维形式最初的脚手架。
儿童语言习得这个研究领域已经很成熟，有丰富的方法和成果。Johnson 的推测完全没有根据，只是为了给 GPT-3 正在做类似儿童所做事情这一说法提供支撑，却没有为此提供任何证据。
闪闪发光的未必都是金子
Johnson 的文章还兜售了另一种更深层次的 AI 炒作，这是针对 GPT-3 等“生成”技术特有的一种炒作，其实就是想让读者相信，形式上跟人工制品一样的东西就等同于人工制品。这里有几个简单的例子：
GPT-3 接受过编写好莱坞剧本以及纪实小说的训练，可以写出盖•特立斯（Gay Talese）的《弗兰克•辛纳屈感冒了》（Frank Sinatra Has a Cold）那种新新闻写作风格的作品。
GPT-3 不会“写非虚构类小说”。就定义而言，非虚构小说是关于世界的纪实写作。但 GPT-3 没法获取事实，它获取的只是训练数据的字符串。就它可输出人类能解释并可以验证为事实的单词串而言，这种事实性是而且只能是纯属偶然。
比方说，即便没有 OpenAI 用来创建 Codex 的那种有针对性的训练，GPT-3 也已经可以生成复杂的法律文件，如许可协议或租约。
需要创建许可协议或租约的人，需要的不仅仅是看起来感觉像许可协议或租约的文件。他们需要一些能说明其特定情况，并在其特定管辖范围内具有法律约束力的东西。用法律术语形式的一系列字符串不是“复杂的法律文件”。
...... GPT-3 最近的记录表明，其他更精英的职业被颠覆的时机可能也快成熟了。 GPT-3 上线几个月后， OpenAI 团队发现，尽管训练数据没有刻意放入代码示例，但该神经网络在编写计算机软件方面也已经发展出惊人高效的技能。
“写软件”需要的不仅仅是生成代码，甚至有语法正确且可以编译的代码也不行。“写软件”至少还要确定待开发系统的规格，并且建立测试，确保系统按预期运行。
如果你给 100 名高中生同样的提示，超过 GPT-3 水平的论文数量我相信不会只有几篇。当然了，GPT-3 写出来只需要半秒钟。
这让我想知道 Johnson 是不是忘了（从来都不理解）为什么要求高中生写论文。可以肯定的是，这肯定不是为了保证论文的供应充足！相反，则是为了让学生在写作过程中学到东西。
译者：boxi
相关阅读：
AI已具备人格？给有关人工智能的炒作泼泼冷水（下）
相关推荐
AI已具备人格？给有关人工智能的炒作泼泼冷水（下）
百度回应：有人给AI泼冷水，前行决心不会改变
AI沦为炒作的工具？
百度不需要炒作
对于特斯拉、Facebook等公司来说，AI的缺陷已越来越难以忽视
机器具备“理解”能力究竟是什么意思？
爱泼斯坦的丑闻，为什么成为了美国学术界的“公关危机”？
让比尔盖茨“后悔”的事：与爱泼斯坦说不清的联系
给服务机器人泼一盆冷水
当智能体具备生命体征时，超级人工智能将给人类带来什么？
网址: AI 已具备人格？给有关人工智能的炒作泼泼冷水（上） http://m.xishuta.com/newsview64539.html
