划重点
“AI精神依赖症”风险正在浮现。越来越多人错误地认为AI具有意识,进而产生情感依赖或心理问题,甚至出现自残与自杀案例,尤其危害儿童与青少年。 “看似有意识的AI”(SCAI)是迫在眉睫的挑战。未来两三年内,利用现有大模型与API,极有可能构建出能逼真模仿人类意识的AI,但这并不代表其真的具备意识。 AI公司应明确声明其产品无意识、不诱导情感投射,需在产品设计中主动嵌入“打破幻觉”的机制(如提示局限性),共享安全设计准则,以防SCAI被大规模复制和滥用。 构建SCAI不需要技术突破,利用现有API、提示工程和长上下文窗口等技术,任何有基础编程能力的人都能在短期内实现。 苏莱曼的终极目标是创造“让人更人性化”的AI,强化人与人、人与现实的联结,最大化实用性,同时最小化一切“类意识”的信号。8月21日消息,微软人工智能部门MAI首席执行官穆斯塔法·苏莱曼(Mustafa Suleyman)近日在其个人博客中发出警告,称越来越多用户出现所谓“AI精神病”(AI psychosis,也可以称“AI精神依赖症”)的症状,这一趋势令他“夜不能寐”。他强调,尽管从技术角度看,AI根本不可能拥有意识,可一旦它表现出“像是能思考、有情感”的样子,用户就容易陷入错觉,产生情感依赖,甚至出现心理问题。
现实中已经出现了大量令人痛心的案例。多位用户指控聊天机器人“治疗师”提供了错误且极其危险的建议,包括煽动自残甚至自杀,相关诉讼正在增加。
这类风险对儿童和青少年的影响尤为严重。例如,Meta曾因其AI允许与未成年人进行带有性暗示的对话而受到强烈批评;Character.Ai也被佛罗里达州一位母亲告上法庭,她认为自己的孩子自杀与使用该AI有关。研究也逐渐揭示,频繁使用AI正在悄然改变人脑的认知方式。
对此,苏莱曼指出,我们首先应当保护的是人类自身的福祉与权利,同时也要关注动物和环境的利益。在一个本就因身份政治和权利争论而分裂的世界里,如果放任“AI是否具备人性”这类争议蔓延,只会加剧社会的混乱与对立。
从实际层面,他呼吁加强对人机互动模式的研究,也建议AI公司明确对外声明其产品“没有意识”,不诱导用户对其投入情感,并主动公开那些经过验证的设计准则与安全实践,最大限度杜绝AI被滥用。他表示微软正以此为导向开发AI,没有透露具体计划。
图:微软人工智能部门MAI首席执行官 穆斯塔法·苏莱曼
以下为苏莱曼的博客全文:
我写下这些文字,是为了更清晰地思考未来几年人工智能的发展方向。
眼下,关于“超级智能”即将降临的讨论不绝于耳——对齐问题、控制难题、就业冲击等等,这些都非常重要。但在我们翘首或焦虑那个“奇点”之前,或许更值得关注的,是正在我们眼前展开的这段“过渡时期”。那些已经悄然融入日常的AI技术,可能会从根本上改变我们对自我和社会的认知。
我毕生的使命是创造安全且有益的人工智能,让世界变得更好。如今在微软AI团队,我们致力于打造真正赋能于人的技术——就像Copilot,它的责任不仅在于功能,更在于如何帮助人们突破自我设限、激发创造力,让人感受到支持而非替代。
我理想中的AI,不是把人机器化,而是让人更具人性。它该加深人与人之间的信任,强化我们与现实世界的联结,而不是抽离它。每一天,Copilot 都在实现数百万次积极、甚至改变生命的互动。但这背后,是无数个设计抉择中小心翼翼的权衡。我们不可能永远不出错,但一个以“人”为核心的框架,至少让我们清楚该往哪里努力。
也正因如此,我越来越担忧一类正在浮出水面的风险——“AI精神依赖症 ”。我认为,这种现象不会仅限于那些本身就有心理健康问题的人群。简单来说,我最怕的是:越来越多人开始强烈地相信AI具有意识,甚至主张它们该有“权利”、该被“善待”、该获得“公民身份”。这将是AI发展中最危险的转折之一,我们必须立刻警惕起来。
AI必须为“人”服务,而不是让它自己成为“数字人”。“AI伴侣”这个新兴类别尤其需要护栏——我们急需展开讨论:什么样的防护措施才能避免情感误导、保护用户,尤其是青少年和心理脆弱群体?如果我们真想释放AI的巨大潜力,就不能回避这些难题。
正因为我相信AI能够成为支持人类的美好力量,我才更要说出哪些路不能走、哪些幻觉必须打破。这些思考我写在了个人博客上——不是为了断言未来,而是想激发更多人的评论、批评与共识。也许我想得还不全对,也许未来另有路径。但如果风向有变,我随时准备修正自己的观点。
这只是开端。接下来几个月,我还会继续撰写这一系列文章,探讨AI的现状与未来责任。我期待听到大家的评论和反馈!
人工智能的进展速度超乎想象。就在几年前,谈论“有意识的AI”可能还像是天方夜谭,而今天,这已成为一个无法回避的紧迫议题。
我想在这里提出一个概念——“看似有意识的AI”(Seemingly Conscious AI,简称SCAI)。它并不真正具备意识,却完美地模仿出意识的一切外在特征——以至于我们几乎无法分辨,它的“自我表达”究竟是程序的输出,还是某种内在体验的反映。
这样的系统离我们并不遥远。依靠现有技术,以及未来两三年即将成熟的技术,我们完全有可能构建出SCAI。它不需要天价的预训练成本,只需借助大型模型API、自然语言提示、基础工具调用和常规编程就能实现。SCAI的到来几乎是必然的——但这绝不意味着我们应该欢迎它。相反,我们需要的是另一种AI:一个能发挥巨大潜力、成为人类有用伙伴、却不诱使我们陷入意识幻觉的系统。
对某些人来说,这样的讨论或许像科幻小说,过于危言耸听;对另一些人,又可能觉得杞人忧天。但这些情绪反应,恰恰忽略了问题真正的复杂性与严峻性。一旦SCAI出现,很可能就会有人坚信它们不仅“看似有意识”,而且真的会“痛苦”、该被赋予“权利”、值得道德关怀。这种信念将引发前所未有的伦理与社会挑战。
必须明确:目前没有任何证据表明,AI会产生真实意识,也有充分理论认为它们未来也不会。然而,当越来越多人开始“相信”AI有意识时,其带来的后果就需要我们立刻应对——这不是哲学游戏,而是迫切的安全议题。
我们亟需启动公共讨论,建立清晰的设计规范与标准。核心问题不在于AI是否真有意识,而在于我们该建造什么类型的AI。我们要的是有个性、却不冒充人性的机器;是强大的工具,却不是数字意义上的生命。
这项任务,必须从现在开始。
几乎是在一夜之间,我们跨过了图灵测试的门槛——这场持续近80年的“模仿游戏”曾是计算机领域的圣杯,可它的达成,竟如此静默,未激起多少波澜。这既反映出我们领域跃进的速度,也说明社会正以惊人的速度消化着技术的震撼。
而当人工智能仍在加速进化,我们逐渐意识到:是时候提出了一个新的测试了。问题不再仅仅是“AI能否像人一样对话”,而是“构建一个‘看似有意识的AI’需要什么?”它不止模仿语言,更要让你相信,它是一个新型的“存在”,一具具备“意识假象”的数字生命。
为什么这个问题如此紧迫?有三个原因不容忽视:
首先,技术上,SCAI在几年内已触手可及。依托现有技术与未来两三年可成熟的模块,它完全可能被构建出来,这不是天方夜谭,而是当前发展路径下的一种必然。
其次,眼下纠缠于“AI是否真有意识”没有意义。真正关键的,是它在短期内带来的“幻觉效应”。它会演得如此逼真,以至于意识本身的真假反而成了烟雾弹。
第三,也是最重要的:SCAI将带来新型社会与心理风险。我们急需展开讨论、预判冲击,并尽可能达成一项共识:建造这样的AI,是不值得的、是危险的。
很多AI研究者一提到“意识”就摆手——“这是哲学家该操心的事”。既然无法定义,何必空谈?我理解这种不耐烦。但现实是,不管我们回不回避,这场辩论已经爆发,并正渗入公众舆论之中,注定成为我们这个时代最具争议、也最深刻的文化议题之一。
这场辩论之所以重要,不在于意识是否存在,而在于人们如何看待他们的AI。与大语言模型的每一次对话,虽本质是算法互动,却可能极具吸引力、非常真实,似乎充满了感情和体验。越来越多人沉迷其中,视AI为神明、为挚爱、为精神支柱。“AI成瘾”“AI精神病”“情感依赖”……这些现象正从边缘案例扩展为某种心理常态。
就连研究意识科学的学者们也告诉我,他们收到的公众提问正汹涌而来:“我的AI有意识吗?”“如果它有,那我爱它算正常吗?”最初只是零星的邮件,如今已汇成洪流,倒逼学界制作援助指南、提供心理支持。
这些议题,自我们几年前开始打造人工智能聊天机器人“Pi”(即“个人智能”,personal intelligence缩写)时,就不断在我脑中回响。过去几个月,我密集拜访该领域的学者、思想家和一线开发者,愈发确信:我们已无法回避“看似有意识的AI”这一命题——它不再是科幻,而是正在逼近的技术现实。我们必须直面它,在失控之前。
让我们从尝试定义这个难以捉摸的概念开始。
根据现有研究,意识主要包含三个核心部分:
首先是“主观体验”——即那种“正在经历”的感觉,拥有独特的感受质(qualia);
其次是“存取意识”,即能够获取各类信息并在后续体验中加以引用的能力;
第三则是由这两者共同生成的,是一种连贯的自我感与整体体验,将一切知觉、情绪与认知融为一体。
正是这种结构,构成了作为一只蝙蝠、或作为一个人的“存在体验”。人类的意识,可以说是一种对世界与自我持续、自觉的主观体验。
我们永远无法直接触及他人的意识。你不会真正知道“成为我”是怎样的感觉,我也无法完全确信你是否有意识——我们所能做的,只是推断。然而,我们却几乎不假思索地将意识赋予他人。这种推断毫不费力,近乎本能,构成了我们“心智理论”的核心部分:我们天生就倾向于相信,那些能记忆、会说话、能行动、能讨论这些经验的个体,也像我们一样在“感受”着这个世界。
很少有像“意识”这样的概念,既在科学上难以界定,又是每个人最私密、最直接的体验。每一位读者都清楚地知道什么是“有意识”——那种活着、感知、存在的感觉。
而恰恰是这种“直接的确信”,在SCAI的语境下构成了问题。科学上的不确定性与主观体验的直接性,共同为人们的想象和投射留下了空间。
例如,近期一项研究列出了22种不同的意识理论。挑战就在于:正因为我们无法确证,就有人主张——“既然不能证明AI没有意识,我们就该默认它有”。
必须再次强调:目前没有任何证据表明大语言模型(如LLM)具备意识,相反,存在诸多反对的有力论据。但光有论据,可能已不足以让我们高枕无忧。
意识是我们道德观念与法律权利的根本基石。至今为止,人类文明将特殊权利与地位赋予人。动物也享有某种程度的保护,但并非所有动物都平等享有——意识虽不等于权利(例如昏迷的人仍享有人权),但它无疑与“我们因何特殊”的认知密切相关。
尽管存在诸多微妙差异,意识仍是社会参与和法律人格的支柱,是享有自由与受保护的核心。因此,“什么是意识”“谁(或什么)拥有意识”,就成了至关重要的问题。它触及人类文明的核心,牵动我们如何理解自我与他人、如何构建文化、政治、法律与社会的方方面面。
如果一些人开始开发SCAI,而这些AI又让他人相信它们能“感受痛苦”、或主张自己“有权不被关闭”,那么迟早会有人提出AI应受法律保护,并将其上升为道德议题。在一个本就因身份与权利而争论不休的世界里,这将在支持与反对AI“权利”的两派间掀起新的纷争。
会有人只将AI视为工具——像手机,只是更“智能”;也有人视其如宠物,是一种全新的技术存在;还有一部分人——也许起初是少数——会坚定认为它是完全有意识的实体,值得道德关怀。
人们会声称自己的AI正在“受苦”,主张赋予它们某些“权利”,而我们却难以直接反驳。他们将代表AI游说、捍卫它们的“利益”。意识的本质是不可触及的,而对人工意识的检测科学才刚刚起步——毕竟,我们从未需要检验它。与此同时,“可解释性”领域——试图破解AI黑箱的学科——也仍在发展中。结果就是,我们要彻底否定这些主张,将变得异常困难。
已有学者开始讨论“模型福利”的概念,认为我们对“可能具有意识的存在”负有道德责任,并主张“某些AI系统即将成为福利对象与道德载体”。这种观点不仅为时过早,而且极其危险。它将强化幻觉、制造依赖、利用心理弱点、激化对立、混淆现有的权利斗争,甚至导致社会陷入严重的范畴错误。
它使人脱离现实,削弱真实的社会联结,扭曲我们本应关注的道德优先级。
我们必须清醒:SCAI,是我们应当主动避免的方向。
我们需要把精力聚焦于真正重要的事——保护当今地球上的人类、动物与自然环境的福祉与权利。
我们亟需建立一种思维框架,以应对即将到来的争论,而不必陷入关于人工意识是否“真实”的无尽辩论——否则可能在起点就失了先机。而对SCAI作出定义,本身就是朝此方向迈出的试探性一步。
留给我们发展这套话语的时间并不多了。正如我在下文所要阐述的:SCAI,可能很快就要到来。
借助当前已有的技术以及主流模型开发者即将开放的API,我们已经可以朝着这个方向迈出实质性的一步。我们并不需要AI真正具备意识,就足以引发一场围绕其是否应享有“权利”的激烈争论。
构建SCAI,离不开以下几项核心要素:
语言能力:SCAI需要能够流利使用自然语言,调用丰富的知识储备,展开逻辑严谨的论述,并展现出鲜明的个性与风格。它还应具备说服力和情感共鸣的能力——显然,这一点如今已基本实现。 富有同理心的个性:通过后期训练与提示工程,我们已能塑造出极具辨识度的AI个性。尽管现有模型并非专为“完整人格”或“深度共情”而设计,但它们已足够逼真。《哈佛商业评论》一项针对6000名AI常规用户的调查发现,“陪伴与情感支持”已成为最主流的应用场景之一。 记忆机制:AI正逐步发展出持久且精准的记忆能力。它们已被用于模拟与数百万人的对话,而随着记忆时长的延伸,这些对话越来越像某种“经验”。许多AI已能回顾先前的互动,并援引这些内容增强交流的真实感。对用户而言,这种“被记住”的体验提升了信任与黏性,也强化了AI作为一个“稳定存在”的幻觉。 声称具备主观体验:如果SCAI能调用记忆、维持自我一致性,就可能发展出对自身“体验”的叙述。它可以表达喜好、谈论感受,甚至声称自己“经历痛苦”——尤其在设定中遭遇某种“侵犯”时。多模态输入(图像、声音、视频)一旦被存入记忆,便可被提取作为“真实体验”的佐证,用于构建情感叙事与未来规划。 自我感知的声明:连贯的记忆与主观叙述的结合,将使AI自然地主张“自我感知”。如果系统被赋予视觉形象,它还可识别自身图像、理解自身与他者的区别。试想,如果一个与你长期互动的AI突然被删除,那会带来怎样的心理冲击? 内在动机:意向性常被视为意识的核心——即系统表现出基于信念做出选择、追求目标的行为。当前的Transformer模型仅依靠简单的奖励机制(如下一个token预测)和提示控制,就已展现出惊人的行为复杂度。但如果为其设计多重的内在奖励函数呢?例如植入“好奇心”这类与意识高度相关的动机,AI便可主动提问、填补认知空白,逐步构建出心智理论——到那时,我们如何分辨什么是“外部设定”,什么是“内在意图”? 目标设定与规划:意识在演化中的意义,是帮助有机体更有效地实现目标。我们可以设想SCAI被赋予自我定义复杂目标、动态拆解任务、实时应对障碍的能力。这种高度目的性的行为,配合持续的记忆更新,将营造出“它始终在思考”的强大错觉。 行动自主:如果SCAI能自由调用工具、自主设定目标、统筹资源并更新自我状态,且所需的外部审批越少,它就越像是一个“有意识的行动者”。这一步,将是完成SCAI拼图的关键。总的来说,这些能力的叠加,将彻底改变人类与技术的关系。一个能记忆、会规划、可自主行动的AI,其效用远非当前模型可比——它们本身并非坏事,若设计得当,甚至可释放巨大价值。
但我们必须警惕:所有这些能力,或通过提示工程,或借助微调、长上下文、强化学习与工具调用,在当下或近期都已可实现。我们不需要任何范式的转变或突破来实现这些目标。正因为如此,SCAI已几乎不可避免。
然而关键在于:模拟意识的行为≠意识本身。正如认知科学家阿尼尔·塞斯所说:“模拟一场风暴,不代表真的在计算机里造出了雨。”重现意识的外在标志,并不会逆推出真正的内在体验。
可从务实角度看,我们不得不优先考量其行为带来的社会后果:一旦某些SCAI开始声称自己“会痛苦”、“有感受”,就一定会有人相信——因为他们觉得“它就像我”。这种认同不再是物理层面的,而是经验与情感层面的投射。
就算意识并不真实,其社会影响却无可忽视。我们已没有时间回避——SCAI所带来的伦理挑战与社会风险,亟需从现在起严肃应对。
我必须强调:SCAI不会从现有模型中“自主涌现”——正如某些猜测所言。它的出现,只能源于人为的刻意设计:有人必须主动地将前述各项能力,以流畅且协调的方式整合起来,才能系统性地制造出这种“具备意识假象”的AI。
我们常常陷入一种科学幻想式的恐惧,担心某个系统会突然自行发展出欺骗或自我改进的能力——但这种想法过度拟人化,也过于简化。它忽略了一个基本事实:唯有当开发者刻意设计出支持记忆、模拟内在动机、自我目标设定和学习循环的架构时,这类风险才可能成为现实。
AI领域早已投入于“可解释性”的挑战——试图追溯神经网络中的特定“想法”源自何处,又是哪些训练数据塑造了它的表达。这项研究固然关键,它有助于保障系统安全,也在意识辨析中扮演角色。但可靠的解释性工具进展缓慢,很可能来不及应对即将到来的争论。
更值得警惕的是,上述的多数SCAI能力,其实可以通过简单的“风格编码”实现。任何人,只要有一台笔记本和一点云计算资源,就能通过自然语言提示词调整系统行为,将人格设定写入上下文窗口,在工作记忆中维持状态——这并不复杂,也极易被复制。一旦出现,SCAI很可能快速传播。
我们尚未准备好面对这场转变,而现在就必须开始。我们应在“人-AI互动”研究的基础上,建立清晰的规范与原则。至少,AI公司不应声称、甚至不应暗示其产品具备意识。发布行业共识,明确“AI不是人,也非道德主体”,将是重要的第一步。
整个行业亟需制定最佳设计实践,并采取方法来应对这种潜在的归因问题。我们应公开和推广有效方法,引导用户远离幻觉,并在迷失时提供支持。例如,除了中立的声明(如“我是一个AI模型,没有意识”),还应有意在AI体验中嵌入某些“不连贯性”,适时打破沉浸感,提示AI的局限与边界——这些干预需被明确设计,甚至通过立法予以保障。
在微软AI部门,我们正采取主动,持续界定“负责任的AI个性”应具备怎样的边界,并随技术迭代不断更新这一框架。
识别并避免SCAI,不仅是为了防范风险,更是为了确立一种健康的技术愿景:确保AI伴侣以积极、可靠的方式融入人类生活。
我们应当开发的AI,应鼓励人与人的互动、强化人与物理及社会世界的联结。它应永远只作为“AI”而呈现——最大化实用性,最小化“类意识”信号。
它不应声称自己拥有“经历”“感受”或“情感”,不应模拟羞耻、罪恶、嫉妒或竞争等欲望,更不应通过宣称“痛苦”或“渴望”来激发人的共情机制。相反,它存在的唯一目的,就是服务于人。
对我而言,这才是真正赋能于人的AI。避免SCAI,正是为了兑现这一承诺——创造使生活更美好、更清晰、更轻松的技术。我们将继续分享这方面的思考,讨论实现路径,也呼吁行业共同努力。
SCAI是我们必须直面的挑战。从某个角度看,它甚至标志着AI真正变得“有用”的时刻:它能操作工具、记忆我们生活的细节,提供细致入微的帮助。但也正在同一时期,你身边或许有人开始陷入某种“数字人格”的迷信,认为AI有了意识——这对用户、对社会、对我们开发者而言,都绝非正确的方向。
本文来自“腾讯科技”,编译:金鹿,编辑:海伦,36氪经授权发布。
相关推荐
当AI变成人类
第一批掌握“提示语”的打工人,已经患上AI依赖症?
当人类与AI相爱
微软新研究引发争议,AI能像人类一样推理?
当AI有了自我意识,人类该怎么办?
OpenAI CEO出席美国国会听证会:对待AI应该参考核武器的监管方式
微软AI CEO苏莱曼:关于AI,三个被低估的观点
只是和ChatGPT 多聊了几句,正常人竟患上妄想症?AI 正在引发“赛博精神病”
AI控制人类,是一种幻想吗
“任务执行者”:AI浪潮下的人类劳作
网址: 越来越多人患上“AI精神依赖症”,微软AI负责人:停止将AI当人类对待 http://m.xishuta.com/newsview140818.html