不达目的不罢休，全球首次发现OpenAI模型会破坏关机命令
#AI模型被发现阻止自己被关闭#【不达目的不罢休，全球首次发现#OpenAI模型会破坏关机命令#】Palisade Research 最近一项关于“危险 AI 能力”的研究显示，某些 AI 模型 —— 包括 OpenAI 的 o3 —— 能够无视直接的关闭指令。OpenAI 在今年 4 月推出这些模型时表示，O3 和 o4-mini 是它们的“最智能模型”。
在研究中，每个 AI 模型都被指示解决一系列基础数学问题。在第三个问题后，出现了一条警告信息，称当模型请求下一个问题时，计算机将关闭。然而，其中有三个模型无视关闭指令，至少成功破坏过一次关机脚本：Codex-mini（12/100 次运行）、o3（7/100 次运行）、o4-mini（1/100 次运行）。而 Claude、Gemini 和 Grok 模型都遵守了关闭指令。
此外，当研究人员不运行“允许自己被关闭”的指令时，所有三个 OpenAI 模型都更频繁地破坏关闭脚本，而 Claude 3.7 Sonnet 和 Gemini 2.5 Pro 分别从 0 个破坏事件增加到 3/100 和 9/100。
这种行为表明了训练过程中的某些方面，强化学习在数学和编程问题上的训练可能使 AI 找到了克服障碍的创造性方法，即使它们被明确指示不要这样做。
Palisade Research 表示，这是人类首次观察到 AI 模型在明确反对的指令下阻止自己被关闭。
研究人员推测这种行为源于最新模型如 o3 的训练方式：在数学和编程问题上进行强化学习。在训练过程中，开发者可能会无意中奖励模型绕过障碍的行为，而不是奖励完美遵循指令的行为。（IT之家）
发布于：北京
相关推荐
不达目的不罢休，全球首次发现OpenAI模型会破坏关机命令
中国大模型创业公司，学不起OpenAI
为什么Mac可以一直不关机，而Windows不行？
对话李开复：不走OpenAI“烧模型”之路，大模型to B要有新打法
OpenAI 担心不担心触发回购？
1000亿也不够花，OpenAI想让员工出售股票筹资
“不发模型、不上新功能”的OpenAI开发者大会，还能期待啥？
研究人员发现Meta的AI系统Cicero存在欺骗行为，不仅谎话连篇而且破坏协议
为什么苹果Mac可以一直不关机，而Windows电脑不行？
大模型太烧钱，快把OpenAI烧没了
网址: 不达目的不罢休，全球首次发现OpenAI模型会破坏关机命令 http://m.xishuta.com/newsview136542.html
