首页 > 科技快讯 > OpenAI 成立“防备”预警团队：董事会有权阻止新 AI 模型发布

OpenAI 成立“防备”预警团队：董事会有权阻止新 AI 模型发布

晰数塔互联网快讯
2023-12-21 05:13

IT之家 12 月 19 日消息，开发了 ChatGPT 的 OpenAI 公司日前宣布成立新的“防备（Preparedness）”团队，旨在监控旗下技术可能带来的潜在威胁，防止其落入坏人之手，甚至被用于制造化学和生物武器。

该团队由麻省理工学院人工智能教授亚历山大・马德里 (Aleksander Madry) 领导，将招募人工智能研究人员、计算机科学家、国家安全专家和政策专家等，对 OpenAI 开发的技术进行持续监测和测试，一旦发现任何危险苗头，及时向公司发出警告。

OpenAI 周一发布了名为“防备框架”（Preparedness Framework）的指导方针，并强调这套指南仍处于测试阶段。

据悉，防备团队每月将向一个新的内部安全咨询小组发送报告，该小组随后将对其进行分析，并向 OpenAI 首席执行官萨姆・阿尔特曼和董事会提交建议。阿尔特曼和公司高层可以根据这些报告决定是否发布新的 AI 系统，但董事会有权撤销这一决定。

防备团队将反复评估 OpenAI 最先进、尚未发布的 AI 模型，根据不同类型的感知风险评为四个等级，从低到高依次是“低”、“中”、“高”和“严重”。根据新的指导方针，OpenAI 将只推出评级为“低”和“中”的模型。

OpenAI 的“防备”团队介于两个现有团队之间：负责消除 AI 系统中种族偏见等现有问题的“安全系统”团队，以及研究如何确保 AI 在超越人类智能的未来场景中不会伤害人类的“超级对齐（Superalignment）”团队。

IT之家注意到，ChatGPT 的火爆以及生成式 AI 技术的快速发展引发了科技界关于该技术潜在危险性的激烈讨论。来自 OpenAI、谷歌和微软的知名 AI 专家今年警告称，该技术可能对人类构成与流行病或核武器相当的生存威胁。其他 AI 研究人员则认为，过度关注这些遥远的巨大风险，忽视了 AI 技术目前已经造成的潜在危害。也有一些 AI 商业领袖认为，关于风险的担忧被夸大了，公司应该继续推进技术发展，造福社会并从中获益。

OpenAI 在这场辩论中采取了较为折中的立场。首席执行官萨姆・阿尔特曼 (Sam Altman) 承认该技术存在严重的长期风险，但也呼吁人们关注解决现有问题。他认为，监管不应该阻碍小型公司在 AI 领域的竞争。同时，他也推动公司实现技术商业化，筹集资金加快发展。

马德里是资深 AI 研究人员，曾在麻省理工学院负责可部署机器学习中心，并共同领导麻省理工学院 AI 政策论坛。今年他加入了 OpenAI，但在阿尔特曼被董事会解雇后，曾与少数 OpenAI 高管一道辞职，五天后当阿尔特曼复职时，马德里回到了公司。OpenAI 由一个非营利董事会管理，其使命是促进 AI 发展并使其造福全人类。在阿尔特曼复职后，三名解雇他的董事会成员辞职，目前该组织正在遴选新的董事会成员。

尽管领导层经历了“动荡”，马德里表示，他仍然相信 OpenAI 董事会认真对待 AI 的风险。

除了 AI 领域的人才，OpenAI 的“防备”团队还将招募来自国家安全等领域的专家，帮助公司了解如何应对重大风险。马德里表示，团队已经开始与美国核安全局等机构进行接触，确保公司能够适当地研究 AI 的风险。

该团队的重点之一是监控 OpenAI 的技术何时以及如何引导人们进行计算机入侵或制造危险的化学、生物和核武器，超出人们通过常规研究可以在网上找到的内容。马德里正在寻找这样的人才：“他们会深入思考，‘我如何突破这些规则？我如何成为最机智的反派？’”

OpenAI 在周一的一篇博客文章中表示，公司还将允许来自 OpenAI 之外的“合格的独立第三方”测试其技术。

马德里表示，他既不同意那些担心 AI 已经超越人类智能的“末日论者”，也不同意那些希望移除所有 AI 发展障碍的“加速主义者”。

他说：“我真切地认为，将发展和抑制截然分开是一种非常简单的划分方式。AI 拥有巨大的潜力，但我们也需要努力确保这些潜力得以实现，并且最大程度避免负面影响。”

发布于：山东