AI大模型出现“幻觉”该怎么办？科技界代表两会建言
转自：劳动报
当你向AI大模型询问一个问题，它给出了条理清晰、看似专业的回答，但其中却包含一些与事实不符的信息，这就是AI大模型的“幻觉”现象。简单来说，“幻觉”是指人工智能系统生成的内容与真实数据不符，或偏离用户指令的现象。在当前人工智能大模型飞速发展的背景下，“幻觉”问题愈发受到关注，也成为了今年全国两会科技界代表热议的话题。
全国政协委员、360集团创始人周鸿祎在两会前夕谈到了AI“幻觉”的两面性。他指出，“AI‘幻觉’有利于文学创作，但在AI安全方面，‘幻觉’确实会带来严重问题。”比如在医疗、法律、金融、证券等不容出错的领域，若大模型胡乱编造信息，将会引发严重后果。
因此他主张“以模制模”，即专门做安全大模型，用其智力能力去管理知识库的使用、智能体的调用，以及避免基座模型的“胡说八道”和对人的“PUA攻击”。
针对“幻觉数据”的技术性治理，全国人大代表、科大讯飞董事长刘庆峰代表则提出“双管齐下”：一方面构建安全可信的动态数据标签体系，对不同类型数据的可信度和危害性进行分类，降低AI生成内容的“幻觉”概率；另一方面研发幻觉治理平台，通过自动分析、鉴伪、溯源等技术定期清理虚假信息，并向公众开放检测工具，形成技术闭环。
AI“说谎”难题，除了需要从技术角度破解，人工智能发展伴随的安全问题也是需要重点防范的领域。
“我们发现，现在越来越多的企业、个人开始搭建DeepSeek大模型私有化部署，而将近90%的服务器都没有采取安全措施，服务运行和数据安全岌岌可危。”全国政协委员、奇安信集团董事长齐向东注意到，目前阶段，人工智能发展面临的其中一类问题，便是人工智能大模型自身的安全问题。其中，外部“攻击”数据库，“内鬼”对训练数据投毒，进行模型篡改、配置篡改等情况，也会造成AI“说谎”现象。
近期，奇安信发布了业界首个大模型安全整体解决方案大模型安全盾，率先提出“大模型安全红域”概念，打造适用于人工智能的立体纵深防御体系，并给予威胁情报、大数据监测等情报赋能，实现“对外防攻击、对内防内鬼”。
尽管大模型“幻觉数据”存在误导和危害，但在科技界代表看来，“幻觉”是大模型具备真智能的体现，是走向AGI（通用人工智能）的基础。周鸿祎表示，虽然大模型“幻觉”很难消除，但已经通过多个大模型交叉验证、搜索矫正以及企业知识库比对等方式进行了纠正，在大模型产业高速发展的过程中，不能因为“幻觉”问题就因噎废食。
头图来源：图虫
相关推荐
AI“李鬼”迭出，代表委员建言人工智能治理
2023两会芯片、AI相关提议增多，科技互联网代表委员完成一次新旧更替
AI集体出现幻觉
AI：跨越幻觉抵达真相
降低AI大模型幻觉的必由之路
为什么说大模型永远不会停止幻觉？
大模型的“幻觉”
中美AI之争愈演愈烈，两会代表们怎么看？
2023年科技界热度之王：AI大模型的崛起与影响
DeepSeek-R1超高幻觉率解析：为何大模型总“胡说八道”？
网址: AI大模型出现“幻觉”该怎么办？科技界代表两会建言 http://m.xishuta.com/newsview133389.html
