这两天
“字节跳动大模型遭实习生攻击”的相关消息
冲上多个平台热搜
10月18日,多个微信群流传一则消息:“某头部大厂的大模型训练被实习生入侵,注入了破坏代码,导致其训练成果不可靠,可能需要重新训练。据称遭到入侵的代码注入了8000多张卡,带来的损失可能超过千万美元。”
10月19日,字节跳动官方发布声明回应此事称,确有实习生发生严重违纪行为并已经被辞退,但相关报道也存在部分夸大及失实信息。
“涉事实习生恶意干扰商业化技术团队研究项目的模型训练任务,但并不影响商业化的正式项目及线上业务,也不涉及字节跳动大模型等其他业务。”
字节跳动还表示,网传“涉及8000多卡、损失上千万美元”严重夸大。
“经核实,涉事人一直在商业化技术团队实习,并没有AI Lab实习经历。其社交媒体个人简介及部分媒体报道有误。该实习生已在8月被公司辞退。公司也将其行为同步给行业联盟和所在学校,交由校方处理。”
此前报道
↓↓↓
据界面新闻报道,据了解,此事发生在今年6月,起因是某高校的博士在字节跳动商业化技术团队实习,因对团队资源分配不满,使用攻击代码破坏团队的模型训练任务。
传闻显示,该田姓实习生利用了HF(huggingface)的漏洞,在公司的共享模型里写入破坏代码,导致模型的训练效果忽高忽低,无法产生预期的训练效果,而且团队无法核查原因。但传闻曝出之后,该实习生还在某微信群里辟谣称,自己发完论文后就从字节跳动离职,有另一个人钻漏洞改模型代码,把锅扣到自己头上。
一位技术安全专家表示,此事暴露了字节跳动技术训练存在安全管理问题。公司既没做权限隔离,也没有做好共用代码的审计。正常情况下,每次大的代码变动必须做审计,无论谁做操作都有痕迹记录,一个人想动代码是不可能的。
据证券时报报道,大模型在安全性方面的问题已经受到业内高度关注。今年8月,中国信通院发文称,近年来,以大模型为核心的人工智能技术飞速发展,成为数字经济增长新动能。然而,作为新质生产力的大模型在安全性方面仍存在较多缺陷,这为其大规模落地应用带来了不确定性。近期,中国信通院发布的大模型安全基准AI Safety Benchmark的测试结果显示,大模型(尤其是开源大模型)在恶意诱导手段下的攻击成功率均较原始输入有明显提升。因此,对大模型进行安全对齐防护刻不容缓。
发布于:上海
相关推荐
实习生攻击大模型?损失超千万美元?字节跳动最新回应→
字节被曝大模型训练遭实习生攻击
印度App禁令或致字节跳动损失超60亿美元
字节跳动要出售TikTok海外多数股权?最新回应来了
AI新鲜事 | 字节跳动成立新部门 Flow,淘天集团筹建大模型团队
印度封禁中国3款游戏应用 字节日均损失超七百万
印度封禁中国3款游戏应用,字节日均损失超七百万
用 ChatGPT 自研大模型被封号,字节最新回应:最初有用 GPT API,但没发布、已停止
字节跳动大收缩
玩大了?字节跳动被曝使用OpenAI API研发大模型,账号已被停用
网址: 实习生攻击大模型?损失超千万美元?字节跳动最新回应→ http://m.xishuta.com/newsview126986.html