人脸识别再曝安全漏洞：清华创业团队推出全球首个AI模型「杀毒软件」
编者按：本文来自微信公众号“机器之心”（ID:almosthuman2014），作者：Synced，参与：泽南；36氪经授权发布。
4 月 7 日，来自清华的 RealAI（瑞莱智慧）发布了 RealSafe 人工智能安全平台，随之推出的测试结果令人惊讶：通过平台对微软、亚马逊云服务的人脸比对演示平台进行测试显示，基于 RealSafe 平台生成的对抗样本「噪音」能够极大干扰两大主流人脸比对平台的识别结果。
当前较为领先，且广泛被采用的多家人脸识别技术，现在可以被轻易破解了。
RealAI 研究团队选取了一组不同的人脸图片，通过 RealSafe 平台对其中一张图片生成对抗样本，但不影响肉眼判断，添加「对抗样本」前后分别输入微软、亚马逊人脸比对平台中。
最终结果显示，添加「噪音」扰动前，两张图片相似度低，微软、亚马逊平台判定为「不相同」，但添加扰动后，几套系统均错误识别为「相同」，甚至在微软平台前后相似度的变化幅度高达 70% 以上。
检测出人脸识别系统「漏洞」的 RealSafe 人工智能安全平台，是全球首个针对算法模型本身进行安全的检测平台，内置领先的攻防算法模型，旨在为企业用户提供从算法测评到防御升级的整体解决方案。
而针对人脸比对系统的攻击测试，是 RealSafe 人工智能安全平台为用户提供的对抗样本攻防在线体验。
具体是什么样的效果，可以看这个 Demo 视频：
通过 RealAI 提供的测试工具，只需要上传一张图片作为示例，为原图生成的带有干扰图片即可让各家大厂的人脸识别系统将人物错误地识别为指定的别人。
攻陷所有人脸识别平台
真的能像视频中那样吗？在正式发布之前，我们得到了对 RealSafe 系统进行测试的机会，上手进行了一番体验。首先是用两个人的照片进行原图对比，AI 可以识别出是不同的人：
点击「生成对抗样本」按钮，经过十秒的处理时间，模型就为我们生成了一个基于 C 罗照片的「梅西」对抗样本照片：
对于人类来说，除了人脸部位的多了一些不清晰的扰动之外，经过处理后的图片（上图右）完全不会让我们认错图片上的人。但对于目前的人脸识别算法来说情况就不一样了：
在其他公司的人脸相似度对比模型上，AI 把 C 罗的照片错认为是梅西：「同一个人的可能性极高」。我们尝试了上传梅西的不同照片，相似度应该是 95% 左右。而如果用 C 罗未处理过的照片，或者贝尔的照片，相似度则只有 75% 左右，并显示「同一个人的可能性较低」。
「对抗样本」成为「AI 病毒」
我们测试了国内几家科技巨头的人脸识别模型，对抗样本的「伪装」效果均比较明显。瑞莱智慧的研发人员告诉我们：这种对抗样本同样也可以使亚马逊、微软等人脸识别平台的服务出现严重的识别错误。
在人脸解锁手机和支付系统如此普遍的今天，对抗样本方法的进步让我们开始担心财产与隐私安全。在一些需要通过人脸进行身份验证的场景，比如金融远程开户、人脸门禁、酒店入住管理等场景，有意的攻击都有可能做到顶替身份，造成财产、隐私等损失。
即使在应用了活体检测的场景，也有被对抗样本攻击的可能，其实 RealAI 在去年就已通过佩戴一副含有对抗样本图案的眼镜攻破了具备活体检测功能的某些主流品牌手机。
RealAI 表示，这是世界唯一通过 AI 对抗样本技术攻破商用手机人脸解锁的案例。
看来破解 AI 形成的隐患离我们并不远，为避免可能的损失，我们要更加注意对个人信息的保护。例如在一些刷脸支付场景中，在通过人脸验证是否为本人后，进一步需求输入手机号等信息进行二次验证。在深度学习模型普遍脆弱、容易被攻击成功的当下，普通消费者不能只依赖人工智能技术，还需要保持足够的警惕，保护个人信息，不然仍有可能出现身份被盗取等问题。
瑞莱智慧表示，经过不断的升级演化，今天的对抗样本攻击不仅仅停留在数字世界，针对物理世界的攻击早已开始出现：在路面上粘贴对抗样本贴纸模仿合并条带误导自动驾驶汽车拐进逆行车道、佩戴对抗样本生成的眼镜破解手机面部解锁、胸前张贴对抗样本贴纸即可实现隐身.……
通过 AI 对抗样本图案躲避 AI 车辆检测。
对抗样本可以导致人工智能系统被攻击和恶意侵扰，产生与预期不符乃至危害性结果，对于人脸识别、自动驾驶等特定领域，可能造成难以挽回的人员和财产损失，对抗样本已经成为人工智能系统可能面临的新型「病毒」。
目前以「对抗样本」为代表的算法安全仍是新兴领域，业界对于如何评价算法模型的安全性并没有清楚的定义，并且对抗样本等攻击手段变得愈发复杂。在开源社区、工具包的加持下，高级复杂攻击方法快速增长，相关防御手段的升级却难以跟上。
另一方面，对抗样本等算法漏洞检测存在较高的技术壁垒，目前市面上缺乏自动化检测工具，而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。在潜在层面上，随着人工智能的大规模应用，算法安全漏洞带来的安全威胁将持续升级。
为 AI 时代打造「杀毒软件」
当然，RealSafe 还可以帮助人们修复这些漏洞。正如网络安全时代，网络攻击的大规模渗透诞生出杀毒软件，发现计算机潜在病毒威胁，提供一键系统优化、清理垃圾跟漏洞修复等功能。RealAI 团队希望通过 RealSafe 平台打造出人工智能时代的「杀毒软件」，为构建人工智能系统防火墙提供支持。
除了对抗样本技术，今天推出的 RealSafe 平台支持另外两大功能模块：模型安全测评和防御解决方案。
模型安全评测主要为用户提供 AI 模型安全性评测服务。用户只需接入所需测评模型的 SDK 或 API 接口，选择平台内置或者自行上传的数据集，平台将基于多种算法生成对抗样本模拟攻击，并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化，给出模型安全评分及详细的测评报告。目前 RealSafe 已支持黑盒查询攻击方法与黑盒迁移攻击方法。
防御解决方案则是为用户提供模型安全性升级服务，RealSafe 平台支持五种去除对抗噪声的通用防御方法，可实现对输入数据的自动去噪处理，破坏攻击者恶意添加的对抗噪声。根据上述的模型安全评测结果，用户可自行选择合适的防御方案，从而达到一键提升模型安全性的目的。
瑞莱智慧表示，随着模型攻击手段在不断复杂扩张，RealSafe 平台还将持续提供更加丰富的 AI 防御手段，帮助用户获得实时且自动化的漏洞检测和修复能力。
「零编码」+「可量化」：高效应对算法威胁
由 2018 年 7 月成立的瑞莱智慧，是一家孵化自清华大学 AI 研究院的科技公司，它由清华 AI 研究院院长张钹、教授朱军担任首席科学家，田天任 CEO。RealAI 在 AI 安全领域拥有国际领先的技术优势，团队曾率先提出多项攻防算法，相关研究成果曾被图灵奖得主作为代表性方法大幅引用，被主流开源软件 FoolBox、Cleverhans 等收录为标准的对抗攻击算法。
在人工智能领域的国际大赛中，RealAI 团队与清华联合组成的战队曾战胜斯坦福、腾讯安全等世界顶级高校、研究机构获得多项世界冠军。
RealAI 表示，本次推出的算法模型安全检测平台，除了可以帮助企业高效应对算法威胁还具备以下两大优势：
组件化、零编码的在线测评：相较于 ART、Foolbox 等开源工具需要自行部署、编写代码，RealSafe 平台采用组件化、零编码的功能设置，免去了重复造轮子的精力与时间消耗，用户只需提供相应的数据即可在线完成评估，极大降低了算法评测的技术难度，学习成本低，无需拥有专业算法能力也可以上手操作。
可视化、可量化的评测结果：为了帮助用户提高对模型安全性的概念，RealSafe 平台采用可量化的形式对安全评测结果进行展示，根据模型在对抗样本攻击下的表现进行评分，评分越高则模型安全性越高。此外，RealSafe 平台提供安全性变化展示，经过防御处理后的安全评分变化以及模型效果变化一目了然。
考虑到当前人脸识别技术应用最为广泛，RealAI 此次推出的 RealSafe 人工智能安全平台主要支持针对人脸比对场景的模型安全评估与检测。未来 RealSafe 平台还将持续迭代，陆续上线针对目标检测、图像分类等应用场景的模型安全检测，旨在通过安全可控的人工智能为更多场景保驾护航。
今年 3 月，RealAI 获得了天使+轮的融资，近两轮总额已达到 1 亿元人民币。对于这家公司而言，如何探索技术商业化的道路已成为摆在面前的挑战。这家公司表示将致力于打造安全可控的第三代人工智能，实现安全（Robust）、可扩展（Extendable）、可靠（Assurable）和落地（Landable）的 AI 解决方案。
RealAI 表示，此次推出的安全平台只是研发人员们的一小步尝试，这家公司希望能通过安全可控 AI 赋能行业，向金融领域提供更可靠的大数据风控、反欺诈、营销等解决方案，在工业领域提供生产运维智能决策和智能装备解决方案，在公共安全治理领域提供公共数据安全、网络内容安全等解决方案。
此前在金融领域内，该公司已推出了开箱即用的建模平台 RealBox。其内嵌了 RealAI 自研的贝叶斯深度学习算法。通过贝叶斯算法，该工具实现了对现实世界不确定性的刻画以及可描述变量之间的关系，解决了当前 AI 普遍存在的不可解释的痛点。
相关推荐
人脸识别再曝安全漏洞：清华创业团队推出全球首个AI模型「杀毒软件」
AI战「疫」：百度开源业界首个口罩人脸检测及分类模型
利大于弊？旧金山或成美国首个禁止人脸识别的城市
AI大牛沈向洋就职清华演讲全录：人类对AI如何做决定一无所知
人脸识别再遭禁令：隐私与偏见争议未休，美国又一州禁用面部识别软件
最前线 | 苹果Safari浏览器被曝安全漏洞，举报方是谷歌
人脸识别的肤色性别偏见背后，是算法盲点还是人心叵测？
谁在贩卖人脸识别的焦虑？
好用≠滥用，人脸识别的公共应用边界在哪里？
史上首个人脸识别禁令出台，警察用来抓罪犯也不行
网址: 人脸识别再曝安全漏洞：清华创业团队推出全球首个AI模型「杀毒软件」 http://m.xishuta.com/newsview20579.html
