首页 > 科技快讯 > Facebook AI是怎么将恶意发言者踢出群聊的?

Facebook AI是怎么将恶意发言者踢出群聊的?

编者按:本文来自微信公众号“将门创投”(ID:thejiangmen),36氪经授权发布。

From: Venture Beat;编译:Iris

Facebook AI在2020年第一季度删除的仇恨言论内容占总删除言论数量的88.8%,高于上一季度的80.2%。Facebook执行官将这种增长归功于XLM等语言模型的改进。其中的仇恨meme数据集用于评估消除仇恨言论的模型的性能,并对多模态学习模型进行调试,它从多种媒体端输入,以辅助多模态推理。

不过,AI并不能解决所有问题。人类仍将在无限的未来中参与到言论管理体制中。本质上,它们都归咎于日常的沟通问题,单凭AI无法完全剔除掉不合适的言论,尤其是在这些言论都在底线上打擦边球的棘手情形中,AI的力量可能不及我们想象得强。但Facebook的部分成功标示着,我们可以用AI把这达到数十亿数据样本规模的难题缩减为一些易解决的小任务。

什么是meme?

——它是抽象的文化基因,类似于表情包段子,

将网络上流行的、有趣的笑点夹杂在一起,

通过拙劣模仿流行文化,加以牵强附会的幽默,

以图片/视频+文字的形式

将这种幽默感呈现出来。

比如风靡全球的doge图就是经典的meme例子:

给画面中的元素配上看似不相干的文字内容,

从而赋予其荒诞不经的新语境,

正是meme搞笑的精髓!

恶意meme被予以警告处理⚠️

Facebook AI公布了从美国Facebook公共群组中收集的含有10,000个恶意表情包段子的数据集,他们将它起名为“仇恨meme数据集”。这个数据集用于评估消除仇恨言论模型的性能,并对多模态学习模型进行微调。它能从多种形式媒体端输入,以衡量多模态推理成果。目前,最精确的AI驱动的多模态模型(Visual BERT COCO)的准确率达到了64.7%,而人力员工在数据集上的准确率达到了85%,这也反映了数据处理的难度。

数据集中最常见的不良文化基因(meme)以种族和性别为主。这类meme或引用负面的刻板印象,或使用嘲弄性的仇恨言论,给用户造成了不良观感。

Facebook AI的人工示例显示,

"良性言论"和"良性图片"在发生交集后可能反而产生嘲弄性效果

Facebook多年来一直在开发SimSearchNet,它是一个卷积神经网络,用于识别重复的或者不可信的内容,在上个月就有5000万篇帖子因内容问题而被贴上警告标签。计算机视觉检测工具还被用于自动检测和过滤Facebook所不允许在其平台上发布的其他产品的广告。

多模态学习模型成为大热点

Google AI首席执行官Jeff Dean称,多模态模型的升级也是2020年的一种发展趋势。事实上,多模态学习已经被用来自动评论视频和识别标题图片,像MIT-IBM Watson实验室的多模态系统也在应用NLP和计算机视觉来提高AI系统视觉推理能力方面大显神通。

用来检测仇恨言论的AI Rosetta甚至能看懂表情包

为了克服处理meme数据库时可能碰上的授权问题,Getty Images API照片被用来替换背景图像并创建新的健康meme。人力检测员需要验证新的meme是否保留了原meme的含义,同时剔除掉了不良内容。

一些恶意的meme数据集还通过混淆恶性和良性内容来蒙混过关,这些meme的意义会根据meme文本背后不断更改的图片而发生变化,这意味着Facebook AI需要持续跟进每一个可疑meme的后续动态。

仇恨言论的蔓延涉及到敏感的社会问题,要完全解决它需要配以改进机器学习系统的能力。对meme仇恨言论的检测需要触及到任何微妙的数据线索,一些与特定文化相关的当地meme数据集需与世界共享。

正常的meme

不良meme

计算机视觉推理能力的上升可以帮助AI更准确地检测仇恨言论,并确认meme是否违反了Facebook的政策。即便是已被判定良好的多模态系统也可能包含有Facebook所禁止的恶意言论,到了这个阶段,AI的meme检测能力或许就比不上人力检测员的能力了,他们能联系上下文,甚至从一个简单的emoji或者缩写中推出写作者的深意。

快速检测仇恨言论也符合Facebook的经济利益。欧盟监管机构多年来一直敦促Facebook采取更严格的言论管理措施,德国议员便通过了一项法律,要求用户超过100万的社交媒体公司迅速删除仇恨言论,否则将面临最高5000万欧元的罚款。

各国政府已敦促Facebook调整内容,以解决恐怖主义宣传和干预选举等问题,尤其是在剑桥分析公司(Cambridge Analytica)丑闻引发强烈反弹之后,这个问题再次登上了舞台。Facebook及其首席执行官马克•扎克伯格承诺将进一步智能化言论管理体制,承诺给予用户一个更加清净的社交环境。

网址: Facebook AI是怎么将恶意发言者踢出群聊的? http://m.xishuta.com/newsview23526.html

所属分类:互联网创业