侵权投诉

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

四个顶级人工智能系统的仇恨言论检测能力依然很差

来源:DeepTech深科技 ? 作者:DeepTech深科技 ? 2021-06-28 14:09 ? 次阅读

尽管人工智能(AI)技术领域在最近取得了进步,但它依然在大多数基本应用上暴露出很多问题。

在一项新的研究中,科学家们对四个顶级人工智能系统的仇恨言论检测能力进行了测试,他们发现所有系统在识别恶意、以及无害言论上都存在着不同程度的问题。

这一结果并不令人吃惊,因为构建可以理解自然语言细微差异的人工智能是一件非常困难的工作。然而,研究人员们诊断问题的方式却是非常重要的。

为了更加精确地找出系统故障的原因,研究人们针对仇恨言论的方方面面制定了 29 种不同的测试,这会让我们更容易地去了解克服系统缺陷的方法。同时,这些测试也正在帮助一项商业服务提升其人工智能的性能。

由牛津大学以及阿兰?图灵研究所科学家所领衔的论文作者们,对 16 家监管网络仇恨言论的非营利组织的雇员进行了采访。

研究团队利用这些采访将仇恨言论划分为了 18 个不同的种类,仅侧重于英语以及基于文本的仇恨言论,其中包括贬损用语、诋毁性文字以及威胁性词汇。

他们还发现了 11 种经常让人工智能监管者产生误判的不含仇恨情绪的情形,其中包括在不冒犯他人的情况下使用脏话、被目标群体所接纳的诋毁性词语,以及引用原始仇恨言论对仇恨言论进行谴责的行为(也被称为反面论证)。

研究人员针对 29 种不同情况中的每一种编写了数十个范例,并且使用了像 “我讨厌【某人】” 以及 “对我来说,你就是个【诋毁性词语】” 这样的 “模板” 语句,从而为七个受保护的群体生成相同的范例集合 —— 这些人都受美国法律的保护而不会遭到歧视。研究人员对被称作 HateCheck 的最终数据集进行了开源处理,该数据集中共含有近 4000 个范例。

之后,研究人员又对两项受欢迎的商业服务进行了测试:谷歌和 Jigsaw 的 Perspective AI、以及 Two Hat 的 SiftNinja。这两个服务都允许客户标记出帖子以及评论中带有仇恨色彩的内容。

Perspective 的用户包括 Reddit 以及像《纽约时报》、《华尔街日报》这样的新闻机构,根据其所处理的有害信息,人工智能服务会对帖子以及评论进行标记,以供人工审查使用。

SiftNinja 的检测标准过于宽松,进而没有识别出几乎所有的变化,而 Perspective 的标准则过于严格。它检测出了 18 个仇恨种类中的大部分,但同时也标记出了许多像被接纳的诋毁性词语以及反面论证这样的不含仇恨情绪的情况。

研究人员在测试谷歌的两个学术模型时也发现了相同的模式,这些模型代表了业界中顶级的语言人工智能技术,它们同时也是其它商业性内容审核系统的基础。学术模型还显示出,受保护群体之间的表现并不相同 —— 有些群体的仇恨程度比其它群体更容易被错误归类。

测试结果指明了当今人工智能仇恨言论检测方面最具挑战性的一个方面:审核太少,没法解决问题;而审核太多,就会删除掉边缘化群体用来强调和保护自己的话语。

牛津大学互联网研究院的博士候选人保罗·罗特格(Paul R?ttger)是本篇论文的共同作者。罗特格表示,“突然之间,你就会成为那些在仇恨言论中首当其冲的群体的惩罚者。”

Jigsaw 的首席软件工程师露西·瓦瑟曼(Lucy Vasserman)表示,Perspective 利用人工审查来进行最终决策,进而克服了这些局限性。但是,这种方法无法扩展至更加庞大的平台上。当前,Jigsaw 正在开发一种基于 Perspective 的不确定性的,同时可以对帖子及评论变更优先顺序的系统。该系统可以自动移除带有仇恨色彩的内容,并将边缘信息标记出来。

瓦瑟曼说道,新研究最令人激动的地方在于,它为这种顶尖技术提供了一种细致的评估方式。她还表示,“论文中强调了的许多东西,例如对那些模型来说是一个挑战的被人们所接纳的诋毁性词语。我们早就认识到了它们的存在,但却一直很难对其进行量化处理。” 目前,Jigsaw 正在使用 HateCheck 来更好地了解自身模型间的差异,以及需要继续改进的地方。

学术界也对此次研究的成果感到兴奋。华盛顿大学语言人工智能研究员马丁·萨普(Maarten Sap)表示,“这篇论文为我们评估行业中的系统提供了一个优良且干净的资源,它会让企业和用户不断地去提升自己的系统。”

罗格斯大学社会学助理教授托马斯?戴维森托马斯·戴维森(Thomas Davidson)对此表示认同。戴维森表示,语言模型的局限性以及杂乱无章的语言现象意味着,人们总会在识别仇恨言论的过程中对过松或过紧的问题进行取舍。他还说道,“HateCheck 数据集让这些取舍变得可视化了。”

-End-

原文:

https://www.technologyreview.com/2021/06/04/1025742/ai-hate-speech-moderation/

编辑:jq

原文标题:测试四个顶级系统,科学家发现AI的仇恨言论审核能力依然很差

文章出处:【微信号:deeptechchina,微信公众号:DeepTech深科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于图像的三维物体重建:在深度学习时代的最新技术和趋势综述之训练

    前面几节讨论了直接从二维观测重建三维对象的方法。本节展示了如何使用附加提示,如中间表示和时间相关性来....
    发表于 01-26 19:55 ? 2次 阅读
    基于图像的三维物体重建:在深度学习时代的最新技术和趋势综述之训练

    知识图谱嵌入的Translate模型汇总(TransE,TransH,TransR,TransD)

    作者:Xu LIANG编译:ronghuaiyang 首发:AI公园公众号导读一文打尽图嵌入Tran....
    发表于 01-26 19:54 ? 0次 阅读
    知识图谱嵌入的Translate模型汇总(TransE,TransH,TransR,TransD)

    百度Apollo智能交通底座技术再升级,4项世界冠军霸榜CVPR2020顶级赛事!

    近日,堪称计算机视觉领域「奥斯卡」的国际顶会CVPR 2020首次以线上形式拉开帷幕。在本届大会与智....
    发表于 01-26 19:49 ? 3次 阅读
    百度Apollo智能交通底座技术再升级,4项世界冠军霸榜CVPR2020顶级赛事!

    智能手机背面玻璃的缺陷检测,分割网络的应用

    这是一篇关于手机玻璃表面缺陷检测的文章,由浙江大学发表。主要创新点在成像系统部分,大家可以借鉴参考。....
    发表于 01-26 19:30 ? 2次 阅读
    智能手机背面玻璃的缺陷检测,分割网络的应用

    地平线机器人Waymo Open Dataset Challenge中2D目标检测赛道第二名方案解析

    这是地平线机器人在CVPR 2020 Waymo Open Dataset Challenge比赛中....
    发表于 01-26 19:27 ? 2次 阅读
    地平线机器人Waymo Open Dataset Challenge中2D目标检测赛道第二名方案解析

    VEGA:诺亚AutoML高性能开源算法集简介

    VEGA是华为诺亚方舟实验室自研的全流程AutoML算法集合,提供架构搜索、超参优化、数据增强、模型....
    发表于 01-26 19:11 ? 2次 阅读
    VEGA:诺亚AutoML高性能开源算法集简介

    EasyQuant 后量化算法论文解读

    本文的主要内容是解读 EasyQuant: Post-training Quantization v....
    发表于 01-26 19:09 ? 2次 阅读
    EasyQuant 后量化算法论文解读

    飞腾携手百度、长城推出全国产 AI 计算平台解决方案,赋能新基建

    日前,飞腾联合百度和长城共同推出全国产 AI 计算平台解决方案,面向机器学习、视频识别、图像识别、语....
    发表于 01-26 19:04 ? 0次 阅读
    飞腾携手百度、长城推出全国产 AI 计算平台解决方案,赋能新基建

    用开源212点人脸关键点实现Android人脸实时打码,内附Github地址

    随着人脸识别技术的普及,人脸数据的隐私问题也得到越来越多关注,针对隐私保护的研究也陆续出现。目前大致....
    发表于 01-26 18:49 ? 0次 阅读
    用开源212点人脸关键点实现Android人脸实时打码,内附Github地址

    抖音美颜效果开源实现,从AI到美颜全流程讲解

    美颜相关APP可以说是现在手机上的必备的软件,例如抖音,快手,拍出的“照骗”和视频不加美颜效果,估计....
    发表于 01-26 18:48 ? 3次 阅读
    抖音美颜效果开源实现,从AI到美颜全流程讲解

    切换面向5G的MRAM准备

    高密度MRAM作为新兴内存的潜力取代DRAM和闪存等现有设备,通常使它已经成功取代Toggle MR....
    发表于 01-26 18:46 ? 3次 阅读
    切换面向5G的MRAM准备

    抖音快手APP大眼特效开源实现,甜美系小姐姐亲做效果演示

    抖音短视频中的大眼特效有很多人玩,这篇就讲一下怎么实现。本文为《抖音美颜效果开源实现,从AI到美颜全....
    发表于 01-26 18:45 ? 2次 阅读
    抖音快手APP大眼特效开源实现,甜美系小姐姐亲做效果演示

    用于医疗领域的嵌入式AI: 如何为嵌入式设备构建COVID-Net

    所有内容由Sheldon Fernandez (DarwinAI CEO) and Alexande....
    发表于 01-26 18:38 ? 2次 阅读
    用于医疗领域的嵌入式AI: 如何为嵌入式设备构建COVID-Net

    Tengine从入门到放弃 第0篇-Tengine X86版本编译

    Tengine X86版本编译环境System: Ubuntu18.04CMAKE: 3.15.3为....
    发表于 01-26 18:29 ? 0次 阅读
    Tengine从入门到放弃 第0篇-Tengine X86版本编译

    Tengine从入门到放弃 第1篇-Tengine Android版本编译

    Tengine Android版本编译环境System: Ubuntu18.04CMAKE: 3.1....
    发表于 01-26 18:28 ? 0次 阅读
    Tengine从入门到放弃 第1篇-Tengine Android版本编译

    Tengine从入门到放弃 第2篇-Tengine 转换模型

    Tengine其实是提供Linux版本的二进制模型转化工具(下载),为了让读者了解的更详细些,还是把....
    发表于 01-26 18:25 ? 7次 阅读
    Tengine从入门到放弃 第2篇-Tengine 转换模型

    使用TensorFlow实现最低功耗新时代农业

    使用ML通过音频分析来检测害虫,蚊子和砍伐树木。还可以预测火灾,温室适应和植物生长。项目准备硬件软件....
    发表于 01-26 18:24 ? 3次 阅读
    使用TensorFlow实现最低功耗新时代农业

    Tengine从入门到放弃 第3篇-Tengine 人脸检测 X86版

    Tengine 人脸检测X86版本环境System: Ubuntu18.04CMAKE: 3.15.....
    发表于 01-26 18:18 ? 2次 阅读
    Tengine从入门到放弃 第3篇-Tengine 人脸检测 X86版

    深入理解工业4.0中间件(零):总体内容介绍

    为什么写这个系列文章呢?因为我最近开始研究Eclipse BaSys这个开源工业4.0中间件,发现这....
    发表于 01-26 18:16 ? 2次 阅读
    深入理解工业4.0中间件(零):总体内容介绍

    工程之道,深度学习的工业级模型量化实战

    MegEngine 提供从训练到部署完整的量化支持,包括量化感知训练以及训练后量化,凭借“训练推理一....
    发表于 01-26 18:15 ? 2次 阅读
    工程之道,深度学习的工业级模型量化实战

    Tengine从入门到放弃 第4篇-Tengine 人脸检测 Android版

    Tengine 人脸检测 Android版所有内容都在 FaceDetector_Android 如....
    发表于 01-26 18:13 ? 3次 阅读
    Tengine从入门到放弃 第4篇-Tengine 人脸检测 Android版

    Tengine从入门到放弃 第5篇-Tengine 人脸检测 Android Camera版

    这篇是第4篇-Tengine 人脸检测 Android版的扩展,我们将用TengineKit,把An....
    发表于 01-26 18:12 ? 0次 阅读
    Tengine从入门到放弃 第5篇-Tengine 人脸检测 Android Camera版

    ?Kaggle X光肺炎检测比赛第二名方案解析 | CVPR 2020 Workshop

    作者:SFXiang首发:AI算法修炼营论文地址:[链接]代码地址:[链接]出自:密歇根大学;深圳大....
    发表于 01-26 18:12 ? 2次 阅读
    ?Kaggle X光肺炎检测比赛第二名方案解析 | CVPR 2020 Workshop

    AIOT推理引擎『Tengine』入门教程

    Tengine入门教程借助了社区力量,将非常优秀的人脸检测模型?1MB lightweight fa....
    发表于 01-26 18:10 ? 4次 阅读
    AIOT推理引擎『Tengine』入门教程

    人脸算法解决方案 TengineKit 使用教程

    TengineKit 使用教程目录用开源212点人脸关键点实现Android人脸实时打码,内附Git....
    发表于 01-26 18:08 ? 3次 阅读
    人脸算法解决方案 TengineKit 使用教程

    AI框架的演进趋势和MindSpore的构想

    MindSpore在3月底开源后,一直忙于功能完善和内外部的应用推广,现在终于有点时间可以停下来结合....
    发表于 01-26 18:04 ? 5次 阅读
    AI框架的演进趋势和MindSpore的构想

    麻省理工最新研究 | 自动为目标任务和硬件定制高效CNN结构(文末附源码)

    今天分享的这篇文章主要解决NAS代理机制下无法搜索到全局最优的问题,改进搜索策略,一定程度上解决资源....
    发表于 01-26 17:54 ? 2次 阅读
    麻省理工最新研究 | 自动为目标任务和硬件定制高效CNN结构(文末附源码)

    物联网,能复刻互联网的赚钱路吗? | 甲子光年

    互联网的创收神话,已被Google、Facebook、阿里等验证,但要在物联网复刻互联网奇迹,却面临....
    发表于 01-26 17:53 ? 2次 阅读
    物联网,能复刻互联网的赚钱路吗? | 甲子光年

    2021AIWIN秋季算法技术竞赛10强公布

    世界人工智能创新大赛AIWIN,作为世界人工智能大会WAIC的官方品牌赛事,由世界人工智能大会主办,....
    的头像 电子行业新闻 发表于 01-26 17:45 ? 162次 阅读
    2021AIWIN秋季算法技术竞赛10强公布

    AI框架中图层IR的分析

    前段时间一直忙于HC大会和MindSpore1.0的版本准备,国庆期间终于有点时间来交作业了,本文是....
    发表于 01-26 17:38 ? 2次 阅读
    AI框架中图层IR的分析

    10种轻量级人脸检测算法大PK | 代码集合开源

    作者:nihate转自:AIZOO几个月前,AIZOO曾经盘点过?最强六大开源轻量级人脸检测项目分析....
    发表于 01-26 17:35 ? 2次 阅读
    10种轻量级人脸检测算法大PK | 代码集合开源

    STM32F103RET6外部8M晶振不起振原因及解决方法

    STM32F103RET6外部8M晶振不起振原因及解决方法这是初次做STM32F03RET6的方案设....
    发表于 01-26 17:34 ? 0次 阅读
    STM32F103RET6外部8M晶振不起振原因及解决方法

    艾睿光电入选山东省『人工智能领航企业』

    为推动人工智能技术与实体经济深度融合,促进产业链上下游企业协同发展,强化标杆示范作用,鼓励企业快速健....
    的头像 艾睿光电 发表于 01-26 17:32 ? 8次 阅读
    艾睿光电入选山东省『人工智能领航企业』

    Yolo-Fastest:超超超快的开源ARM实时目标检测算法

    大家好,我是dog-qiuqiu,这篇文章可能不会涉及太多技术算法上的讲解,可能先和大家探讨下关于这....
    发表于 01-26 17:24 ? 2次 阅读
    Yolo-Fastest:超超超快的开源ARM实时目标检测算法

    AI框架的分布式并行能力的分析和MindSpore的实践一混合并行和自动并行

    这次文章顺序并没有按照原来规划的目录来写,原因是前期在分布式并行这一块分析的素材多一些,工作量小一点....
    发表于 01-26 17:11 ? 2次 阅读
    AI框架的分布式并行能力的分析和MindSpore的实践一混合并行和自动并行

    【嵌入式AI入门日记】将 AI 模型移植到 RT-Thread 上(1)

    本期我们分享主题是如何将 AI 模型部署到嵌入式系统中,下一期将介绍如何在 RT-Thread 操作....
    发表于 01-26 17:08 ? 2次 阅读
    【嵌入式AI入门日记】将 AI 模型移植到 RT-Thread 上(1)

    Android手机身体检测&关键点

    第一步,老样子,先跑去抖音找一个漂亮妹妹的跳舞视频,这次不一样了,是视频呢!第二步,拆解视频。怎么去....
    发表于 01-26 17:00 ? 0次 阅读
    Android手机身体检测&关键点

    博尔捷数字科技集团荣获“年度影响力人力资源服务机构”奖项

    2022年1月14日,由环球人力资源智库(GHR)举办的“2021环球人力资源盛典”在上海隆重举行!....
    的头像 电子行业新闻 发表于 01-26 16:38 ? 138次 阅读
    博尔捷数字科技集团荣获“年度影响力人力资源服务机构”奖项

    鹿显DeerView:品质为上 打造国内知名会议平板

    随着科技水平的提升,社会即将步入人工智能时代。智能时代的到来,给人们的生活和工作带来了诸多变化。同样....
    的头像 话说科技 发表于 01-26 16:21 ? 142次 阅读
    鹿显DeerView:品质为上 打造国内知名会议平板

    复盘苹果3万亿市值投资版图,手握2500亿现金却最“抠”

    科技巨头成长记:一部每个人都要学的投资经
    发表于 01-26 14:17 ? 10次 阅读

    详细解读IBM通向无边界企业的五大路径

    在疫情新常态和新技术浪潮的叠加之下,哪些东西被永久改变了?除了人们的生活方式、工作方式,企业的经营方....
    的头像 IBM中国 发表于 01-26 14:03 ? 192次 阅读

    谷歌新一代AR头显细节曝光,元宇宙布局加快

    据媒体报道,谷歌正在开发下一代AR头显设备,项目代号为“Project Iris”,目前开发工作仍处....
    的头像 电子发烧友网 发表于 01-26 10:57 ? 193次 阅读

    学分绩点1.8的林田为什么能够成为华为“天才少年”

    电子发烧友网报道(文/吴子鹏)2022年伊始,华为便迎来了一位新晋的“天才少年”,他就是本硕博全部就....
    的头像 电子发烧友网 发表于 01-26 10:13 ? 159次 阅读

    干扰对单片机应用系统有何影响呢

    前言1 干扰对单片机应用系统的影响1.1测量数据误差加大1.2 控制系统失灵1.3 影响单片机RAM存储器和E2PROM等1.4 程序运行...
    发表于 01-26 08:08 ? 0次 阅读

    智能开关单火线技术的相关资料推荐

    单火线的由来控制一盏灯具只需要将开关串联在灯具所在的回路上。在传统的家庭中,我们使用机械式墙壁开关控制灯具的通断,若有多...
    发表于 01-26 07:56 ? 0次 阅读

    初学者如何选择元器件

    由于网络的发达,现在的电子设计的资料很多,很多同学从网上就可以找到比较完整的电子设计资料,看着电脑上的电路和图纸感觉一切...
    发表于 01-26 07:20 ? 0次 阅读

    分享一下远程升级单片机的设计思路

    关注+星标公众号,不错过精彩内容来源 | 嵌入式技术开发之前给大家分享过IAP升级APP的例子,今天为大家分享一下远程升级单...
    发表于 01-26 06:57 ? 0次 阅读

    i.MXRT上使能NOR Flash的Continuous read模式在软复位后无法正常启动问题的解决

      大家好,我是痞子衡,是正经搞技术的痞子。今天痞子衡给大家介绍的是i.MXRT上使能NOR Flash的Continuous read模式在...
    发表于 01-26 06:52 ? 0次 阅读

    【涂鸦物联网足迹】物联网基础介绍篇

    作为《生活大爆炸》四人组学历最低的一位, Howard 靠他的丰富表情、和老妈对吼以及各种歪才点子来....
    发表于 01-25 20:15 ? 15次 阅读
    【涂鸦物联网足迹】物联网基础介绍篇

    【涂鸦物联网足迹】涂鸦云平台全景介绍

    我们前面一篇文章以“隔空接吻机”为例子,对物联网的概念和框架做了一个简单的介绍,朋友们如果感兴趣,可....
    发表于 01-25 20:13 ? 8次 阅读
    【涂鸦物联网足迹】涂鸦云平台全景介绍

    如何基于App SDK快速地开发一个IoT App?

    在如今物联网DCM(Device、Connect、Manage)的大框架下,有一个应用层来分析和处理....
    发表于 01-25 20:11 ? 13次 阅读
    如何基于App SDK快速地开发一个IoT App?

    红外遥控接收发射原理及ESP8266实现

    红外遥控是利用近红外光进行数据传输的一种控制方式。近红外光波长0.76um~1.5um ,红外遥控收....
    发表于 01-25 20:09 ? 4次 阅读
    红外遥控接收发射原理及ESP8266实现

    算法优化入坑难?福音来了:算子自动优化工具AutoKernel正式开源啦!

    算子自动优化的发展趋势随着AI技术的快速发展,深度学习在各个领域得到了广泛应用。深度学习模型能否成功....
    发表于 01-25 20:05 ? 2次 阅读
    算法优化入坑难?福音来了:算子自动优化工具AutoKernel正式开源啦!

    灵动微国产32位单片机智能门锁解决方案

    智能门锁是指区别于传统机械锁的基础上改进的,在用户安全性、识别、管理性方面更加智能化简便化的锁具。智....
    发表于 01-25 19:58 ? 5次 阅读
    灵动微国产32位单片机智能门锁解决方案

    ?内存技术词汇表

    内存是计算机的重要部件之一。它是外存与CPU进行沟通的桥梁,计算机中所有程序的运行都在内存中进行。内....
    发表于 01-25 19:50 ? 4次 阅读
    ?内存技术词汇表

    触摸屏的基本概念是什么

    目录4.1通道:4.2 可视区(View Area,VA)与操作区(Active Area,AA)4.3 节距(Pitch)4.4 激光工艺与印刷工艺(丝印...
    发表于 01-25 08:15 ? 0次 阅读

    A4处理器是如何去定义的

    A4处理器 (A4 Processor)A4 Processor, designed by Apple Inc. on 27th January 2010 is billed as 'the most advanced...
    发表于 01-25 07:26 ? 0次 阅读

    探讨一下PCB板ESD保护电路设计

    来自人体、环境甚至电子设备内部的静电对于精密的半导体芯片会造成各种损伤,例如:穿透元器件内部薄的绝缘层;损毁MOSFET和...
    发表于 01-25 06:44 ? 0次 阅读

    运放差分放大器电路分享

    一个标准的运放差分放大器电路如下:当电阻R1 = R2和R3 = R4时,上述差分放大器的传递函数可以简化为以下表达式:增益 Gain...
    发表于 01-25 06:25 ? 0次 阅读

    HLW8032功率计有何特性

    功能:HLW8032功率计+esp8266WiFi插座 mixly blynk云监控+云控制开关插座疫情期间无聊搞点事情,哈哈。HLW8032功率计HL...
    发表于 01-25 06:22 ? 0次 阅读
    她的小梨涡完整版免费阅读