点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:三方联合推出人工智能安全评估平台
首页> 科普频道> 科普头条 > 正文

三方联合推出人工智能安全评估平台

来源:《中国科学报》2021-06-10 09:32

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  (记者沈春蕾)人工智能(AI)模型究竟是否安全,攻击和防御能力如何?日前,清华大学、阿里安全、瑞莱智慧联合推出了AI攻防对抗基准平台。该平台致力于对AI防御和攻击算法进行自动化、科学评估,AI安全基准依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES建立。

  参与该评测基准平台设计的阿里安全高级算法研究人员越丰打了一个比喻:“就像打仗一样,攻击者可能用水攻,也可能用火攻,还可能偷偷挖条地道来攻打一座城;守城的人不能只考虑一种可能性,必须布防应对许多的攻击可能性。”

  美国伊利诺伊大学计算机科学系教授李博认为,机器学习在推理和决策中的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中,但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布,并未考虑潜在攻击者恶意修改两种数据分布。

  他解释道,这相当于在一个人成长的过程中,故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动,误导机器学习模型的预测,或将精心设计的恶意实例注入训练数据中,通过攻击训练引发AI系统产生错误判断。这好比是从AI“基因”上做了改变,让AI在训练过程中按错误的样本进行训练,最终变成被操控的“傀儡”,只是使用的人全然不知而已。

  记者获悉,不同于之前只包含零散攻防模型的对抗攻防基准,此次三方联合推出的AI对抗安全基准基本包括了目前主流的人工智能对抗攻防模型,涵盖了数十种典型的攻防算法。不同算法的比测尽量采用相同的实验设定和一致的度量标准,从而在最大限度上保证了比较公平性。

  除此之外,此次发布的AI安全排行榜也包括了在刚刚结束的CVPR2021人工智能攻防竞赛中诞生的前5名代表队的攻击算法。此次竞赛获得了全球2000多支代表队提交最新算法,进一步提升了该安全基准的科学性和可信性。

  清华大学计算机科学与技术系教授朱军告诉《中国科学报》:“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法性能建立的AI安全基准具有重要学术意义,可以更加公平、全面地衡量不同算法的效果。”

  清华大学、阿里安全、瑞莱智慧三方都表示,该基准评测平台不是专属于某一家机构或公司搭建的平台,需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威AI安全评估平台。

[ 责编:武玥彤 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 【艺术公益大讲堂】朱世慧:我愿为京剧而生

  • 繁星追梦|邓秀新:我的“甜蜜”事业

独家策划

推荐阅读
研究小组发现,透翅蝶翅膀不仅鳞片较少,而且其中许多鳞片还转化为刚毛,使光更容易透过翅膀。
2021-06-24 13:24
莫里特森说:“大量制备结合FAD的鸟类隐花色素蛋白是一项重大成就,也是本次研究的关键第一步。这也意味着研究人员从实验上用迁徙鸟类的隐花色素蛋白验证了自由基对假说。
2021-06-24 13:23
6月23日,我国首个地球系统数值模拟大科学装置在北京怀柔科学城落成启用。该模拟装置的“区域高精度环境模拟系统”将显著提升我国应对环境问题的能力,使我国防灾减灾水平跃升到新高度。
2021-06-24 13:22
记者22日从合肥综合性国家科学中心了解到,该中心多途径磁约束核聚变研究中心自主设计建造完成国内首台紧凑环注入装备。
2021-06-24 10:03
近日,谷歌与哈佛大学的Jeff Lichtman实验室合作,发布了最新的H01数据集,最后可以看到初步的人类大脑皮层结构。该成果被称为“最强人类大脑地图”。
2021-06-24 09:52
石墨烯作为典型的二维纳米材料,具备化学、光、电、机械等一系列优良的特性而得到广泛应用,但石墨烯存在零带隙、光吸收率低等缺点,限制其更广泛地应用。
2021-06-24 09:46
地球上气态的空气、液态的江河湖海、固态的山石冰雪、不断演化的生命体……这些纷繁万物都可以被科学家装进“数值实验室”,用来模拟地球的现状,预测未来的气候变化。
2021-06-24 09:44
生态环境部数据显示,截至今年3月,试点阶段的碳市场共覆盖20多个行业、近3000家重点排放企业,累计覆盖4.4亿吨碳排放量,累计成交金额约104.7亿元。
2021-06-24 09:43
6月16日,高科孵化器开园仪式在武汉东湖新技术产业开发区高科大厦举行。
2021-06-24 09:36
通过培育低消耗、高附加值、高带动力的新兴产业集群,绿色低碳已成为苏州高新区的亮丽名片。
2021-06-24 09:35
云南大学材料与能源学院经过持续研发,解决了类石墨烯材料大面积均匀少层硫化铂的合成及其结构和物理性能的一系列问题,为更丰富的应用场景器件开发提供支持。
2021-06-24 09:34
中国科学技术大学郭光灿院士团队李传锋、柳必恒等人与奥地利科学院理论物理学家合作,实验观测到开放量子系统多步演化的非马尔科夫性,证明了量子记忆效应的操作依赖性。
2021-06-24 09:33
脊椎动物“从鱼到人”演化史中颌与牙齿的早期演化有了新实证。
2021-06-24 09:32
近日,美国斯坦福大学研究人员首次破译了与手写书信相关的大脑活动,并结合人工智能算法,实现“意念写字”。
2021-06-24 09:31
国家电网已累计建成“13交13直”特高压工程,在运在建特高压工程线路长度达到4.1万公里,变电(换流)容量超过4.4亿千伏安(千瓦),累计送电超过1.8万亿千瓦时。
2021-06-24 09:28
研究团队认为,那些位于有利位置、可以观测到地球经过太阳的恒星,可以作为未来搜寻潜在宜居行星的优先目标
2021-06-24 09:26
且冬奥会冰雪项目多集中在室外山地进行,地形复杂、局地小气候特征明显,对气象服务保障的要求可谓苛刻。
2021-06-24 09:23
6月23日上午,一场神舟飞船首任总设计师戚发轫院士的《中国航天与航天精神》报告会在香港理工大学举行。
2021-06-24 09:22
第5大类产业数字化部分,是指应用数字技术和数据资源为传统产业带来的产出增加和效率提升,是数字技术与实体经济的融合。
2021-06-23 15:02
近日,南京林业大学联合中国农业科学院农业基因组研究所在《自然—植物》在线发表了染色体级别的银杏参考基因组,这是目前已发表的组装质量最高的裸子植物参考基因组。
2021-06-23 14:50
加载更多