点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:三方联合推出人工智能安全评估平台
首页> 科普频道> 科普头条 > 正文

三方联合推出人工智能安全评估平台

来源:《中国科学报》2021-06-10 09:32

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  (记者沈春蕾)人工智能(AI)模型究竟是否安全,攻击和防御能力如何?日前,清华大学、阿里安全、瑞莱智慧联合推出了AI攻防对抗基准平台。该平台致力于对AI防御和攻击算法进行自动化、科学评估,AI安全基准依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES建立。

  参与该评测基准平台设计的阿里安全高级算法研究人员越丰打了一个比喻:“就像打仗一样,攻击者可能用水攻,也可能用火攻,还可能偷偷挖条地道来攻打一座城;守城的人不能只考虑一种可能性,必须布防应对许多的攻击可能性。”

  美国伊利诺伊大学计算机科学系教授李博认为,机器学习在推理和决策中的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中,但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布,并未考虑潜在攻击者恶意修改两种数据分布。

  他解释道,这相当于在一个人成长的过程中,故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动,误导机器学习模型的预测,或将精心设计的恶意实例注入训练数据中,通过攻击训练引发AI系统产生错误判断。这好比是从AI“基因”上做了改变,让AI在训练过程中按错误的样本进行训练,最终变成被操控的“傀儡”,只是使用的人全然不知而已。

  记者获悉,不同于之前只包含零散攻防模型的对抗攻防基准,此次三方联合推出的AI对抗安全基准基本包括了目前主流的人工智能对抗攻防模型,涵盖了数十种典型的攻防算法。不同算法的比测尽量采用相同的实验设定和一致的度量标准,从而在最大限度上保证了比较公平性。

  除此之外,此次发布的AI安全排行榜也包括了在刚刚结束的CVPR2021人工智能攻防竞赛中诞生的前5名代表队的攻击算法。此次竞赛获得了全球2000多支代表队提交最新算法,进一步提升了该安全基准的科学性和可信性。

  清华大学计算机科学与技术系教授朱军告诉《中国科学报》:“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法性能建立的AI安全基准具有重要学术意义,可以更加公平、全面地衡量不同算法的效果。”

  清华大学、阿里安全、瑞莱智慧三方都表示,该基准评测平台不是专属于某一家机构或公司搭建的平台,需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威AI安全评估平台。

[ 责编:武玥彤 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 百年接力,守护城市万亩林海

  • 山东:“渔光融合”共享海洋绿色资源

独家策划

推荐阅读
2025全球数字经济大会2日在北京开幕。除收录标准的优势外,东壁全球科技文献数据平台还根据中国科技界与教育界的习惯,对所收录期刊进行了学科分类。
2025-07-04 09:55
超材料是一类具有特殊性质的人造材料,而具有热辐射性能的超材料可以把多余的热量“打包”传递到外界,热辐射超材料可广泛应用于零能耗辐射冷却、建筑节能降温、航天热控等诸多重要领域。
2025-07-04 09:53
中国科学院院士、海南大学生物医学工程学院教授骆清铭团队成功绘制出了小鼠三维脑区和立体定位图谱
2025-07-04 09:52
7月4日,神秘的水星将迎来东大距,这是今年第二次水星东大距,观测条件依然不错。
2025-07-04 09:51
科学是生产力的核心要素。
2025-07-04 09:50
钙钛矿太阳能电池因成本低、效率高、易加工等优势备受关注,可应用于光伏发电、车载光伏、光伏建筑等领域。
2025-07-03 09:59
目前,对于10厘米以上大型空间碎片,航天器通常采用主动规避的策略,通过轨道调整,避开可能的碰撞路径。
2025-07-03 09:58
6月26日,中国民航局官网发布公告,提到为切实保障航空运行安全,自2025年6月28日起,禁止旅客携带没有3C标识、3C标识不清晰、被召回型号或批次的充电宝乘坐境内航班。
2025-07-03 09:56
药膳制作师既要懂烹饪,是餐厅的大厨,又要懂中医药理论知识,特别是能够作为食药物质的中药材。
2025-07-03 09:55
运动有助于健康和抗衰老。但究竟是什么让运动有这种奇效呢?我国研究团队历时6年,首次系统解析了人体对急性单次运动与长期规律运动的分子-细胞动态响应谱,揭示肾脏是运动效应的关键应答器官——其内源代谢物甜菜碱作为衰老延缓的核心分子信使,通过靶向抑制天然免疫枢纽激酶TBK1,协同阻遏炎症并缓解多器官衰老进程。
2025-07-03 05:20
近日,四川乐山一小伙感觉身体不适独自乘出租车前往医院就诊,途中开启“超强自救”模式:联系妈妈告知情况、打110报警求助、打120告知医院准备急救。如果长期处于焦虑引起的躯体化障碍状态,患者会反复出现头痛、心慌、呼吸急促、胃肠紊乱、肢体疼痛、睡眠问题等。
2025-07-02 10:06
使用人工智能大模型时,不少人或许都遇到过类似问题:它们有时会捏造细节,甚至“一本正经地胡说八道”。当“喂给”大模型的训练数据包含虚假信息时,它就会产生“幻觉”、给出错误答案。
2025-07-02 10:05
中国国际航空公司所属的国产C909客机平稳降落在蒙古国乌兰巴托成吉思汗国际机场,标志着国航首条C909国际航线正式开通。早8时许,这架C909客机从呼和浩特起飞,经过1个多小时飞行抵达乌兰巴托。
2025-07-02 10:03
农业是国民经济的基础,农业领域形成新质生产力是国民经济形成和发展新质生产力的基础和“底盘”。 农业新质生产力是通过提升劳动者素质、优化劳动资料和创新利用劳动对象,实现全要素生产率的显著提高。
2025-07-02 10:01
团队基于卫星遥感数据构建了1988年至2021年青藏高原30米分辨率人工草地数据集,明确了青藏高原主要的人工草地类型及其时空分布特征,并揭示了青藏高原人工草地的迅速扩张及其驱动机制。
2025-07-02 09:59
屠光绍认为,金融机构在应用人工智能时必须在服务投资人与消费者之间寻求平衡,避免AI鸿沟,坚守金融服务大众的初心。鲍建敏倡导构建产学研深度融合、开放共赢的人工智能金融生态体系,搭建跨机构、跨领域的协同创新平台。
2025-07-01 10:13
6月30日,2025温布尔登网球锦标赛在英国伦敦拉开大幕,引发球迷关注。在草地球场,球的速度更快且弹跳不规则,比赛回合较短,发球就成为球员们的重要“武器”。红土球场并不是天然土壤,而是分层分布着碎砖粉、白色碎石灰石、碎石等。
2025-07-01 10:09
7月1日起,医保定点医药机构在销售药品时,必须按要求扫药品追溯码后方可进行医保基金结算;2026年1月1日起,所有医药机构都要实现药品追溯码全量采集上传。步,进入国家医保局微信公众号主页,点击服务、药品追溯信息查询,进入查询页面;或进入国家医保局微信公众号消息对话页,点击医保服务、药品追溯信息查询,进入查询页面。
2025-07-01 10:09
记者从国家航天局获悉,7月1日,该局发布行星探测工程天问二号探测器在轨获取的地月影像图。(国家航天局供图)  月球全色图,由天问二号探测器的窄视场导航敏感器于2025年5月30日15时拍摄,经辐射校正处理后制作而成。
2025-07-01 10:08
龙芯中科近日正式发布基于国产自主指令集龙架构研发的服务器处理器龙芯3C6000系列芯片、工控领域及移动终端处理器龙芯2K3000/3B6000M芯片以及相关整机和解决方案。
2025-07-01 10:06
加载更多