点击右上角
微信好友
朋友圈

请使用浏览器分享功能进行分享

编者按:
进入人工智能时代,人们常常惊艳于大模型的强大生成能力。可现实中,AI幻觉、芯片失效、系统宕机等可靠性风险也随之提升。会“说谎”的大模型、会出错的AI芯片、物理场景下发生意外的智能载体……这些都提醒我们,技术不仅要追求聪明高效,更要做到可信可控,筑牢“智能时代的信任基石”。AI可靠性已经成为人工智能产业落地应用必须研究的关键课题。
为此,中国科协科普部、中国指挥与控制学会、光明网联合策划推出“AI可靠性——智能时代的信任基石”系列科普视频,邀请北京航空航天大学可靠性与系统工程学院教授、中国指挥与控制学会可靠性系统科学与工程专业委员会总干事杨顺昆担任主讲专家,立足科研与产业一线,通过实际案例,揭开智能系统可靠性背后的隐患、保障手段与时代价值。
有人说“软件正在吞噬世界”,还有人说得更狠,“人类文明运行在软件之上”。
话有点夸张,但道理是对的。从民航客机的飞控系统到自动驾驶的感知决策,从空间站的生命维持到你手机支付的每一笔交易,软件无处不在。
软件一出问题,代价是真的大。
波音737 MAX的两起坠机事故,就是由于机动特性增强系统(MCAS)的致命缺陷,夺去了346条生命。2025年10月,美国国家公路交通安全管理局对大约288万辆特斯拉展开调查,58起报告里有14起事故,都指向特斯拉驾驶辅助系统软件闯红灯、违规变道。
这些还是大公司、大项目。那普通软件呢?
Sonar公司在2025年发布的一份报告显示,全球超过97万名开发者,在79亿行代码里留下了4.45亿个问题。平均每百万行代码,就有大约2100个可靠性缺陷。软件缺陷带来的经济代价也越来越高。数据显示,高影响的IT停机事件,年均中位成本高达7600万美元。软件故障造成的全球经济损失,已经是数万亿美元级别。
那软件可靠性到底怎么保障?咱们借用中医的说法,叫“望闻问切”。
“望”,就是代码审查和静态分析。用工具扫一遍代码,像医生看气色,快速发现明面上的问题。最基础也最省钱。
“闻”,就是动态测试。运行程序、注入各种输入,观察系统有没有异常。但有句经典的话:测试只能证明错误存在,不能证明没有错误。
“问”,就是需求追溯和评审。搞清楚软件“应该做什么”和“实际在做什么”之间的差距。很多最根本的设计缺陷,都是在这一步发现的。
“切”,就是形式化验证。这是软件可靠性保障的“核磁共振”,它用数学逻辑精确描述和验证系统行为,从理论上证明系统不会出错。如果测试是“在黑屋子里找黑猫”,形式化验证就是直接对着建筑图纸做数学推导。
听起来很完美对吧?但系统越复杂,形式化验证的成本就越高。所以真正的工程实践,还是“望闻问切”组合拳。
而且,最好的医生不是治好病的人,而是让人不得病的人。软件可靠性的终极目标,也是“治未病”,在缺陷产生之前就把它干掉。设计上做模块化和冗余容错,开发上严格编码规范,运维上实时监控快速响应,三道防线一起上。
软件“吞噬”世界,而可靠性守护世界。这,就是每一位软件工程师的使命。
监 制
光明网科普事业部
科学审核
杨顺昆
策 划
肖春芳 宋雅娟
编 导
肖春芳
统 筹
杜 颖
文字编辑
李 瑾(实习)
联合出品
中国科协科普部
中国指挥与控制学会
光明网
