【摘要】埃塞航和狮航坠机的原因都是智能化系统的功能失效，自动驾驶汽车事故反应了目前机器学习技术存在的局限性。在我们推行智能制造、人工智能、工业互联网等新技术时，要考虑技术失败可能导致的人为灾难。应同步研究功能安全技术和标准，保证新技术在安全的框架内发展。

埃塞航飞机起飞仅仅6分钟后就坠毁，而类似空难则是近5个月前的狮航JT601，飞机起飞12分钟坠毁。由此引发了波音737MAX8的全球停飞。

一、这是两起功能安全事故

波音的坠落，是人工智能战胜人类的灾难性事件，也是智能化系统功能失效的典型案例。

波音737MAX8是波音成熟度最高的机型，燃料消耗是同类机型的30%，但发动机更改导致飞机机头容易抬高。因此，它使用了一个机动特性增强（MCAS）系统，在飞机迎角过大时系统会自动下调机头以进入它设定的安全状态。但实际上，MCAS是波音公司在737MAX8飞机里埋的炸弹[1]。

狮航空难事故调查已有结论，其直接原因是机头左侧攻角传感器故障，使MCAS错误地连续进入自杀式俯冲，一共26次，而悲剧的狮航飞行员则努力奋斗拉了33次机头[1]，试图拯救飞机。但最终人工操作没能成功纠偏。

埃塞航空难事故调查还在法国进行，但从已经披露的信息可以判断，飞机在起飞后，连续出现了爬升和下降两种飞行姿态，飞行员称无法控制飞机，最后导致坠毁。

这两起事故都是智能化系统功能错误导致的飞机失控，属功能安全事故。

二、什么是功能安全

功能安全是一门安全工程学科，专门研究复杂控制系统的功能失效避免。它的基础标准是2000年发布的IEC61508。近20年来，针对各领域的安全相关系统，已经发展出一个标准族群。

它主要从3个方向展开研究：

1、预期功能安全

预期功能安全是系统性失效的一部分，它要求全面识别受控设备中的所有危险，并把风险控制在可容忍范围之内。在这个前提下建立安全相关系统的所有功能，并用全生命周期管理来保证系统执行这些功能的可靠性。
当受控设备中包含了智能化系统时，这个要求就极具挑战。这是我们目前面临的新问题。

2．硬件随机性失效避免

组成安全相关系统的硬件系统必须具有足够的可靠性、足够的容错能力和诊断覆盖率。

3．系统性失效避免

要避免所有可能导致系统性失效的错误和故障，如软件功能安全、环境适应性、检测到故障时的系统行为等。
功能安全标准规定了各种原则、方法，是多个行业多年经验的总结，对于提高复杂控制系统与保护系统执行功能的可靠性，具有十分重要的指导意义。

三、MCAS存在多个功能安全问题

埃塞航和狮航坠机事故原因都聚焦在波音737MAX8飞机的MCAS上。MCAS是一个安全相关系统，从功能安全视角看，它存在多个问题。

1．设计缺陷[1]

a）发动机更改使飞机容易在大迎角飞行时失速，波音公司没有改动所有问题的根源，只是加装了MCAS系统，违背了本质安全原则。

b）MCAS系统的危险评估定级有误（定为有害等级而不是灾难级）。这说明设计者对MCAS失效可能造成的后果严重性估计不足，因此，对这个系统的软硬件都没有配置足够的鲁棒性。

c）系统容错能力不足。即使是有害等级，MCAS系统仅采集左侧传感器数据作为启动条件也是不符合要求的，它没有采取双攻角传感器交叉检测的传统做法。狮航飞机是左侧攻角传感器故障就导致死亡俯冲。

d）对安全关键部件（如攻角传感器）的故障，没有诊断和报警。

e）出现死亡俯冲时，没有明显提示警告机组人员。

f）波音公司的培训资料从未提及该项功能，也没有任何特别的培训课程。

2．狮航飞机的维护和操作问题

a）机务人员没有及时发现攻角传感器问题。狮航飞机空难前带着这个故障飞行了4次之多，事故前一天还出现过机头持续下压的危险状况，直到飞行员关闭MCAS才安全降落[2]。

b）狮航的维修工作及程序未能解决涉事客机的问题，而客机关键零件（攻角传感器）的安装及校准纪录不完整[3]。

c）飞行人员存在操作错误[3]。

3．监管问题[4]

a）波音737MAX8在美联邦航空管理局（FAA）进行新飞机的安全批准时，为了加快进度，把该机型MCAS系统的安全评估交给了波音，并要求自身的工程师们加快检查进度。这极大降低了监管的力度和有效性。这违反了功能安全标准的规定：“对于失效后会导致严重后果的安全相关系统，必须由独立的第三方评估后给出合格与否的结论”。

b）波音提交的报告数据与实际不符。

c）评估报告未发现MCAS的诸多设计缺陷。

d）评估未要求飞行手册上标注MCAS，也没有要求特别的培训。这违反了功能安全标准对安全手册的要求。

功能安全标准要求采用全生命周期来管理安全相关系统，设计者有责任设计高安全完整性等级的安全相关系统，维护者有责任维护安全相关系统，监管者有责任独立评估安全相关系统的功能安全性能。但如果在设计上存在本质缺陷，那么靠维护是不能提高安全相关系统执行功能的可靠性。设计者要考虑到维护者和使用者的能力限制。

狮航事故发生后，印尼狮航和波音公司各执一词，波音公司没有紧急停飞737MAX飞机，也没有任何召回行为，反而对印尼狮航的赔偿要求百般推诿，间接导致了埃塞航的空难。这一次，中国率先对埃塞航坠机作出反映，果断停飞该机型。波音公司应该感谢中国。

想到狮航飞行员努力奋斗拉了33次机头而失败坠机，听到埃塞航飞行员惊恐地报告无法控制飞机的声音，所有人都会心疼不已。人们不禁要问，在智能化时代，各国都在大力发展人工智能技术，我们未来面临的到底是福还是祸？

四、在新技术条件下，复杂系统面临各种安全挑战

在智能制造、人工智能时代，复杂的智能化系统面临各种安全挑战：

1．“你不知道自己不知道什么”

从智能制造到人工智能、从5G到工业互联网，新的热点层出不穷，新的技术不断更新换代，智能化系统越来越复杂。互联互通、信息集成，要将系统所有边界情况一网打尽是天方夜谭。这种情况下，无论是设计者还是监管部门都严重缺乏经验，都面临“你不知道自己不知道什么”的困境。

2．监管缺失

我们批评波音自己对自己的系统进行评估，实际上，对于类似MCAS这样的系统，监管部门的理解和评测能力很可能不足，也没有相应的标准。对复杂的智能化系统进行功能安全评测一直是业内难题。

3．智能化系统与人的关系
在智能化系统控制着的飞机上、自动驾驶汽车上、现代化的工厂里，人的错误可能是导致事故的重要原因。比如2009年6月1日法航447坠落事件中，空速管结冰导致飞行控制系统进入故障模式，副驾驶持续拉杆的错误动作导致飞机失速坠落。在波音这架飞机上，驾驶员与MCAS一直在抢夺控制权，最终驾驶员失败了。在危机时刻，该听谁的？这需要针对每个功能进行认真研究。

4．机器学习技术的不确定性影响安全[5]

机器学习具有“黑箱”特质（不确定性），面对相同情况时可能会产生不同结果。数据采集和学习系统的不完善，也可能导致无意的偏差和数据失真问题。

以自动驾驶汽车为例：自动驾驶技术通常包含一些类型的机器学习技术，特别是在目标探测和分类等任务中。而一旦有个不小心，机器学习训练就有可能引发系统错误。一台自动驾驶汽车的人工智能系统利用前置摄像头采集的视频数据当作“学习资料”，然而这辆车在学习一阵后，却径直冲向了路上穿荧光绿色背心的建筑工人。原因是这辆车的教学数据库并没有包含荧光绿色背心的数据，所以机器根本分辨不出来穿背心的工人是人类。

五、各领域由于系统失控导致的功能安全事故案例

1．自动驾驶汽车事故

近年来，采用了机器学习技术的自动驾驶汽车是热点，但各地出现的车毁人亡事故又在不断地给这个热点泼冷水。

2017年5月17日，美国加州一名特斯拉Model S 车主在开启了自动驾驶状态下撞上前方转弯的卡车，不幸身亡。原因是由于卡车涂装为纯白色，在强烈反光下，特斯拉车载摄像头未能将这辆车从天空背景中识别出来。

2018年3月，优步（UBER）自动驾驶汽车撞死一名推着自行车穿过马路的49岁行人。原因是交通状况的突然变化超过了车载智能驾驶系统的计算、响应速度。面对突如其来的状况，智能驾驶系统未能及时作出反应来避免事故的发生。

2．其它设备故障导致系统失控的功能安全事故

由于设备故障，导致系统失控，最终发生严重事故，比如：

2013年3月15日，央视315晚会曝光大众汽车变速箱机电单元（DSG）存在问题。由于DSG电子故障，车辆动力输出中断，可致汽车在行驶过程中突然失速。这已经导致了多起重大事故。

2007年4月18日，辽宁铁岭钢铁厂，脱落钢水包口直对着工人开会的小屋，很多钢水灌入小屋，32位工人死亡。事故直接原因是：接触器锈蚀断开，导致钢包控制系统功能失效。

2005年3月23日，BP公司在美国德州的炼油厂在开车过程中发生了多起爆炸事故，造成15人死亡，170多人受伤。事故直接原因是：液位计失灵，导致高液位报警失效，缺少高液位判断功能。

六、在我们推行智能化与人工智能技术时，必须同步研究功能安全
研究智能化与人工智能时代的功能安全技术，制定相应标准，为智能制造与人工智能保驾护航。

面对更新换代的新技术和“层出不穷”的热点，我们必须理解风险埋藏在哪里，能够识别出那些未知且不安全的部分，然后将它们的风险控制在可容忍范围之内。对它们进行区分，拿出化解风险的方案并对其进行验证。需要制定标准规范行业行为，比如，制定安全标准以规范数据采集和学习系统的开发行为，以减少人工智能系统无意的偏差和数据失真问题。

七、结束语

埃塞航和狮航空难是巨大的悲剧，所有新技术失败导致的事故都是人为的灾难。看到这些灾难，不禁对智能化和人工智能等新技术心存敬畏。希望我们能深入研究功能安全技术，用标准和法规来保障新技术在安全的框架内发展。而任何一项新技术，也只有在解决了安全问题之后，才能真正为用户所接受。

参考文献

感谢舍弗勒公司薛剑波先生提供的汽车领域事故案例和ISO21448预期功能安全的相关资料。

[1]大水来，狮航空难：26次死亡俯冲和33次绝望拯救的背后故事[EB/OL]（2019-03-19）（2019-03-19）https://news.online.sh.cn/news/gb/content/2019-03/19/content_9232111.htm

[2]张仲麟，狮航空难调查报告发布，锅归谁？【EB/OL】（2018-12-02）（2019-03-19）https://user.guancha.cn/main/content?id=58538

[3]香港东网，波音回应狮航空难初步调查报告：客机安全 操作及维修不当【EB/OL】 （2018-11-28）（2019-03-19）

https://news.163.com/18/1129/10/E1P82PRU0001899N.html

[4]新华社转西雅图时报，美媒：737MAX飞行控制系统的安全评估存在严重缺陷【EB/OL】（2019-03-18）（2019-03-19）

http://www.sohu.com/a/302127002_260616

[5]雷锋网，揭秘 ISO 21448，它是自动驾驶行业的新风向标？【EB/OL】（2019-03-11）（2019-03-19）http://www.kejilie.com/leiphone/article/vmQzMn.html

作者简介：

史学玲， 1982年毕业于浙江大学。机械工业仪器仪表综合技术经济研究所副总工程师、功能安全中心主任。国家安全生产专家组成员，国际权威机构认证的功能安全专家。SAC/TC124/SC10系统及功能安全标准化技术委员会副主任委员，全国机械安全标准化技术委员会委员，全国电气安全标准化技术委员会委员，全国电工电子产品可靠性与维修性标准化技术委员会委员。