愿空难不再有-波音737MAX8悲剧后的产品反思

为所有空难的遇难者致哀。
3月10日,埃塞俄比亚航空一架737MAX8客机,在起飞阶段坠毁,机上157人全部遇难,有8位是我们的同胞。短短4个半月之前(去年10月29日),印尼狮航的同一机型在起飞阶段坠毁,机上189人遇难。
一般空难多发生在服役多年的老旧机型。737MAX8可是波音力推的新机型,两驾客机分别只有3个月和4个月的机龄。都是在起飞阶段,坠毁前都发生过多次剧烈升降,且机长都报告过操作困难。两起空难的诸多相似点,让大众对波音产生强烈的怀疑。
空难的事故原因认定,可能要花费好几年。但很多行业专家都提出了相对一致的猜测,且在第一次事故发生后就有人提出相同的分析:空难的根源可能是新机型上的(机动特性加强系统)。
(以下内容均为行业专家的推论,最终事故原因要等官方调查结论。)

737MAX8的最大卖点,是配备马力更大的LAEAP-18发动机,“更加节能、噪音更低”。但这款发动机可能会导致机翼产生更大的迎角而失速。为解决该问题,波音增加了MCAS系统。空难很有可能就是因为MCAS误判,不断自动压低机头导致坠毁。
为新型发动机改动机身设计,面临高额的设计、开发、审核、培训承办。选择在经典机型上安装新发动机是个不错的选择。但新型发动机更大,只能提高安装位置,可能会导致俯仰配平性能变化(飞机机翼迎角过高)。为了解决这个问题,波音选择增加MCAS系统。
增加新系统需要对客户进行培训,会增加不少成本,于是波音选择隐瞒(为告知客户,操作手册中也未提到)。这导致一般系统误判,飞行员连发生什么都不知道,更不要说处理问题。系统不但被隐藏,触发之后权限还高于人工操作,不断重复激活压低机头。
针对触发的条件,居然没有对两个传感器的数据进行校验,只要有一个传感器判断即可触发。为什么做出这么愚蠢的设计?还是为了隐藏MCAS,两个传感器数据不一致时,就需要触发人为判断,这不就没法隐藏了么……

我发现这种错误逻辑在很多产品(尤其是企业系统)中存在。尝试假设一个例子,讲述类似的错误。

A公司有一个龙头产品,服务某垂直行业的业务数据分析系统,为分析人员提供数据分析工具。这套系统多年来市场反响不错,但已经逐渐陈旧,随着人工智能技术的逐渐成熟,公司希望研发智能分析算法继续在该应用领域的辉煌成就。
经过技术攻关,公司研发出了想要的分析算法。但是要让算法在产品中体现,要么重构系统,但是周期长成本高。要么在原有系统内迭代,成本更低,周期也短。但是系统迭代时发现,新的算法与原系统部分数据计算有冲突,可能产生数据冗余。为了解决该问题,研发团队在系统中增加一个数据自动校验并删除冗余数据的功能。为了降低培训成本及降低客户对系统不稳定的疑虑,公司选择不对客户声明和培训这个辅助功能。
为了迅速推向市场,相关功能未进行深入的测试和试运行。且对辅助系统误差触发后,对数据可能误删的验证度估计不足。
推向市场之后,不久在一个小客户使用中,第一次出现问题,因为辅助功能判断失误,将客户重要业务分析数据清空。问题发生后A公司推卸责任,也未及时修正错误。
最终,在多个客户之后的使用中,造成了更大损失。

企业应用出现问题不像空难,造成直接的人身伤亡,不管对遇难者还是对家属都是巨大的悲痛和损失。企业应用直接和经济效益挂钩,造成的经济损失也会非常巨大。
例如:光大乌龙指事件。光大投资部的套利策略系统中订单生成功能存在缺陷,导致特定情况下生成预期外的订单。该系统完全独立于公司其他系统,甚至未置于公司风控系统监控下。2013年8月16日上午11时05分08秒之后的2秒内,瞬间重复生成26082笔预期外的委托订单,并被直接发送至交易所。前后共下单230亿,成交72亿,涉及150多只股票,当日盯市损失约为1.94亿元。

因此,设计企业应用系统,尤其是涉及核心业务数据、业务交易、业务保障等方面的系统要尤其谨慎。为节省成本,放弃重构,选择迭代无可厚非。对新功能做出理性判断,增加辅助功能,也是正常思路。但需要认真对待:

  • 不隐瞒辅助功能
    不光不要隐瞒,最好还要与客户的业务人员深入沟通。毕竟设计人员和实际业务之间有不少信息差。业务人员的反馈,可能会让你提高发现很多隐患。
  • 谨慎设计辅助触发条件
    辅助功能的触发条件,一定要考虑各种极限和边界情况。当多渠道数据不一致时,要触发人为判断。将核心的判断交给人,而不是机器。
  • 控制人工和智能的边界
    当前AI技术条件下,智能仍无法替代专业人员,特别是最核心的决策层面。合理限制智能的边界,让其成为辅助专业人员,提高决策效率和质量。

很多悲剧本可避免,利益和短视却带来空难。

愿空难不再有,愿人祸不再来。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容