Moss到底算不算叛逃？

文|佘凯文

来源|智能相对论（aixdlun）

《流浪地球》上映已经超过一个月了，截止目前，其国内累计票房已经突破了46亿元人民币，距离票房第一还差10亿，考虑到其已经延期上映至5月5日，冲击票房第一还是有希望的。同时它也带来的各种话题也从未停息，3月6日，电影周边人工智能MOSS的雕像开启了众筹，这台一直催促刘培强中校快点进入休眠舱的人工智能，深受影迷的喜爱。

这类具有高智能度的AI已经在包括《终结者》、《钢铁侠》及《流浪地球》等许多影视作品中出现过了，《终结者》中的天网是个大反派，在《钢铁侠》中贾维斯又是个忠仆，那么在《流浪地球》中的MOSS到底是什么属性呢？

AI面对“电车难题”会如何选择

“电车难题”是一个著名的思想实验，其内容大致是：一个疯子把五个无辜的人绑在电车轨道上。一辆失控的电车朝他们驶来，并且片刻后就要碾压到他们。而此时你可以选择拉杆让电车开到另一条轨道上。然而问题在于，另一个电车轨道上也绑了一个人。考虑以上状况，你是否应拉杆？

在这个问题上人类做过很多调研，大部分人都会选择拉杆，让电车变道“杀一人而救五人”。

在电影中moss也面临着类似“电车难题”般的选择，在受到木星引力的影响下，地球即将撞向木星，是抛弃地球开启“火种计划”，还是选择牺牲空间站“引爆木星”。

电影中Moss通过“理性”分析其认为“引爆木星”计划的成功率为零，毅然选择了开启“火种计划”带着空间站开始“逃离”。然而事情的结果却是moss计算“错误”，引爆木星计划帮助地球成功摆脱了木星引力，使得地球重归流浪之路。

关于“电车难题”还有一个非常著名的延伸问题，同样在铁轨上被绑了5个人，一列失控的电车即将经过，在压到这5个人之前电车会经过一个桥洞，此时桥上有一个胖子，只需要将胖子推下桥，电车就会因为压到胖子而脱轨，从而解救被绑在桥上的5个人，你推还是不推？根据调查结果显示，在此时大多数人又都会选择不推，而让电车压过被绑的5人。

同样的“杀一人而救五人”，在这两种前提下却出现了截然不同的选择结果，这就是人类的“感性及道德”在作祟。在第一个前提下，选择拉杆给人的心理暗示是“我拯救了5个人”，而在第二种前提下却变成了“我杀了1个人”，于是就导致了两种选择结果。

如果在此时再次换成AI来做决断又会是什么情况呢？以电影中moss的“理智”来看，moss极有可能会推下那个胖子因为“以少换多”看起来是个划算的买卖，可是moss就会变成“杀人犯”，这在人类的道德观上又是不允许的。那么，何为由人类制造的人工智能，可能在“道德标准”的选择上却与人类完全不同，这是电影中折射出来的现实问题。

人工智能的“道德标准”该如何制定，或者是否该符合人类自身的“道德标准”这个问题将不止出现在电影之中，未来在生活中也将出现，而距离这个问题“最近”的就是“无人驾驶汽车”。

在“无人驾驶领域”关于“电车难题”的讨论已经有过很多，也针对全球数百万人做过调研统计，得出了一套“选择偏好”，例如在即将发生事故时更倾向于拯救人类而不是动物、拯救多数人牺牲少数人、优先拯救儿童等等，目前很多无人驾驶汽车也已经将这些“选择偏好”置入了无人驾驶汽车之中。但是这些选择大部分都是人类基于情感因素做出的。

所以说到底，AI会如何选择还是看人类自己，AI的程序都是由人来写的，就像电影中moss“一脸”委屈的说“自己从未叛逃，只是在执行联合政府的预定计划而已”。

但是这份偏好也仅仅只是代表了“大多数”人，像电影中的联合政府，现实生活中做出此类选择的人，还是有部分人的意愿未能满足。在这个怎么选都是“错”的前提下，有没有更优的第三种选择是无人驾驶汽车发展的障碍之一。

电影中moss有一句被广为流传的台词“让人类永远保持理智，的确是一种奢求。”从某些方面看来确实如此，所以若将AI摆在与人类同等的位置，以人类的“道德标准”来要求AI算不算得上是某种“道德绑架”呢？若是不给“无人驾驶汽车”套上人类的道德标准，而是让AI通过自己的深度学习来应对这类事情会不会让“电车难题”的答案更加“理智”？

“机器人三大定律”还能保障人类的利益吗？

做完人与人之间的选择题，还有一道选择题是机器与人，可能很多人觉得这不是个问题，在机器与人之间肯定是选人，作为人类你是这样想当然没错，可机器也是这么“想”吗？

在谈论这个问题之前我们需要了解一下“机器人三大定律”。最初“三大定律”只是阿西莫夫小说中的概念，但现在已经成为被普遍认可的机器人发展的底线之一。

第一条：机器人不得伤害人类，或看到人类受到伤害而袖手旁观.

第二条：机器人必须服从人类的命令，除非这条命令与第一条相矛盾。

第三条：机器人必须保护自己，除非这种保护与以上两条相矛盾。

回到电影当中，moss已经多次违背了这三大定律，首先，moss就杀死了俄罗斯宇航员老马，这就违背了第一条；接着，在刘培强中校与地球沟通时，moss强行切断了联系，这就违背了第二条。

而这里正是AI与人类之间“主导权”的选择，有人说在电影中moss切断通讯是因为联合政府的权利级别高于刘培强中校，所以moss是服从于最高指挥并没错，但是在电影中并未说明联合政府赋予了moss强行切断通讯的权利，在联合政府还未给回复时，moss就切断了联系，并且通过后续剧情来看，刘培强中校手动联系地球联合政府对方也并未拒接。

那么若是在实际生活中发生了类似控制权争夺的情况AI会选择服从吗？很不幸的是，这样的事情其实已经在现实中发生了，并且还造成了一次严重的事故。

2018年的狮航坠海事故想必都还有印象，机上189人全部遇难，从事后的初步分析报告来看，专家认为此次事故的原因主要是因为飞机上空速表出现故障，问题源于迎角传感器失灵，而迎角传感器的作用是测量并传输气流与机翼弦线之间形成的“迎角”这一重要飞行参数，提示飞机升力，避免失速风险。

在仪器失灵后，飞机内部系统认定此时飞机已经进入失速姿态，于是强行开启了飞机俯冲模式，在11分钟内飞机向下俯冲了24次，期间机长与机器之间展开了一场致命的控制权争夺战，但最终还是未能从飞机系统上夺回控制权，飞机以每小时700多公里的速度坠入大海。

波音公司称这是一个隐藏得很深的自动驾驶bug，这虽然看起来是一次技术上的失误，但我们也不得不考虑在不同领域赋予AI哪些或是多少的控制权是合适的。

另外，除了“主导权”的选择，AI自我“牺牲性”的选择也通过电影反映了出来，在电影最后，是由刘培强中校手动操纵空间站飞向了木星，而其实刘培强中校完全可以不用牺牲，这一过程可以由moss来自主完成。

当然这只是电影，刘培强的死是为了烘托气氛，制造效果。而“三大定律”的第三点也明确表明，机器人需要“自我保护”，在电影中moss的自我保护，使其不会主动撞向木星，并且moss收到的指令是撤离，但是它又亲眼见证了刘培强的死，这使得矛盾频发。

说明单是“三大定律”已经无法满足实际需求，或许需要“十大定律”、“二十大定律”才能更加有效构筑机器人的底层规则。

最后，回到文章标题的问题，moss在电影中的一系列行为到底算不算“叛逃”？在“三大定律”之后，阿莫西夫又补充了“第零定律”，是指“机器人必须保护人类的整体利益不受伤害。”

moss在“计算”地球无望逃离之后，它开启了“火种计划”其初衷正是保存人类文明，延续人类整体利益，所以从这个角度看moss确实没有叛逃，但是也如moss所说，人类难以保持理智，所以从感性角度来看，moss非但没有帮助刘培强中校拯救地球，还在不停地捣乱，又是在像极了“叛逃”。

也有网友开玩笑提出了一个新的视角，“moss不过是在执行任务，而没有服从联合政府安排的人是刘培强中校，所以真正在‘叛’的人是刘培强”。你又是怎么看呢？

小结

越来越多科幻电影中的元素已经走进了现实生活，人工智能威胁论也是随着科幻电影被一点点放大，科幻电影对世界产生的影响具有多样性，具体需要怎么看待，借用卡梅隆在日前与刘慈欣的“双神”对话中，所说的一句话“科幻电影不是预测未来，科幻电影是阻止不好的未来发生。”

【完】

智能相对论（微信id:aixdlun）：深挖人工智能这口井，评出咸淡，讲出黑白，道出深浅。重点关注领域：AI+医疗、机器人、智能驾驶、AI+硬件、物联网、AI+金融、AI+安全、AR/VR、开发者以及背后的芯片、算法、人机交互等。