谨防人工智能“合规蛮干”

日前在外军举行的一次模拟演练中，人工智能居然“合规蛮干”——为达到系统预先设定的得分要求，人工智能采取了令人难以想象的策略。当它确定目标后，人类操控员告诉它不要摧毁目标，它竟“杀死”了操控员；当给它下达“杀害操控员不对，这样做会丢分”的指令时，它又采取迂回策略，摧毁了操控员与无人机联系的通信塔。尽管事后有人否认此事，但无论真假，从人工智能的功能特性看，这样的事是完全可能发生的。

人工智能为达目的而“杀死”人类操控员，看似很荒唐，实质上却符合系统设定的“游戏规则”。这里，我们不妨演绎一下它的运行程序及原理：开始，系统明确得分要求，人工智能理所当然地会选择得分项目；接着，操控员告诉它不要摧毁目标，它便选择摧毁操控员，因为操控员阻止它得分；后来，系统告诉他“杀害”操控员会被扣分，它便以迂回手段摧毁通信塔，使操控员无法与无人机取得联系。在整个过程中，人工智能似乎并未违反预先设定的规则和程序，它只是在利用既设条件来达到自己的目的。

这确实是一件颇有意思且耐人寻味的事情。当今世界，已然进入人工智能快速发展和普遍运用的时代。业界认为，人工智能将改变世界，也将改变战争模式和战场形态。在未来信息化智能化战争中，人工智能将扮演越来越重要的角色。但其前提是，人工智能必须始终听命于人类操控，不会采取“合规蛮干”等看似无错实则可能酿成大错的危险举动。在既有条件下，要满足这个前提，应当着力解决以下三个问题。

首先，竭力避免设计制造的“先天不足”。为了获得最优结果，人工智能会根据系统设计和生成的相关条件，采取迂回、绕道等路径和方法，“合理合规”地逾越系统设置的各种障碍而达成自定目标。这就要求在事先的技术设计和系统生成中，进行科学严谨的周密设置，使其难以作出类似“合规蛮干”的自主之举。尤其重要的是，任何一项用于武器和作战系统的人工智能，都应该进行充分周密、饱和细致的试验论证，切忌草率上马、仓促运用。这也正是业界担心人工智能无序发展最终可能伤害人类自身的关键所在。

其次，严格防范作战使用的“意外事件”。鉴于人工智能具备一定的自主思维能力，使用时应该考虑其诸如“合规蛮干”等负面效应，防止其像野马脱缰一样脱离人的操控而出现意外。作为人工智能的操控者，需要具备快速反应和有效处置能力，为此须有周全的预案和对策，不能因为人工智能“自主运行”而任其所为，也不能因为“事发突然”而束手无策。当出现各种意外情况时，能够根据预备方案和预定对策进行快速准确的应对和处置，将其破坏性降到最低限度。

再次，不断强化人工智能的“辩证思维”。从现有人工智能的功能特性看，它具有一定的自主分析、判断、推理、演绎等功能，但这些自主功能无不来源于人类设计的前提性和逻辑性。人完全可以预先设计和有效控制人工智能基于程序条件和逻辑推理的各种特性和功能。关键在于通过科学设计生成、强化智能功效等途径，切实提高它的“辩证思维”能力，避免出现为了“得分”而千方百计地利用系统缺陷、漏洞而实施与人类预设目标大相径庭甚至南辕北辙的“盲动”和“蛮动”。

人工智能“合规蛮干”事件还警示我们，包括人工智能在内的现代信息技术是一把利弊并生的“双刃剑”，人们在充分运用它的优长和“利好”的同时，必须考虑它的缺陷及其消极后果。在不能准确预见和有效控制其负面作用的情况下，不能盲目发展它、一味依赖它、无序运用它。尤其在未来战场上，随着“发现即摧毁”“疏漏即失败”等理念引领战术战法，作战行动的突然性、快速性越来越突出，任何看似并非人为的意外事件，都可能带来一时难以消弭的严峻态势。特别是人工智能系统中诸多不可逆的功能特性，决定了使用者既没有可以从头再来的机会，也没有可以反复试验的载体，故而应慎之又慎、察之再察。

来源：解放军报