第69期：人类决断权：军用智能武器的底线 ——《流浪地球2》提出“人在回路“概念--中国数字科技馆

第69期：人类决断权：军用智能武器的底线 ——《流浪地球2》提出“人在回路“概念

第69期：人类决断权：军用智能武器的底线 ——《流浪地球2》提出“人在回路“概念 0:00

最新发布时间： 2023-03-06 浏览数：

　　本专栏面向科普工作者和社会公众常年征稿（点击“投稿说明”查看详情），征稿邮箱：zhaozheng@cstm.org.cn。

　　1月22日上映的《流浪地球2》热度仍然不减。在这部影片中，太空电梯、行星发动机、引爆月球、数字生命，超越现实的科学奇观被无数人津津乐道，洛希极限、引力弹弓、量子纠缠、人工智能，大量前沿科学概念被竞相解读，许多故事情节也引发了人们对未来社会的深层次思考。

（插图作者：杜仁杰）

　　影片开幕第一场大戏“无人机叛变”就折射了充满变数的未来“智能战争”：停放在机库里的大量“掠夺者”无人战机突然自行启动飞行，以密集的蜂群编队对航天基地大肆扫射，联合政府的多国空军战机仓促起飞，展开了惊心动魄的大空战。事件的起因是无人机控制网络被侵入，使本该为人类安全服务的“掠夺者”成为针对人类的杀手。

　　近年来，世界局势动荡，局部摩擦与冲突不断发生，以武装无人机为代表的各类无人作战系统成为媒体的热门话题，引起人们的高度关注。这些无人系统的核心就是人工智能。这是《流浪地球2》提出的第一个重要概念。

　　按照学者高度概括性说法，“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作”。它的发展已历经80年。1943年，科学家们首次提出了神经网络的数学模型；1950年，英国数学家阿兰·图灵发表《计算机器与智能》论文，提出了著名的“图灵测试”，被称为“划时代之作”。

　　就在同一时期，人们开始研究它的军事用途。美国国防高级研究计划局1963年就开始资助人工智能方面的研究。20世纪后期，人工智能在军事领域的运用有了突飞猛进的发展，诞生了“捕食者”无人机和“宙斯盾”防御系统等典型装备，它们在电影中也经常充当重要角色。进入新世纪，“海上猎手”无人艇、X-47B无人机乃至“忠诚僚机”概念，更让人们隐隐担忧，未来的战场上这些高度智能化的机器会不会“叛变”，将火力对准主人或者无区别地滥杀无辜？

　　对此，《流浪地球2》中提到了第二个重要概念：人在回路。通俗地说，“人在回路”就是人是智能系统的一部分。具体到军事应用上，它强调在军用智能自主系统内，人拥有决断和监督权限，这是一条核心原则。我们想象一下，如果智能装备拥有完全的自主探测、自主分析能力和自主攻击决断权限，且不受人类干涉与监督，那和《终结者》中的天网机器杀手有何区别？

　　正是基于这样的担忧，人们开始研究人工智能军事应用的潜藏危险，并制订相应政策。2017年以来，多家国际研究机构发布了多个版本的《人工智能与国家安全报告》。2018年7月，包括美国太空探索技术公司创始人埃隆·马斯克、谷歌深度思维创始人在内的2000多名人工智能领域专家，共同签署了《禁止致命性自主武器宣言》，宣誓不参与致命性自主武器系统（LAWS）的开发及研制。宣言指出，LAWS会在脱离人类控制的情况下选择目标并实施攻击，这将带来道德及现实层面的双重危险，人类的生命权决不能交给机器，而且此类武器的扩散将对所有国家和个人造成极大的威胁。

　　今年1月25日，美军更新了《自主武器系统指南》，要求对自主武器系统的开发和部署进行额外的高级别审查，并“继续要求自主和半自主武器系统的设计能够保证武力的使用处于人类判断监管之下”。

　　人们似乎已经认识到，“人在回路”的决策与监督权限是军用智能武器的底限；从这个角度来判断，未来的人工智能系统似乎有安全保障，然而终极武力的诱惑实在太大了。在影片中，仍然有的国家在迫在眉睫的人类危机面前不愿交出核弹密码。科学的发展目标应当是造福人类、保护人类，绝不该也不能用于打造凌驾于人类之上的武力。如何对军用人工智能技术进行监管，是全世界面临的严峻课题。

　　回想《流浪地球2》上映后，无数观众纷纷“拿着放大镜看电影”挖细节，被大家笑称为“球学”；对智能武器技术的监管，是不是也需要人类拿起放大镜呢？笔者不禁想起了片中的经典台词：“没有人的文明，毫无意义”。

（作者：田晨中国科普作家协会会员、

中国科普作家协会科学与影视融合专委会副主任委员）