► 文 观察者网 谷智轩
大家好，我是谷智轩。很久没和大家聊聊巴以局势了。
最近，有外媒曝光了一件吓人的事：长期以来，以色列都在使用 人工智能“薰衣草”（Lavander）识别和打击加沙的目标，造成了大量平民伤亡。经常看我们节目的小伙伴都知道，我们一直在关注人工智能的发展，不只是技术上的进展，还有在法律和伦理上，人类对于AI的各种争论和探索。我们对于如何利用AI，远远没有形成共识。各国对于AI的立法和管理，还在摸石头过河。实在是没想到，竟然有一个国家，跳过了前面的所有环节，直接到了用AI杀人的阶段。联合国秘书长古特雷斯就此发表声明，表示“深感不安”（deeply troubled）；我只能说，用词过于委婉了。本期《轩讲》，我们就来聊聊以色列用AI杀人这事，究竟有多可怕。
本月初，以色列-巴勒斯坦地区的两家左翼媒体+972杂志和Local Call网站，发布了一份调查报告。他们的记者采访了六名以色列情报官员。这些人都参与了眼下这场加沙战争，而且是亲身参与了利用AI生成打击目标的过程。当然了，他们的名字肯定是不能透露的，以色列军方也否认了他们的说法。报告里的事到底有没有，我没法评价。我只说两点：第一，报告逻辑自洽、细节丰富，而且确实解释了以军在这场战争中的很多行为；第二，有的时候，谎言太离谱，反而可能是真相。
这个报告里讲了个什么故事呢？我给大家总结一下。首先，以色列军方多年以前就在开发可以甄别攻击目标的人工智能。背后的动机简单直白：确认目标的事情，人也可以做，但效率太低。在过去的战争中，要授权击杀单个人类目标，必须先给目标“定罪”。军队肯定不会像法院做得那么细，也没那么讲究原则和程序，但交叉核对证据，证明“这个人”确实是“那个人”，还是要的。确定目标后，再收集他的活动轨迹，制定击杀计划。如果只想干掉哈马斯的高级成员，数量控制在两位数，定罪和定位都不是难事。但以色列不满足于此。高级成员要杀，数以万计的低级成员也要杀。这种五位数以上的击杀名单，情报人员肯定做不了，交给AI，那就省事多了。
那么这个AI由谁来开发呢？这里就要提到以色列著名的8200部队了。插播一小段背景介绍啊。8200是番号，这支部队正式的名称是中央情报搜集部队（Central Intelligence Gathering Unit），成立于1952年，可谓战功赫赫，比如在1967年第三次中东战争的开战首日，截获了埃及总统纳赛尔和约翰国王侯赛因的高保密专线，1985年截获了巴解领导人阿拉法特和“恐怖分子”的电话，等等。除了“战绩”之外，8200的另一个招牌，就是它的成员了。以色列是全民兵役制，不管男女，18岁都得服役。而8200有提前摇人的特权，在不到18岁的所有以色列人里面，把智商最高、能力最强、最有潜力的五千号人挑出来，然后干嘛呢？PUA、特训、搞情报。这里面还会选出千人左右，专门开发一些用于作战和情报收集的高科技“小玩意儿”，里面就包括了战场内外使用的人工智能。
以色列8200部队，汇聚了电脑精英，负责信号情报收集、密码解密、反间谍、网络战、军事情报监视等情报工作8200有一个数据科学与人工智能中心，中心负责人在多个场合都提及他们正在开发目标识别AI，而以色列媒体的报告就引用了他的很多说法。比如说，这类AI的训练流程。把已知的哈马斯和杰哈德成员名单喂给AI，利用一种叫做正样本未标注学习（Positive-unlabeled learning）的机器学习算法，让AI提取他们之间的共同特征。接下来，AI就可以比对这些特征，对所有巴勒斯坦人打分，越是符合特征的，分数越高。最后，情报人员会把样本按照分数排个序，确定下“及格线”，过线的，就是恐怖分子，可以杀。这位负责人在特拉维夫大学讲演的时候，还一再强调，AI只是起到辅助筛选的作用，最后决定杀不杀的，还是有血有肉的人。
以色列国防军 8200 部队数据科学和人工智能中心指挥官2023年2月出席特拉维夫大学AI周可真的到了实践的时候，就完全不是这么回事了。
咱们有句老话，叫“兵贵神速”。AI给出一份名单，还要人来核验，这多浪费时间？去年10月，哈马斯发动袭击，杀了以色列1200人，绑架240人。以色列报之以“铁剑行动”（Operation Iron Swords），军方火速决定，要把哈马斯清除干净，所有成员——不论他们高低贵贱，有多少军事价值——一个不留。然后他们问了AI一个问题：薰衣草啊薰衣草，告诉我谁是哈马斯？
这个名叫薰衣草的AI，生成了一份37000人左右的名单。8200的情报人员花了两周时间，在名单里随机挑了几百个名字，检查了一下是不是真的哈马斯，结论是，薰衣草的正确率达到了90%。军方很满意，当即授权，就按照AI的名单来办。程序上需要人工核验，判断是否击杀？没事，工作人员花上20秒，核验一下目标是男是女，男的杀了，女的留下——决定在我。那还有10%的错误率怎么办？统计误差嘛。谁让这些人具有“哈马斯特征”呢？谁让他们是哈马斯成员的亲戚，或者和哈马斯成员同名同姓、用同一个昵称，或者使用的二手手机，刚巧是一个哈马斯成员用过的？再说了，统计学肯定比人更靠谱。要知道，很多以军士兵都有亲朋好友死在哈马斯手里，他们很容易做出不理性的事情，手里的“误杀”也不在少数。
以色列国防军 8200 部队数据科学和人工智能中心指挥官在特拉维夫大学的演讲幻灯片中透露“薰衣草”击杀目标的步骤：建立目标的特征，并根据目标进行排名
但问题是，统计学的那些规则、标准，也是人设计出来的。
什么才叫“哈马斯成员”呢？领哈马斯钱的人？还是不拿钱，但帮哈马斯做事的人？或者是帮了哈马斯，但没有实际危险的人？毕竟，哈马斯在加沙执政多年，手底下有一大帮子公务员，配武器的也不少。还有，以前帮过哈马斯，现在不帮了，算不算？这些个定义，是可以人为调整的。实际上，8200在训练AI的时候，使用了一个非常宽泛的定义，喂给AI的数据里面，至少包括了哈马斯政府国内安全部的雇员。
前面我们讲过，AI会根据一个人的“哈马斯特征”来打分，高于“及格线”的才会判定是哈马斯成员。技术人员就可以通过操控“及格线”，来放宽和收窄“哈马斯成员”的范围。根据以色列官员的说法，在战争过程中，AI不断生成名单，以军照单杀人，但有时候，AI生成名单的速度，还跟不上以军杀人的速度。以军需要更多的打击目标，就会把“及格线”调低。这样，机器就会把很多新人加到名单上，比如民防人员和警察，他们有武装，是在帮哈马斯政府，凑合凑合，也能算是“哈马斯成员”。3月底的时候，《耶路撒冷邮报》发了篇报道，说哈马斯好像越打越多了。军方一直估计有3万人，但现在，光是已经打死和打伤的人加在一起都不止这个数，一会儿还这里又出来一堆哈马斯，那里又打死一堆哈马斯，数字根本对不上。我觉得，这里面估计也有“薰衣草”的锅，谁让它速度太慢，还需要靠人手动给名单扩容呢？
耶路撒冷邮报2024年3月27日报道《震惊！哈马斯的战士比以色列初期预设的多数千人》这种种的不靠谱，以色列军方心知肚明，而且毫不在意。一切都掩盖在了“战争”的名义之下。他们辩护说：情报机构人力有限，不值得核查低级武装分子上浪费时间；咱们是在打仗，没时间给每个目标“定罪”，你得接受算法有误差，接受杀错人的风险。
这话听着很有道理，和“宁可错杀一万，不可放过一个”，有异曲同工之妙。而且好像还要感谢AI，把错杀率，从万分之九千九百九十九，降到了百分之十，让大规模的“定点清除”成为可能。
这个逻辑的问题，我们等会儿再讨论。退一万步讲，即使接受了逻辑，还有个程度的问题。“薰衣草”的错误率有10%，不代表以色列每炸死10个人，有九个是哈马斯。很多信源的数据都显示，死在以色列炮火下的平民，远超哈马斯武装分子的数量。因为确定要杀谁之后，还有个怎么杀的问题，而这一步，以色列也是大幅仰仗AI的助力。
从目前收集到的信息看，除了“薰衣草”之外，明确在加沙战场上出现过的AI，至少还有三个。第一个叫“福音”（The Gospel），它是专门和“薰衣草”打配合的。“薰衣草”确定要杀谁，“福音”则把这些人身处的建筑物标记出来。第二个叫“爸爸在哪儿”（Where's Daddy），它负责利用各种监视系统跟踪目标，在对方进入房间的那一刻发出信号。第三个叫“火力工厂”（Fire Factory），负责计算弹药装载量，对数千个目标进行优先级排序，并将其分配给飞机和无人机，再制定出一个空袭时间表。
我们在过去的节目里面讲过，“定点清除”的技术要领，一在信息采集和处理，二在精确和快速的打击技术。这四个AI相互配合，覆盖了“定点清除”的全套流程，大幅提高了杀人的效率。它们具体是怎么做的呢？首先，要确定一个合适的击杀地点。在哪里杀人更容易？当然是目标在家里的时候。对AI来说，它们很容易就能把目标和他的私人住宅关联起来。实际上，加沙的每个人都被标记了对应的住宅，谁住在什么地方，全部在以军的数据库当中，在此基础上，追踪目标归家、离家的轨迹也不困难。除此之外，在民宅里面，反侦察、反打击措施要薄弱许多，目标在家中警戒心也低，简直是理想的杀人场所。
但问题，这些民宅里面，往往不是只有一个人。加沙人习惯一大家子住在一起。爹妈老婆孩子兄弟姐妹，亲朋好友、左邻右舍，一发炮弹下去，就整整齐齐的了。
以军攻击民宅的理由有很多，比如哈马斯就喜欢把窝点藏在民用设施当中，拿平民当挡箭牌，医院、清真寺、学校、联合国设施，大概率都有哈马斯。但这解释不了一个现象：为什么以家庭为单位的伤亡，占比特别高？开战45天的时候，联合国机构公布过一个数据：当时巴勒斯坦方面死亡11078人，有501个家庭，死亡人数大于6人，312个家庭，死亡人数超过10人，至少有6120人，也就是一半以上，属于825个家庭。
联合国人道主义事务协调厅12月29日关于加沙-以色列危机伤亡情况的总结报告中显示，巴勒斯坦地区至少有6120人的死亡以825个家庭的形式产生
这种以家庭为单位的伤亡模式，确实呼应了以色列情报官员的说法：以军在有意识地攻击哈马斯成员的私宅。当然了，这也不算新闻，2014年以色列对加沙的空袭，也做了同样的事情。那次袭击当中，共造成了超过2200名巴勒斯坦人的死亡，其中至少有70次针对私人住宅的袭击，造成606人死亡，比例是27%。而这次提高到一半以上，估计就是AI的“助攻”了。
“薰衣草”生产名单的速度，那就不用说了。“爸爸在哪儿”可以同时跟踪数千个目标，效率也是非同一般。再加上“火力工厂”，不但优化了空袭的效率，而且还大幅降低了弹药的成本。根据美国情报部门的估计，以色列空军在加沙使用的弹药里面，有45%是非制导炸弹，也叫“傻弹”（dumb dombs）。它们比制导炸弹便宜很多，价格要差个几倍，但命中精确度也低，会造成大量的“附带损害”。但有了AI的帮助之后，命中的问题就解决了一大半。比如说，如果他们发现目标住的是高层建筑，就不打了，因为需要用特殊的精确制导炸弹来打穿楼板。那玩意儿太贵了，不值得浪费在低级成员身上。但如果这些哈马斯住在平房里面，那么只要在他们回家后扔个“傻弹”就行了，直接把房子给你平了，不存在什么命中问题。几千美金换一个人头，哪怕是低级成员，效费比也可以接受。
然而，命中问题“解决”了，“附带损害”的问题怎么办呢？
以军设计AI的时候，还考虑过这个问题。AI在做空袭规划的时候，“附带损害”也是一个参数。它会根据建筑物的大小以及登记的居民名单，计算战前居住在此的平民人数，再根据撤离的居民比例，来估算一个建筑物内的即时人数，再做相应的规划。比如说，一栋房子，名单上显示战前住了10个人，根据手机信号测算，小区撤了一半人，那么AI就认为，房子里住了5个人。有时候，算出来的人数，甚至不是整数。
我们光听就知道，这种估算有多不靠谱。战前和战时，根本是两个概念。根据世界银行的数据，加沙地带超过60%的房屋和80%的商业设施都已经被摧毁，几乎全部人口流离失所，这大幅削弱了军队数据库的准确性和AI自动标记住宅的能力。很多时候，战争期间居住的，完全就不是战前的那批人，两者之间也没什么联系。有时候，以军炸了一栋房子，根本不知道房里是好几户人家躲在一起的。在以前的战争里面，情报人员会花大量的时间监视房屋、核实人数，事后还有一道炸弹损害评估程序（Bomb Damage Assessment），简称BDA，检查目标是否死亡，以及造成了多少平民死亡。这一次，为了节省时间，事前事后的步骤，全都省略了，一切都交给了AI和统计学。情报人员对于会死多少，死了多少人，里面包不包括目标，可谓一概不知。他们唯一知道的，就是空军告诉他们，房子被炸了，然后他们再告诉军队，去炸更多的房子。
不过，有一个问题，依然没交给统计学，就是允许“附带损害”的大小。军方会事先给一个授权，杀一个哈马斯，允许多少平民陪葬，这个数字叫非战斗人员伤亡值，简称NCV（Non-combatant Casualty Value）。AI在计算杀谁、怎么杀的时候，就会根据这个标准来。NCV是浮动的，军事价值越高，NCV越大——这是以军自己承认的，对高级哈马斯成员，这个数字可以达到三位数。军队有一套大致的标准，一个旅长配多少人，一个营长配多少人，还会考虑到具体的情况。比如说哈马斯卡桑旅的指挥官艾曼·诺法尔（Ayman Nofal），以军在击杀他的时候，得到的位置情报不是很精确，军方授权的人数是300人。对比一下，当年美军击杀本·拉登，授权的NCV“只有”30。
路透社2023年10月17日报道，以色列空袭加沙，击杀了哈马斯军事指挥官艾曼·诺法尔对于低级哈马斯成员，这个标准还要“弹性”一点。去年10月7日的空袭之后，以军陷入了歇斯底里的状态，只要目标是哈马斯，几乎任何“附带损害”都可以得到批准。反正炸就是了，他们只在乎炸的目标够不够多。有时候，他们知道目标在一栋里面，然后就炸平了四栋楼。整个军队与其说是在作战，还不如说是在泄愤。之后，军队的行为稍微理性了一些，NCV被控制在了15人左右，也就是杀一个普通的哈马斯，可以杀15个平民。有段时间降到5人，但军方发现，这让空袭没法进行，因为只要目标的家人都在家，他们就没法炸屋子，所以又把上限提了上去。再后来，以军整体上减小了攻击低级哈马斯的频率。这客观上降低了“附带损害”，却不是因为以军想降低“附带损害”，而是考虑到弹药经济性。以色列正准备在北部地区和黎巴嫩真主党动手，这开头几波消耗的炸弹，委实有点多了。
由此可见，人工智能辅助下的“自动化”杀人，并没有什么“理性”的优势。AI对于人类干坏事，没有什么限制和纠正作用。相反，它只是让杀戮，变得更有效率。它降低了杀人的经济和道德成本，帮助人类在有限的资源和可承受的道德压力下，杀掉尽可能多的目标。“薰衣草”生成名单，“福音”标记住宅，低级别的情报人员象征性地看一看，复制粘贴到“爸爸在哪儿”，执行目标追踪，“火力工厂”据此分配弹药，制定空袭计划，在目标回家的那一刻，由空军完成击杀。除了最后的击杀外，整个流程，都实现了高度的自动化，而这“最后一步”，可能在不久的将来，也可以由自动化的武器来完成。
我们之前做过一期节目，叫“定点清除”，让网上一大群“乌友”破了大防，直到今天还陷在他们的逻辑谬误中不能自拔，挺可怜的。我们再来复习一下相关专业知识：“定点清除”，Targeted Killing，有时候也叫“斩首行动”，Decapitation Strike，即通过消灭一个组织中的关键人物，来对组织造成破坏。现在，“定点清除”和“斩首”之间，不能再划等号，它有了一个新分支，叫“Broad Hunting”，大范围猎杀。从战场表现来看，这种同时针对数万目标的大规模“定点清除”，已经成为了一种可行的、且经过实践应用的战术。
这是好是坏，尚有争议。
支持的人说：它好过无差别袭击。这次加沙战争持续了六个月，巴勒斯坦方面，伤亡总数超11万；哈马斯武装分子，满打满算有三万多，占比达到30%。和历史上的各种“屠城”相比，是不是要好上很多？AI是在降低“错杀率”啊！
反对的人说：除了“错杀率”，还有“错杀数”。“大范围猎杀”的应用，实际上大幅增加了攻击次数，推高了平民的伤亡人数。而且，70%的错杀率，你觉得可以接受吗？
然后，支持的人又会反驳：如果把技术改进一下，把错杀率降到一半以下，你还会这么说嘛？降到10%以下，1%以下呢？百分之0.000001呢？什么比例，是可以接受的呢？谁能保证不杀错一个？你说人命无价，杀错一个都不行？我们是在打仗，国家利益为重，国民的安全为重。算个总账，“错杀”带来的损失，小于“杀对”带来的利益就可以了。
最后那句话，我直接引用了以色列国防军对“薰衣草”问题的回复。
以色列国防军回应在加沙地区使用“薰衣草”：算个总账，“错杀”带来的损失小于“杀对”带来的利益就可以了哲学上的论辩，很难有什么结果。但有一点，我想大家是有共识的：为了剿灭三万多名哈马斯，超过2.4万名巴勒斯坦妇女和儿童死亡，11万人死伤，110万人食不果腹，170万人流离失所，这超过了绝大部分人的道德红线，但凡是有点良知的人，都无法接受。如果没有AI，可能伤亡会更大，但即使有了AI，后果依然如此严重。
所以说，问题并不出在AI身上，该为此负责的，也并非人工智能。战争，是高尚者的墓志铭，卑鄙者的通行证。战场之上，以国之名，滔天的罪恶也能戴上正义的光环。如果杀错人之后，唯一的后果是浪费了弹药，那么AI存在的意义，也只能是减少了弹药的浪费。
从历史经验来看，把人工智能技术引入军事作战是不可避免的。联合国主持了10年的谈判，希望对AI在战场的角色做一点限制，让各国可以更加“负责任”地开发和利用军用AI，但目前并没有多少成果。至少还没有一个国际公约规定，当人工智能判断错误时，谁应该对平民的伤亡和战争的意外升级负责，也没有一个有效机制，防止AI被有心之人滥用，成为排除异己、剥削“他者”的工具。去年2月，第一届“全球军事领域负责任的人工智能峰会”在荷兰举行，中国和美国等60多个国家参加，并签署了《关于军事领域负责任使用人工智能的行动倡议》。以色列是唯一没有签署的与会国家。
所以，巴勒斯坦成千上万条被AI“错杀”的人命，到底该由谁来负责呢？
来源|观察者网
