What Happens When Killer Robots Start Communicating with Each Other?
by Michael T Klare
そう、もう心配する時期に来ている、それもかなり。ウクライナやガザでの戦争が示したように、「殺人ロボット」に相当する初期のドローンが戦場に投入され、壊滅的な兵器であることが証明されている。
しかし少なくとも、その大部分は人間のコントロール下にある。では想像してみてほしい。空中ドローン（または地上および海上でそれに相当する物）が逆に私たちをコントロールする世界を。そうなれば今日ほとんど想像できないほど破壊的に異なる惑星になるだろう。残念ながら、それが想像ではないとは言えないのが現実である。主要な国々がすでに人工知能（AI）やロボット兵器に関する研究を始めているからだ。ではその難解な世界にあなたをお連れし、戦争の未来が私たちにとって何を意味するのかを思い描いてみよう。
AIと高度なロボット工学を組み合わせることによって、 米軍や他の先進国はすでに自己誘導型の「自律型」兵器システム、つまり人間が指揮するのとは無関係に殺傷力を行使できる戦闘用ドローンの開発に取り組んでいる。批評家はこれを「殺人ロボット」と呼ぶこのような装置には、自律的な操作が可能な様々な無人飛行機、戦車、船舶、潜水艦が含まれる。例えば、米空軍は「共同戦闘航空機」と呼ばれる無人航空機（UAV）を開発しており、有人航空機と共に高リスク任務に参加することを意図している。陸軍も同様に、さまざまな自律型無人地上車両（UGV）のテストを行っている。海軍も無人水上船舶（USV）と無人潜水船舶（UUV、またはドローン潜水艦）の両方を試験している。中国、ロシア、オーストラリア、イスラエルも将来の戦場のためにこのような兵器を開発している。
これらの殺戮マシンの出現が間近に迫っていることから、世界的に懸念と論争が巻き起こっており、すでに全面的な禁止を求めている国もあれば、米国を含め人間の監視下でのみ使用を許可しようと計画している国もある。
ジュネーブでは、1980年の国連条約「特定通常兵器に関する条約」を引き合いに出して、完全自律型兵器の配備と使用を禁止しようとする国家グループさえある。一方、ニューヨークでは国連総会が昨年10月に自律型兵器について初めて議論し、今秋には本格的な再検討を計画している。
このような装置の戦場での使用をめぐる議論の大半は、人間の監視なしにそれらに人命を奪う権限を与えるかどうかにかかっている。多くの宗教団体や市民団体は、このようなシステムは戦場で戦闘員と民間人を区別することができないため、国際人道法で義務づけられているように、非戦闘員を死傷から守るために禁止すべきだと主張している。他方、米国政府関係者は、このような兵器は法的制約の範囲内で完璧に運用できるように設計できると主張している。
しかしこの議論ではどちらの側も、戦闘で彼らを使うことの最も不安な側面には触れていない。それは、遅かれ早かれ、人間の介入なしにコンピュータ同士がコミュニケーションできるようになり、”知的 “であるがゆえに、敵を倒すための台本にない独自の戦術を考え出すことができるようになる可能性である。このようなコンピュータ主導の集団思考をコンピュータ科学者たは「創発的行動」と呼んでいる。ジュネーブやワシントン、あるいは国連の当局者たちがまだ考慮に入れていない危険の数々がここにはある。
当分の間、米軍が開発する自律型兵器のほとんどは、既存の戦闘プラットフォームの無人版であり、乗組員のいるものと連携して運用されるように設計されるだろう。互いに通信する能力もあるかもしれないが、ミッションは人間の指揮官が指示・監督する「ネットワーク化された」戦闘チームの一部となる。例えば、コラボレイティブ・コンバット・エアクラフトは、有人ステルス戦闘機F-35の「忠実なウィングマン」として機能し、紛争空域でリスクの高いミッションを遂行することが期待されている。陸軍と海軍は、自律型兵器開発へのアプローチにおいて、ほぼ同様の軌跡をたどっている。
ロボットの “群れ “の魅力
しかし、米国の戦略家の中には、将来の戦場で自律型兵器を使用するための別のアプローチを提唱している者もいる。それは、自律型兵器が人間主導のチームの後輩としてではなく、自己主導のロボット群の対等なメンバーとして機能するというものである。このようなフォーメーションは、AIを搭載したUAV、USV、UGVの数十台から数百台で構成され、全員が互いに通信し、変化する戦場の状況についてデータを共有し、グループマインドが必要と判断すれば、戦闘戦術を集団的に変更することができる。
ポール・シャーレは、この概念の初期からの支持者の一人で、2014年のセンター・フォー・ニュー・アメリカン・セキュリティ（CNAS）の報告書で、明日の軍隊が今日のネットワーク化された軍隊よりも、より大きな質量、調整、知性、そして速度で群れとして戦うことができるようになると予測し、「ネットワーク化された、協力的な自律システムは真のスワーミングを可能にするだろう – 分散された要素間の協力的な振る舞いが、一貫した、知的な全体を生み出すのだ。」と記している。
シャーレが予言的な報告書で明らかにしたように、群れのコンセプトを完全に実現するには、自律型戦闘システムが互いに通信し、好ましい攻撃方法について「投票」することを可能にする高度なアルゴリズムの開発が必要である。そのためには、アリやミツバチ、オオカミなど、自然界で「群れ」の行動をとる生き物を模倣できるソフトウェアを開発する必要がある、と彼は指摘した。シャーレはこう述べている。「群れをなすオオカミが、あらゆる方向からの脅威を絶えず変化させながら敵に襲いかかるように、機動と攻撃を協調できる無人車両は、協調性のないシステムが集団で行動するよりもはるかに効果的である可能性がある」。
しかし2014年当時、そのような機械の行動を可能にするために必要な技術はまだ発展途上にあった。この重大な欠陥に対処するため、国防総省はグーグルやマイクロソフトのような民間企業からそのような技術を取得しながらも、AIとロボット工学分野の研究に資金を提供することを進めた。この推進における中心人物は、CNASのポール・シャーレの元同僚で、群れ戦の初期の熱狂者であったロバート・ワークである。ワークは2014年から2017年まで国防副長官を務めていたため、ハイテク兵器、特に無人システムや自律型システムの開発に、増え続ける資金を回すことができた。
モザイクからレプリケーターへ
この作業の多くは国防総省内のハイテク研究組織である国防高等研究計画局（DARPA）に委ねられた。DARPAは、このような協調的な群れ作戦のためのAI開発を推進する一環として、「モザイク」プログラムを開始した。これは、ロシアや中国との将来の高強度戦闘において、有人・無人戦闘システムの活動を調整するために必要なアルゴリズムやその他の技術を完成させることを目的とした一連のプロジェクトである。
「モザイク・コンセプトの優れた柔軟性を戦争に応用する」と、DARPA戦略技術局のダン・パット副局長は説明し、「より低コストで、より複雑でないシステムは、あらゆるシナリオに合わせた望ましい織り成す効果を生み出すために、様々な方法で連結させることができる。モザイクの個々のパーツは攻撃可能（使い捨て可能）だが、全体への貢献度は計り知れない」と述べた。
昨年夏、キャスリーン・ヒックス国防副長官が発表した新しい「レプリカ」戦略の根底には、このような戦争概念があるようだ。「レプリケーターは、（中国の）最大の強みである量に打ち勝つためのものだ。より多くの艦船。より多くのミサイル。より多くの人間。」昨年8月彼女は軍需産業関係者にこう語った。彼女は、何千もの自律型UAV、USV、UUV、UGVを配備することで米軍は中国の軍隊である人民解放軍（PLA）を出し抜き、圧倒することができるだろうと言った。「優位に立つために、我々は新たな最先端技術を作り出そうとしている……我々はPLAの量に我々の量で対抗するが、我々のものは計画しにくく、命中しにくく、打ち負かしにくいものになるだろう」
このような野心的なプログラムを実施するために必要なハードウェアとソフトウェアの両方を入手するため、国防総省は現在、ボーイングやレイセオンなどの伝統的な防衛請負業者や、AndurilやShieldAIなどのAI新興企業からの提案を求めている。空軍のコラボレイティブ・コンバット・エアクラフトや海軍のOrca超大型UUVのような大規模な装置もこの推進に含まれるかもしれないが、現在ウクライナ軍が敵陣の背後でロシアの戦車や装甲車を排除するために使用しているAeroVironmentのスイッチブレード攻撃ドローンのような、より小型で複雑でないシステムの迅速な生産に重点が置かれている。
同時に国防総省はすでに異種ロボットユニットとそれに付随する有人プラットフォーム間の通信と調整を促進するために必要なソフトウェアを開発するよう、テクノロジー新興企業に呼びかけている。これを促進するため、空軍は2024会計年度予算で5000万ドルを議会に要求し、プロジェクトVENOM（「バイパー実験・次世代作戦モデル」）と呼ばれる不吉なものを引き受けた。VENOMの下で、空軍は既存の戦闘機をAIが管理するUAVに改造し、マルチドローン運用における高度な自律ソフトウェアのテストに使用することになる。陸軍と海軍も同様のシステムをテスト中である。
群れが自らの道を選ぶとき
言い換えれば、米軍（おそらく中国、ロシア、および他の一部の大国も同様）が、互いに通信し、移動中に新しい予測不可能な戦闘行動を共同で選択できるアルゴリズムを搭載した自律型武器システムの群れを展開できるようになるのは時間の問題だろう。このような群れに参加するロボットメンバーは、任務目標（「指定された地理座標内にある敵のレーダーや対空ミサイルバッテリーを探し出して破壊する」など）が与えられるが、具体的な手順は与えられない。これにより、彼らは互いに協議しながら自らの戦術を選択できるだろう。限られたテストデータから推測すると、これは人間のパイロットや指揮官が考えつかない（および複製不可能な）非常に非伝統的な戦術を採用することを意味するかもしれない。
このような相互接続されたAIシステムが新しい、計画されていない結果に関与する傾向を、コンピュータ専門家は「エマージェント行動」と呼ぶ。科学誌のダイジェストをするScienceDirectが説明するように、「エマージェント行動は、そのような特性を示さないより小さなまたは単純な実体の相互作用によって、より大きなパターンが生じるプロセスとして記述される」とされている。軍事的に言えば、これは自律型兵器の群れが、個々のデバイスがプログラムされていない戦術を共同で採用する可能性があることを意味する。戦場で驚異的な結果を達成するかもしれないが、同時に、そのような人間の指揮官が意図せず予測できないエスカレーション行為に関与する可能性もある。これには、核および従来の作戦に使用される重要な市民インフラや通信施設の破壊が含まれる。
もちろん、この時点では複数の武器を装備し、人間の監督から切り離された状態でエイリアングループが何を選択するかを予測するのはほとんど不可能である。 おそらく、そのようなシステムには、敵の妨害電波やその他の理由で通信が失われた場合に、人間の監督者との通信が再確立されるまで基地に戻るようにするフェイルセーフメカニズムが装備されているはずだ。しかし、そうした思考マシンが厳しい現実の条件下でどのように機能するか、また、実際には、集合的なマインドがそのような命令を無視して独自に行動する能力があるかどうかは誰にもわからない。
ではどうなるのか？あらかじめプログラムされた限界を超えて戦い続け、意図しないエスカレーションを引き起こすかもしれない。あるいは、敵軍への攻撃をやめ、代わりに友軍の作戦を妨害し、（古典的SF映画『ターミネーター』シリーズでスカイネットがやったように）敵軍を攻撃して壊滅させることを選ぶだろうか？あるいは、良くも悪くも、われわれの想像をはるかに超えた行動をとるのだろうか？
米軍や外交当局のトップは、AIはそのような将来的なリスクを負うことなく実際に使用することが可能であり、米国は将来の危険な誤動作に対して徹底的に十分な安全装置を組み込んだ装置のみを採用すると主張している。実際、国務省が2023年2月に発表した「人工知能と自律性の責任ある軍事利用に関する政治宣言」でも、それが本質的な指摘となっている。しかし多くの著名な安全保障・技術関係者は、将来のロボット兵器におけるエマージェント行動の潜在的なリスクをよく認識しているため、戦争におけるAIの急速な活用に対して警告を発し続けている。
特に注目すべきは、2021年2月に発表された「人工知能に関する国家安全保障委員会」の最終報告書である。ロバート・ワーク（国防総省勤務を経てCNASに復帰）とエリック・シュミット（グーグル元CEO）が共同議長を務めた同委員会は、中国やロシアとの将来の紛争で勝利を確実にするため、米軍によるAIの迅速な活用を推奨した。しかし委員会はまた、ロボットがあふれている戦場の潜在的な危険性についても懸念を表明した。
「このようなシステムを世界的に野放図に使用することは、意図しない紛争の激化や危機的な不安定化を招く危険性がある」と報告書は指摘している。このような事態は、「戦場におけるAIと自律型兵器システムとの相互作用（つまり、エマージェント行動）が、困難で未検証の複雑性を持つため」など、さまざまな理由で起こりうる。その危険性を考慮し、「各国はAI対応・自律型兵器システムに関連するリスクを軽減することに重点を置いた行動を取らなければならない」と結論づけている。
自律型兵器の主要な提唱者が戦闘での使用によって引き起こされる意図しない危険について懸念を表明するとき、我々も本当に心配するべきだ。AIのエマージェント行動を理解する数学的なスキルがなくても、自殺マシンが独自に考える能力を持つようになれば、人類はその存続にかなりのリスクに直面する可能性があることは明らかである。おそらく彼らは皆を驚かせ、国際的な平和維持者の役割を引き受けることを決定するかもしれないが、彼らは戦い、殺すために設計されていることを考えれば、彼らが独立してかつ極端な方法でその命令を実行することを選ぶ可能性のほうがはるかに高い。
もしそうであれば、人類の墓標にRIP［安らかに眠れ］と刻んでくれる人は誰もいなくなるかもしれない。
What Happens When Killer Robots Start Communicating with Each Other?