AI Versus AI
そして人類はその巻き添えで絶滅
by Michael T Klare
人工知能（AI）に支配された機械が、ビジネス、産業、専門職のほとんどの機能においてシステマティックに人間に取って代わる世界を想像するのは恐ろしいことだ。結局のところ、著名なコンピューター科学者が警告してきたように、AIが支配するシステムは重大なエラーや不可解な「幻覚」を起こしやすく、その結果、大惨事を招く可能性がある。しかしスーパーインテリジェントマシンの普及から想像されるさらに危険なシナリオがある。それは、人間以外の存在が互いに戦い、その過程ですべての人間の生命を消し去ってしまう可能性である。
スーパーインテリジェント・コンピューターが暴走して人間を殺戮するかもしれないという概念は、もちろん、長い間大衆文化の定番であった。予言的な1983年の映画『ウォーゲーム』では、WOPR（War Operation Plan Responseの略で、驚くなかれ「ワッパー」と発音する）として知られるスーパーコンピューターが米ソ間の破滅的な核戦争を引き起こしそうになり10代のハッカー（マシュー・ブロデリックが演じた）によって無効化される前に、米ソ間の破滅的な核戦争を引き起こしそうになる。1984年のオリジナル映画から始まった映画『ターミネーター』のフランチャイズも同様に、「スカイネット」と呼ばれる自意識のスーパーコンピューターを想定していた。スカイネットはWOPRと同様、アメリカの核兵器を制御するように設計されていたが、人類を脅威とみなし、その代わり人類を絶滅させることを選択する。
かつてはSFの世界にとどまっていたが、スーパーコンピューターが人間を殺すというコンセプトは今や近未来の現実世界において明確な可能性を持つようになった。さまざまな “自律型”、またはロボットによる戦闘装置の開発に加え、主要な軍事大国は自動化された戦場での意思決定システム、いわゆる “ロボット将軍 “の開発を急いでいる。そう遠くない将来の戦争では、このようなAIを搭載したシステムが配備され、米兵に戦闘命令を下し、敵兵を殺す場所や時間、敵からの攻撃を受ける方法を指示するようになるかもしれない。あるシナリオにおいてはロボットの意思決定者がアメリカの原子兵器を管理し、人類滅亡につながる核戦争を引き起こす可能性さえある。
さて、少し落ち着こう。このようなAIを搭載した指揮統制（C2）システムの導入は遠い可能性のように思えるかもしれない。それでも米国防総省は必要なハードウェアとソフトウェアを体系的に、ますます迅速に開発しようと懸命に取り組んでいる。例えば、空軍は2023年予算案の中で、敵の作戦に関するデータを収集・解釈し、パイロットや地上部隊に最適な攻撃オプションのメニューを提供するために設計されたセンサーとAI対応コンピューターの複雑なネットワークである高度戦場管理システム（ABMS）の開発に2億3100万ドルを要求している。技術が進歩すれば、システムは「射撃手」に直接「射撃」の指示を送ることができるようになり、人間の制御をほとんどバイパスできるようになる。
ウィル・ローパー空軍次官補（取得・技術・兵站担当）は2020年のインタビューで、ABMSシステムについて、「抑止やオンランプ（軍事力の誇示）、早期交戦のための選択肢を提供する機械対機械のデータ交換ツール」と述べた。ローパー次官補は、システムの進化に伴い「名称を変える必要がある」と示唆し、「スカイネットはSF的なものとしてやってみたいが、もうやめよう。そこまではできないと思う」と付け加えた。
そして、彼はそこに行かないが、残る私たちは確かに行くかもしれない。
しかしそれはほんの始まりに過ぎない。実際、空軍のABMSはすべての米軍戦闘部隊をつなぐ、より大きなセンサーとコンピューターのコンステレーション、JADC2（Joint All-Domain Command-and-Control System、「Jad-C-two」と発音）の核となることを意図している。「JADC2は多数のセンサーからデータを収集し、人工知能アルゴリズムを使ってデータを処理して目標を特定し、その目標を攻撃するための最適な武器を推奨することで、指揮官がより良い決断を下せるようにすることを意図している」と、議会調査局は2022年に報告している。
AIと核の引き金
当初、JADC2は「通常型」、つまり非核のアメリカ軍の戦闘作戦を調整するために設計されるだろう。しかし最終的には、国防総省の核兵器指揮統制通信システム（NC3）とリンクし、アメリカの核兵器の使用をコンピューターが大幅にコントロールできるようになる可能性がある。「JADC2とNC3は絡み合っている」と、統合参謀本部副議長のジョン・E・ハイテン大将は2020年のインタビューで語った。その結果、「NC3はJADC2に情報を与えなければならず、JADC2はNC3に情報を与えなければならない」と典型的なペンタゴン語で付け加えた。
そう遠くない将来、ある種の危機、例えば南シナ海や台湾付近での米中軍事衝突が発生し、対立する空軍と海軍の間でこれまで以上に激しい戦闘が行われるようになる時を想像するのに大きな想像力は必要ないだろう。そのとき、JADC2が中国国内の敵基地や指揮系統への激しい砲撃を命じ、米軍施設への相互攻撃が誘発され、JADC2が戦術核兵器で報復するという電光石火の決断を下し、長い間恐れられていた核のホロコーストに火がつくことを想像してほしい。
このような悪夢のようなシナリオが偶発的あるいは意図せずに核戦争を引き起こす可能性は、軍備管理コミュニティのアナリストたちを長い間悩ませてきた。しかし、軍用C2システムの自動化の進展は、彼らの間だけでなく、国家安全保障の高官たちの間にも不安を生んでいる。
私がジャック・シャナハン中将（当時の国防総省統合人工知能センター所長）に、このような危険な可能性について質問したのは2019年のことだった。彼は、「私はAIの能力を国防総省全体に広く統合することの熱心な支持者だが、1つ懸念がある。それは核の指揮と統制に関連した分野だ。それは人間が下すべき究極の決断であり、非常に注意深くなければならない。この技術が「未熟」であることを踏まえ、８NC3にAIを適用する前に）テストし、評価するための多くの時間が必要だ」と答えた。
それ以来数年間、このような警告にもかかわらず、国防総省は自動C2システムの開発に邁進してきた。国防総省は2024年予算案の中で、「すべての領域とパートナーに関連性の高いスピードで情報の優位性を提供することにより、戦争遂行能力を変革する」ために、JADC2に14億ドルを要求した。なるほど！そしてさらに18億ドルを他の軍事関連AI研究に要求している。
米国防総省の高官たちは、ロボット将軍が戦闘で膨大な数の米軍（および自律型兵器）を指揮するようになるまでにはまだ時間がかかるだろうと認めているが、彼らはすでに、まさにそのような連携をテストし、完成させることを目的としたいくつかのプロジェクトを立ち上げている。その一例が、ABMSとJADC2のコンポーネント・システムの検証を目的とした一連の実地演習を含む陸軍のプロジェクト・コンバージェンスだ。たとえば、2020年8月にアリゾナ州のユマ試験場で行われたテストでは、陸軍は空と地上のさまざまなセンサーを使って模擬敵軍を追跡し、そのデータをワシントン州のルイス・マクコード統合基地のAI対応コンピュータで処理した。そしてそのコンピュータがユマの地上砲兵に射撃指示を出した。米議会調査局は後に、「この一連の作業は20秒以内に完了したとされている」と報告している。
あまり知られていないのが海軍のAIに相当する「プロジェクト・オーバーマッチ」で、そのプログラミングの多くの側面は秘密にされてきた。海軍作戦部長のマイケル・ギルデイ提督によれば、オーバーマッチは「海上に群れをなし、近くて遠い、あらゆる軸、あらゆる領域から、同調した致死的・非致死的効果をもたらす海軍を実現する」ことを目的としている。このプロジェクトについて、他にはほとんど明らかにされていない。
「フラッシュ・ウォーズ」と人類絶滅
これらのプロジェクトがすべて秘密の中で行われているにもかかわらず、ABMS、JADC2、Convergence、Overmatchは、武装戦闘において核兵器を含む米軍全体を指揮するために設計されたスーパーコンピュータの未来のスカイネットのようなメガネットワークの構築要素だと考えることができる。国防総省がこの方向に進めば進むほど、すべての米兵と敵対する軍隊、そして銃撃戦に巻き込まれた民間人に対し、AIが生死を分ける力を持つ時代が近づくことになるのだ。
このような見通しは、十分な懸念材料となるはずだ。まず第一に、このようなシステムの核となるアルゴリズムによるエラーや誤算のリスクを考えてみよう。一流のコンピュータ科学者たちが警告しているように、これらのアルゴリズムは驚くほど不可解なミスや、今流行のAI用語を使えば「幻覚」、つまり一見合理的に見える結果がまったくの幻想であることがある。この状況下ではこのようなコンピュータが敵の攻撃を「幻覚」し、そうでなければ避けられたかもしれない戦争を始めることは想像に難くない。
そして、考えるべき危険はそれだけではない。結局のところ、アメリカの敵対国も同様に、自国の軍隊にロボット将兵を装備する可能性があるのは明らかなのだ。言い換えれば、将来の戦争は、核兵器と連動したAIシステムによって、まったく予測できない、しかし破滅的な結果をもたらす可能性のある、別のAIシステムに対して戦われる可能性が高いということだ。
ロシアと中国が軍事指揮統制システムの自動化に取り組んでいることは（少なくとも公的な情報源からは）あまり知られていないが、両国ともペンタゴンのJADC2に匹敵するネットワークを開発していると考えられている。実際、ロシアは早くも2014年にモスクワに国家防衛管制センター（NDCC）を発足させた。これは、世界の脅威を評価し、非核であれ核であれ、必要とみなされる軍事行動を開始するための中央司令部である。JADC2と同様、NDCCは複数の情報源から敵の動きに関する情報を収集し、可能な対応について上級将校に指針を与えるよう設計されている。
中国は「多領域精密戦」（MDPW）という名目で、似たようなものではあるが、さらに精巧な事業を追求していると言われている。国防総省が2022年に発表した中国の軍事開発に関する報告書によると、中国軍（人民解放軍）は、AIを活用したセンサーとコンピュータ・ネットワークを使い、「米国の作戦システムにおける重要な脆弱性を迅速に特定し、その脆弱性に対して精密な攻撃を仕掛けるために、領域を超えて統合部隊を組み合わせる」ための訓練と装備を整えつつあるという。
となると、未来における米国とロシア間の、または中国（または両国）との戦争において、JADC2が米軍を指揮し、ロシアNDCCと中国MDPWがそれらの国の軍を指揮する戦争を描いてみよう。または、3つのシステムすべてがエラーや幻覚を経験する可能性が高いことも考えてみよう。ロボットの将軍たちが、敵を核攻撃して戦争に「勝つ」時が来たと判断した時、人間はどれだけ安全なのだろうか？
もしこれが突飛なシナリオだと思うならもう一度考えてみてほしい。少なくとも、元グーグル代表のエリック・シュミットと元国防副長官のロバート・ワークが委員長を務める、議会から委任された「人工知能に関する国家安全保障委員会」の指導者たちによると、そうなのである。「委員会は、適切に設計され、テストされ、利用されたAI対応・自律型兵器システムは、軍事的、さらには人道的な利益をもたらすと信じているが、そのようなシステムの無制限な世界的利用は、意図しない紛争の激化や危機の不安定化を招く危険性がある」と最終報告書で断言している。そのような危険性は、「戦場におけるAI対応・自律型兵器システム間の相互作用が、困難で未検証の複雑性を持つため」、つまりAIがAIと戦う場合に生じ得ると、同報告書は述べている。
これは極端なシナリオに思えるかもしれないが、敵対するAIシステムが壊滅的な「フラッシュ・ウォー（瞬間的な戦争）」を引き起こす可能性は十分にある。それはウォール街の「フラッシュ・クラッシュ（瞬間的な急落）」に相当する軍事的なもので、超高度な取引アルゴリズムによる巨額の取引が、人間のオペレーターが秩序を回復する前にパニック売りを引き起こす。2010年5月6日の悪名高い「フラッシュ・クラッシュ」では、コンピュータ主導の取引が株式市場の価値を10％下落させた。この現象を最初に研究した新アメリカ安全保障センターのポール・シャーレによれば、ウォール街における「このような危機に相当する軍事的な危機」は、敵対する勢力の自動化されたコマンドシステムが「エスカレートする交戦のカスケードに陥る」ことで発生するという。そのような状況では、「自律型兵器は、一瞬にして破滅的規模の偶発的な死や破壊につながる可能性がある」と彼は指摘する。
現在のところ、この種の将来の大惨事を防ぐための対策は事実上存在しないし、そのような対策を考案するための大国間の協議すら行われていない。しかし、「人工知能に関する国家安全保障委員会」が指摘しているように、「紛争の自動的なエスカレーションを防ぐ」ために自動化されたエスカレーショ・トリップワイヤーを統合した危機対応策が早急に必要である。そうでなければ、第三次世界大戦の破滅的なバージョンが起こる可能性は大きい。このような技術が危険なほど未熟であること、そして北京、モスクワ、ワシントンがAIの兵器化を抑制することに消極的であることを考えると、機械がわれわれを絶滅させることを選択する日は、われわれが想像するよりもはるかに早くやってきて、そのような未来の戦争の巻き添えで人類は絶滅するかもしれない。
Links: The original version of this article, at the URL below, contains several links to further information not included here: