ChatGPT Isn’t ‘Hallucinating’—It’s Bullshitting!
AIチャットボットがどのように情報を作り上げているかを議論する際には、正確な用語を使用することが重要である。
by Joe Slater, James Humphries & Michael Townsen Hicks
今、人工知能（AI）は至るところにある。あなたが文書を書くとき、「AIアシスタント 」が必要かどうか尋ねられるだろう。PDFを開けば、AIに要約を提供してほしいかどうか尋ねられるかもしれない。しかしChatGPTや同様のプログラムを使ったことがある人なら、おそらくある問題を知っているだろう。それは、AIは何かをでっち上げるので、人々がそれに対して疑いの目を向けることだ。
このようなAIのエラーは一般的に 「ハルシネーション」と呼ばれる。しかしChatGPTについてこのように話すことは誤解を招き、損害を与える可能性がある。むしろそれはBullshit（でたらめ）と呼ぼう。
私たちはこれを軽々しく言ってるのではない。哲学者の間では、「でたらめ」には専門的な意味がある。米国の哲学者ハリー・フランクフルトが広めたものだ。誰かがでたらめを言うとき、その人は本当のことを言っているわけではないが、本当に嘘をついているわけでもない。フランクフルトは、でたらめを言う人を特徴づけるのは、自分の言っていることが真実かどうかを気にしないことだ、と言っている。ChatGPTとその類のものは気にすることができず、技術的な意味でデタラメ・マシンなのだ。
なぜこれが本当で、重要なのかは、すぐにわかる。例えば昨年、ある弁護士が法的な準備書面を書く際にChatGPTを使って調査したところ大問題になった。残念なことにChatGPTは架空の判例を引用していた。ChatGPTが引用した判例は存在しなかったのだ。
これは珍しくも異常でもない。その理由を理解するためには、このようなプログラムがどのように機能するのかを少し考えてみる価値がある。OpenAIのChatGPT、GoogleのGeminiチャットボット、MetaのLlamaはすべて、構造的に似たような方法で動作する。その中核にあるのはLLM、つまり大規模な言語モデルだ。これらのモデルはすべて、言語に関する予測を行う。ある入力があると、ChatGPTは次に何が来るべきか、あるいは何が適切な応答であるかについて何らかの予測を行う。それを膨大な量のテキスト（その 「トレーニングデータ」）の分析を通して行っている。ChatGPTの場合、最初の学習データにはインターネット上の何十億ページものテキストが含まれている。
これらの学習データから、LLMはテキストの断片やプロンプトから次に何が来るべきかを予測する。次に来る可能性の高い単語（厳密には言語トークン）のリストにたどり着き、その中から有力な候補を1つ選ぶ。毎回最も可能性の高い単語を選ばないようにすることで、より創造的な（そしてより人間的な）表現が可能になる。どの程度のずれを許容するかを設定するパラメーターは 「Temperature（温度）」と呼ばれる。プロセスの後半では、人間のトレーナーが、出力された言葉が理にかなった会話かどうかを判断することで、予測に磨きをかける。（ChatGPTが人種差別的なことを言うなどの）問題を避けるために、プログラムに特別な制限を加えることもできるが、このトークンごとの予測はこの技術すべての根底にある考え方である。
さて、この説明からわかるのは、モデリングについて、アウトプットが世界の何かを正確に描写していることを保証するものは何もないということだ。アウトプットが何らかの内部を表現していると考える理由はあまりない。よく訓練されたチャットボットは人間のようなテキストを生成するが、そのテキストが真実であることを確認するプロセスは何もない。だからLLMがその内容を本当に理解しているのかどうか、私たちは強く疑うのだ。
そのためChatGPTは時々間違ったことを言う。近年、私たちがAIに慣れてきたため、人々はこのような間違いを 「AIのハルシネーション」と呼ぶようになった。この言葉は比喩的ではあるが、良い比喩ではないと考えている。
マクベスが短剣が自分に向かって浮かんでくるというシェイクスピアにおけるハルシネーション（幻覚）を考えてみよう。ここで何が起こっているのか？マクベスは普通の方法で知覚能力を使おうとしているが、何かがおかしくなる。そして、彼の知覚能力はほとんど常に信頼できるもので、通常、短剣が無造作に浮かんでいるのを見ることはないのだ！普通なら彼の視覚は世界を表現するのに役立っており、それが得意なのは世界とつながりがあるからだ。
では、ChatGPTについて考えてみよう。ChatGPTが何かを話すときはいつも、人間のようなテキストを作ろうとしているだけだ。そのゴールは、単に聞こえの良いものを作ること。これは決して世界と直接結びついてはいない。うまくいかないとき、それは今回世界を表現することに成功しなかったから上手くなかったのではない。そもそも世界を表現しようとはしていないのだ！その虚偽を「ハルシネーション」と呼ぶことはこの特徴を捉えていない。
その代わりに、私たちは6月の『倫理と情報技術』誌の報告で、より適切な用語は 「Bullshitでたらめ 」であると提案している。前述したように、デタラメを言う人は、自分の言うことが真実かどうかを気にしていない。
だから、もしChatGPTが私たちと会話をしていると考えるなら（これさえ少し見せかけかもしれないが）、それはあっているように思える。ChatGPTは何かをするつもりと同じくらい、説得力のある人間のような文章を作るつもりだ。世界について何かを言おうとしているのではない。ただでたらめを言っている。そして決定的なのは、本当のことを言っているときでさえ、でたらめを言ってるのだ！
なぜそれが問題なのか？ここでは「ハルシネーション」は単なるいい比喩ではないのか？それが適切でなくても本当に問題なのだろうか？私たちは、少なくとも3つの理由から重要だと考えている：
第一に、私たちが使用する専門用語は一般の人々のテクノロジーに対する理解に影響し、それ自体が重要である。誤解を招く用語を使えば、人々はその技術がどのように機能するかを誤解する可能性が高くなる。私たちは、このこと自体が悪いことだと考えている。
第二に、私たちがテクノロジーをどのように説明するかは、そのテクノロジーと私たちの関係や、テクノロジーについてどのように考えるかに影響を与える。そしてこれは害がある。「自動運転」車に安心感を抱く人々を考えてみよう。私たちは、AIが「ハルシネーション」で話しているということは（ハルシネーション、幻覚は人間の心理で使われる用語）チャットボットを擬人化する危険があると懸念する。ELIZA効果（1960年代のチャットボットにちなんで名付けられた）は、人々が人間の特徴をコンピュータプログラムに帰着させるときに起こる。極端な例では、グーグルの従業員が同社のチャットボットの1つが知覚を持っていると信じるようになったケースがある。ChatGPTをでたらめな機械（たとえそれが非常に見事であっても）と表現することは、このリスクを軽減するのに役立つ。
第三に、プログラムに行為主体性を持たせると、うまくいかなかったときに、ChatGPTを使用している人やそのプログラマーを非難させないようになる可能性がある。もし、この種の技術が医療などの重要な問題でますます使われるようになれば、物事がうまくいかなかったときに誰が責任を負うのかを知ることは極めて重要である。
だから今度AIが何かを作り話をしているのを「ハルシネーション」と表現する人がいたら、たわごと言うな！と言おう。