How the Chinese Beat Trump and OpenAI
by b
人工知能（AI）を巡る誇張された報道、そしてそれを独占しようとしたものの失敗に終わった米国の試み、そして最近の中国からの反撃はイノベーションの方法についての教訓である。またこれは米国がその能力を失いつつあることも示している。
2023年半ば、AIの誇張された報道が話題となった際、私は次のように書いた：
AIは（主に）パターン認識の誇張である
現在、ChatGPTのような大規模言語モデルの一群について、ある種誇張されている。このプログラムは自然言語の入力を読み取り、関連する自然言語のコンテンツ出力に処理する。これは新しいものではない。最初の人工言語インターネットコンピュータエンティティ（Alice）は、1960年代初頭にジョセフ・ワイゼンバウムがMITで開発した。私は1980年代にメインフレーム端末でELIZAと面白いチャットをしたことがある。ChatGPTはもう少し賢く、その反復結果、つまり「会話」は一部の人々を驚かせるかもしれない。しかし、それに関する過大な宣伝は見当はずれである。
現在、最良の大型言語モデルの出力の事実上の正確性は、80%と推定される。それらはシンボルやパターンを処理するが、それらのシンボルやパターンが何を意味するのかを理解していない。数学的および論理的な問題、それも非常に基本的な問題さえも解決できない。
AIやパターン認識が素晴らしい成果を上げている分野もある。例えば、書かれた言語の翻訳などだ。しかし、あらゆる単語を正しく理解でていると信頼することはできない。モデルはアシスタントにはなるが、結果は常にダブルチェックする必要がある。
現在のAIモデルの正確性は全体的に見て、現実世界の状況を判断するにはあまりにも低い。より多くのデータやより高い演算能力があっても、それは変わらない。その限界を克服したいのであれば、根本的に新しいアイデアを見つける必要があるだろう。{1}
しかし、過剰宣伝は続いた。AIモデルの1つであるChatGPTは、非営利団体OpenAIによって提供された。しかし、CEOのサム・アルトマンはすぐに、莫大な利益を生み出す可能性を嗅ぎ取った。OpenAIの非営利構造を擁護してから1年後、アルトマンは事実上、理事会を解散し、組織を非公開化したのである：
チャットGPTを開発したOpenAIは、そのコアビジネスを非営利理事会の管理下から外し、営利目的の公益法人に再編する計画に取り組んでいると、事情に詳しい関係者がロイターに語った。この動きは、投資家にとって同社をより魅力的にするものとなる。
最高経営責任者のサム・アルトマンも営利企業として初めて株式を受け取るだろう。再編後には、投資家への利益還元の上限も撤廃する方針であり、その株式価値は1500億ドルに達する可能性もあると関係筋は付け加えた。
OpenAIが提供したChatGTP大規模言語モデルはクローズドソースであった。クラウド上で稼働するブラックボックスで、チャットや翻訳、コンテンツ生成、特定の問題の分析に料金を支払って利用できる。
ChatGTPのトレーニングと維持には膨大なコンピューティングパワーと資金が必要だった。 多少高価ではあるが、そこには新しい技術はない。そのアルゴリズムは周知のものであり、それを「プログラム」するために必要なトレーニングデータはインターネット上のコンテンツを自由に利用できた。
AIに関する大げさな宣伝は秘密でもなければ、新しい技術でもない。 競争への参入障壁は低い。
これが、イヴが『裸の資本主義』の中でエドワード・ジットロンを指して「OpenAIは生き残れるのか？」と問いかけた理由である。{2} 生き残れない。あるいは、生き残れる可能性は低い。米国での議論では、こうした事実がまったく認識されてこなかった。
政治家たちはAIを米国の世界支配をさらに推し進める次の大きなものと考えた。彼らは、その分野で米国がリードしていると考えている分野での潜在的な競争を阻止しようとした。米国のチップメーカー大手であるNvideaは、最新AI専用モデルの中国への販売を禁止され、数十億ドルの損失を被った。
2日前、トランプ大統領は米国における5000億ドルのAIインフラ投資であるスターゲートを発表した：
火曜日には、3社の大手テクノロジー企業が、米国でAIインフラを成長させるため、スターゲートという名の新しい企業を設立すると発表した。
OpenAIのCEOであるサム・アルトマン、ソフトバンクのCEOである孫正義、そしてオラクルの会長であるラリー・エリソンは、火曜日の午後、ドナルド・トランプ大統領とともにホワイトハウスに姿を現し、トランプ大統領が「史上最大のAIインフラプロジェクト」と呼ぶこの企業を発表した。
各社はまず1000億ドルをこのプロジェクトに投資し、今後数年間でスターゲートに最大5000億ドルを投じる計画である。このプロジェクトにより、10万の米国の雇用が創出されるとトランプは述べた。
スターゲートは「次世代のAIを動かす物理的および仮想インフラ」を構築する。これには、全米各地のデータセンターも含まれるとトランプは述べた。エリソンは、同グループの最初の100万平方フィートのデータプロジェクトがテキサス州で既に建設中であると述べた。
まさに同じ日、しかしそれほど大きな騒ぎにはならなかったが、中国企業が別のAIモデルを発表した｛3｝：
我々は、第一世代の推論モデルであるDeepSeek-R1-ZeroとDeepSeek-R1を紹介する。DeepSeek-R1-Zeroは、事前段階として教師あり微調整（SFT）なしの大規模強化学習（RL）で訓練されたモデルであり、推論において目覚ましい性能を発揮した。RLにより、DeepSeek-R1-Zeroは自然に、強力かつ興味深い推論行動を多数示すようになった。
新しいDeepSeekモデルは、他のどのモデルよりも優れたベンチマーク結果を残している。その理由は、異なる技術の組み合わせ、少ないトレーニングデータ、そしてより少ないコンピューティングパワーを使用しているからだ。使用コストが安く、OpenAIとは対照的に真のオープンソースである。
Forbesは次のように書いている：
高度半導体に対する米国の輸出規制は、中国のAIの進歩を遅らせることを目的としていたが、意図せずしてイノベーションを促進してしまった可能性がある。杭州に拠点を置くDeepSeekのような企業は、最新のハードウェアだけに頼ることはできず、少ないリソースでより多くのことを行うための創造的なソリューションを見つけざるを得なかった。
今月、DeepSeekは、純粋強化学習などの高度な技術を使用して、世界でも最も強力なモデルのひとつであるだけでなく、完全にオープンソース化し、世界中の誰もが検証、修正、構築できるようにしたR1モデルをリリースした。
DeepSeek-R1の性能は、数学、コーディング、複雑な推論など、さまざまなタスクにおいて、OpenAIのトップ推論モデルと同等である。例えば、数学のベンチマークであるAIME 2024では、DeepSeek-R1は79.8%のスコアを獲得し、OpenAI-o1は79.2%であった。MATH-500ベンチマークでは、DeepSeek-R1は97.3%を達成し、OpenAI-o1は96.4%であった。コーディングタスクでは、DeepSeek-R1はCodeforcesで96.3パーセンタイルに達し、OpenAI-o1は96.6パーセンタイルに達した。ただし、ベンチマークの結果は不完全であり過剰に解釈すべきではないことに留意すべきである。
しかし、最も注目すべきは、DeepSeekが最新のコンピュータチップに頼るのではなく、主にイノベーションによってこの成果を達成できたことである。{4}
Natureも同様に驚いている：
中国製の大型言語モデル「DeepSeek-R1」は、OpenAIの「o1」などの「推論」モデルに対する手頃な価格のオープンなライバルとして、科学者を興奮させている。…
「これは野心的で、まったく予想外だ」と、英国を拠点とするAIコンサルティング企業DAIR.AIの共同創設者でAI研究者のElvis Saravia氏はXに書いた。
R1が際立っているのには別の理由もある。このモデルを開発した杭州のスタートアップ企業DeepSeekは、このモデルを「オープンウェイト」として公開している。つまり研究者はこのアルゴリズムを研究し、改良することができる。MITライセンスで公開されているこのモデルは自由に再利用できるが、トレーニングデータが公開されていないため、完全にオープンソースとはみなされていない。
「DeepSeekのオープン性は非常に注目に値する」と、ドイツのエアランゲンにあるマックス・プランク光科学研究所の人工知能研究所のリーダーであるマリオ・クレンは言う。それと比較すると、カリフォルニア州サンフランシスコのOpenAIが開発したo1や、最新の取り組みであるo3を含むその他のモデルは「本質的にはブラックボックス」であると彼は言う。{5}
インターネットに長年投資し、あらゆることを見てきた投資家も感銘を受けている：
マーク・アンドリーセン 🇺🇸 @pmarca – 9:19 UTC · 2025年1月24日
Deepseek R1は、私がこれまでに見た中で最も驚くべき、印象的な画期的な技術の1つだ。オープンソースとして、世界への素晴らしい贈り物だ。
ネイチャーはさらに次のように付け加えた：
DeepSeekはR1のトレーニングにかかった全費用を公表していないが、そのインターフェースを使用する人々には、o1の実行コストの30分の1程度の料金を請求している。また、この企業はR1の「蒸留」版ミニバージョンも作成しており、コンピューティングパワーに制限のある研究者でもモデルを操作できるようになっている。{5}
これは実際に機能している！
Brian Roemmele @BrianRoemmele – 14:34 UTC · 2025年1月23日
皆さん、やったと思います！
一晩のテストで確認された場合、インターネットに接続されていないRaspberry Piで、毎秒200トークンでDeepSeek R1を実行しているオープンソースだ。
OpenAIよりも優れたあなただけの完全なフロンティアAIがポケットに入り、無料で使える！
すべてのテストが完了次第、Piの画像を公開する。
Raspberry Piにそれを挿入するだけで、AIが手に入る！
AIモデルを真にオープンソース化すると、このようなパワーが発揮されるのだ。
最新のRaspberry Piハードウェアは50ドルから。ソフトウェアは無料だ。
これはOpenAIに対する死の宣告だ：
Arnaud Bertrand @RnaudBertrand – 14:23 UTC · 2025年1月21日
おそらくほとんどの人は、中国のDeepseekがOpenAIにとってどれほど悪いニュースであるか気づいていないだろう。
彼らは、さまざまなベンチマークでOpenAIの最新モデルo1に匹敵する、あるいはそれを上回るモデルを開発しており、しかも価格は3%に過ぎない。
これは、iPhoneと同等のモバイル端末を、1000ドルではなく30ドルで販売しているようなものだ。それほど劇的な違いがある。
さらに、彼らはオープンソースでリリースしているため、OpenAIが提供していないオプション、つまり彼らのAPIを一切使用せずに、自分で「無料」でモデルを実行するという選択肢もある。
DeepSeekの裏話{6}もまた素晴らしい。
2007年、3人の中国人エンジニアがAIを使用したクオンツ（金融投機）ファンドの構築に着手した。彼らは大学を卒業したばかりの意欲的な人材を雇った。彼らのHigh-Flyerファンドはいくらか成功したが、ここ数年、中国政府は金融工学、クオンツ取引、投機に対して取り締まりを強化し始めた。
時間があり、バックルームには使われていないコンピューティングパワーがあったため、エンジニアたちはDeepSeekモデルの構築を開始した。コストは最小限に抑えられた。OpenAI、Meta、GoogleがAI構築に数十億ドルを費やした一方で、公開されたDeepSeekモデルのトレーニングコストはわずか500万ドルから600万ドルだった。
Henry Shi @henrythe9ths – 23:20 PM · Jan 20, 2025
- 教訓は？
時には少ないものを持つことが、より多くの革新を意味する。DeepSeekは、以下のようなものは必要ないことを証明している：
– 数十億ドルの資金
– 数百人の博士号取得者
– 有名な家系
必要なのは素晴らしい若い頭脳、異なる考え方をする勇気、そして決して諦めない不屈の精神
もう一つの教訓は、素晴らしい若い頭脳を金融投機の最適化に浪費するのではなく、実際に使えるものを作るために活用すべきだということだ。
DeepSeekは、貿易や技術障壁によって競合他社から技術を遠ざけることが不可能であることを示している。彼らは、適切なリソースがあれば、それらを回避して簡単に革新することができるのだ。
たとえ数十億ドルの資金や、トランプのような派手なマーケティング担当者、サム・アルトマンのような自己宣伝に長けたペテン師でも、十分に訓練されたエンジニアの厚い層と競争することはできない。
Guanchaの著者のコメント（機械翻訳）：
中米の科学技術戦争において、中国が持つ独特な優位性は、まさに米国の禁輸措置から来ている。我々の生き残ろうとする強い意志がワシントンによって引き出されたと言ってもよく、限られた資源を最大限に活用することが突破口を開く秘訣である。歴史を振り返ると、このようなストーリーは目新しいものではなく、つまり、弱者が強者を打ち負かし、小国が大国と戦うというものである。
米国側は、自国の絶対的な優位性に過度に依存するあまりベトナム型のジレンマに陥るだろう。つまり、多くの資源を浪費し、国内消費に埋没してしまうのだ。
米国がその教訓を（再）学習するには、どれだけの時間がかかるだろうか？
Posted by b on January 24 2025 at 15:46 UTC | Permalink
Selected Links:
{1} https://www.moonofalabama.org/2023/06/artificial-intelligence-is-mostly-pattern-recognition.html
{2} https://www.nakedcapitalism.com/2024/08/how-does-openai-survive.html
{3} https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
{5} https://www.nature.com/articles/d41586-025-00229-6
{6} https://x.com/henrythe9ths/status/1881663088828776601
https://www.moonofalabama.org/2025/01/how-the-chinese-beat-trump-and-openai.html