AIのエンジニアリング革命：Transformerから百模型戦争へ

先月、AI界で「動物戦争」が勃発しました。一方はMetaが発表したLlamaシリーズのモデルで、オープンソースの特性から開発者に非常に人気があります。もう一方は、アラブ首長国連邦の科学技術革新研究所が開発したFalconという名前の大規模モデルです。この二つのモデルはオープンソースLLMランキングで交互にランクインしています。

興味深いことに、アラブ首長国連邦がAI競技に参加する目的は「コアプレイヤーを覆す」ことです。その後、アラブ首長国連邦の人工知能大臣が『タイム』誌の「AI分野で最も影響力のある100人」に選ばれました。

現在、AI分野は「百家争鳴」の段階に入っています。多くの国や企業が自分たちの大規模言語モデルを構築しています。湾岸地域だけでも、すでに複数のプレーヤーがこの分野に参入しています。この現象は業界内の人々から感慨を引き起こし、ハードテクノロジー分野にも「百モデルの戦い」が現れたと考えています。

トランスフォーマーが世界を飲み込む

現在の大規模モデルの急成長は、2017年に発表された「Attention Is All You Need」論文のおかげです。この論文で提案されたTransformerアルゴリズムは、このAIブームの触媒となりました。

Transformerが登場する前は、「機械に本を読むことを教える」ことが認められた学問上の難題でした。初期のニューラルネットワークは文脈を理解するのが難しかったです。2014年、リカレントニューラルネットワーク(RNN)の出現はある程度この問題を解決しましたが、その順次計算の特性は大規模データを処理する能力を制限しました。

Transformerは位置エンコーディングや並列計算などの革新を通じて、トレーニング効率を向上させ、文脈理解能力を強化しました。これにより、AIは理論研究から工学実践へと移行し、大規模モデル時代への道を開きました。

トランスフォーマーの普及に伴い、基盤となるアルゴリズムの革新速度が鈍化し、データエンジニアリング、計算能力の規模などのエンジニアリング要素がAI競争の鍵となっています。これにより、一定の技術力を持つ企業は、大規模モデルの開発に挑戦できるようになりました。

ガラスの上に築かれた堀

現在、「百モデル戦争」は現実となっています。報道によると、今年の7月までに中国の大モデルの数は130に達し、アメリカの114を超えました。中米を除いても、日本、インド、韓国などの国々も次々と国内の大モデルを発表しています。

しかし、参入が容易であることは、誰もがAI時代の巨人になれることを意味するわけではありません。FalconとLlamaの競争を例に挙げると、Falconがいくつかのランキングでリードしているものの、Metaにどれほどの影響を与えたかは難しいところです。オープンソースの大規模モデルにとって、活発な開発者コミュニティが核心的な競争力です。Metaはそのソーシャルメディアの遺伝子とオープンソース戦略を駆使して、この分野で優位に立っています。

さらに、ほとんどの大規模モデルは性能において依然としてGPT-4と明らかな差があります。最近のAgentBenchテストでは、GPT-4が4.41点で圧倒的にリードし、2位のClaudeはわずか2.77点であり、ほとんどのオープンソースモデルのスコアは1点程度です。

このギャップは、トップAI企業が持つ高レベルの科学者チームと長年の蓄積された経験に起因しています。したがって、大規模モデルのコア競争力は、エコシステムの構築(オープンソースのルート)または純粋な推論能力(クローズドソースのルート)にある可能性があります。

価値のアンカーポイント

AIの熱潮が押し寄せているにもかかわらず、現在その中で利益を上げている企業は多くありません。高騰する計算能力のコストが業界の発展に大きな障害となっています。推定によれば、世界のテクノロジー企業は毎年大規模モデルのインフラに2000億ドルを支出している可能性があり、大規模モデルからの収益は最大で750億ドルに過ぎず、巨大なギャップが存在しています。

業界のリーダー企業であるマイクロソフトやアドビでさえ、AIサービスの価格設定とコスト管理の課題に直面しています。ほとんどのパラメータが大規模な大モデルにとって、最も主要なアプリケーションシナリオは依然としてチャット機能にとどまっています。

同質化競争が激化し、オープンソースモデルが普及する中で、大規模モデルサービスの提供のみを基にしたビジネスモデルは、より大きな圧力に直面する可能性があります。今後、AI技術の真の価値は、具体的なアプリケーションシーンや実際の問題を解決する能力により多く現れるかもしれません。