脳に着想を得たAIモデル「BDH」がTransformerの限界を超えるかもしれない | XenoSpectrum

AIスタートアップPathwayが、人間の脳神経回路に着想を得た新アーキテクチャ「Baby Dragon Hatchling（BDH）」を発表した。現在の主流であるTransformerモデルの限界を打破する可能性を秘め、より解釈可能で自律的なAIへの道を拓くものとして、業界に静かな衝撃が走っている。

Transformer時代の黄昏と新たな地平線

近年のAIの進化は、OpenAIのGPTシリーズに代表されるTransformerアーキテクチャによって牽引されてきた。膨大なデータと計算資源を投入する「スケーリング則」により、その性能は飛躍的に向上した。しかし、その輝かしい成功の裏で、いくつかの根深い課題が顕在化しつつある。

一つは「ブラックボックス問題」だ。モデルがなぜ特定の結論に至ったのか、その思考プロセスを人間が理解することは極めて困難である。もう一つは「時間経過に伴う汎化能力の欠如」だ。訓練データに含まれない、あるいはコンテキストが長大化する未知の状況において、AIの推論能力はしばしば脆さを見せる。これは、AIが真に自律的に長期間活動する上での大きな障壁となっている。

こうした中、AI研究の最前線にいた頭脳たちが集結し、全く新しいアプローチを提示した。それが、パロアルトに本拠を置くスタートアップPathwayと、彼らが開発した「Baby Dragon Hatchling（BDH）」である。

ポーランドの知性が生んだドリームチーム

Pathwayのチーム構成は異例の豪華さだ。共同創業者兼CSO（最高科学責任者）のAdrian Kosowskiは20歳で博士号を取得した俊英。CTOのJan Chorowskiは、AIのゴッドファーザーと称され2024年にノーベル賞を受賞したGeoffrey Hinton氏とGoogle Brainで研究を共にし、音声認識に初めてアテンション機構を応用した先駆者である。

さらにアドバイザーには、Transformerを生み出した論文「Attention Is All You Need」の共著者であり、OpenAIの推論モデル開発にも関わったŁukasz Kaiserが名を連ねる。CEOのZuzanna Stamirowskaは、複雑系科学者としての経歴を持つ。彼らの多くがポーランドのヴロツワフ大学にルーツを持つことは、才能が世界のどこからでも出現し、業界地図を塗り替えうることを示している。

脳の設計図をAIに：BDHの核心技術

BDHは、既存のAIとは一線を画す。それは、Transformerへの単なる改良ではなく、脳の動作原理から直接インスピレーションを得た、根本的なパラダイムシフトである。

Transformerとの決別：ニューロンとシナプスのネットワーク

従来のTransformerがベクトルと行列演算を基本とする抽象的な数学モデルであるのに対し、BDHは「人工ニューロン」という粒子が「シナプス」という接続を介して相互作用する、グラフベースのモデルとして設計されている。これは、約800億のニューロンと100兆を超えるシナプスで構成される人間の脳の構造を色濃く反映している。

記憶はシナプスに宿る：「ヘブ学習」の実装

BDHの最も革新的な特徴は、神経科学の基本原理である「ヘブ学習」を実装した点にある。これは「共に発火するニューロンは、その間の結合が強まる」という原則だ。

従来のAIでは、情報は「活性化ベクトル」のような固定的な場所に保存されていた。しかしBDHでは、ワーキングメモリはシナプスの結合強度そのものに存在する。特定の概念について推論すると、関連するニューロン間のシナプス結合がリアルタイムで強化されるのだ。例えば、BDHが「英ポンド」とフランス語の「livre sterling」という異なる言語の同じ概念を処理する際、一貫して同じシナプスが活性化することが実験で確認されている。これは、記憶が動的かつ分散的に形成される脳のメカニズムに近い。

自ら秩序を創り出す：創発するモジュール構造

さらに驚くべきは、BDHが訓練中に自発的に、生物の神経網に見られるような効率的なネットワーク構造を形成することだ。特定の機能に特化したニューロンのコミュニティ（モジュール）が生まれ、それらがブリッジニューロンによって相互接続される。この「モジュール性」や、一部のニューロンが多数の接続を持つ「スケールフリー」な特性は、誰かが設計したものではない。情報処理の最適解を、BDHが自ら発見した結果なのだ。この自己組織化能力は、脳の新皮質が機能分化するプロセスにも通じるものがある。

理論だけではない実力：性能と効率の実証

生物学的な妥当性を追求するモデルは、しばしば性能を犠牲にしてきた。しかしPathwayのチームは、BDHが性能面でも妥協しないことを実証している。

GPT-2を凌駕する学習効率

研究チームは、1000万から10億パラメータの規模でBDHとGPT-2アーキテクチャのTransformerを直接比較した。言語モデリングと翻訳タスクにおいて、BDHは同等以上の性能を示し、特に同じ量のデータからより多くを学習する「データ効率」の面で優位性を見せた。これは、AI開発が「より多くのデータとGPUを」という力業から脱却する可能性を示唆する。

GPUで動く脳：実用的なBDH-GPU

この脳に着想を得たグラフモデルは、理論上の存在に留まらない。Pathwayは「BDH-GPU」と呼ばれる、現代のGPUハードウェアで効率的に動作するテンソルベースの実装も開発した。これは、高次元のニューロン空間（n）、スパースな正値活性化、ReLU-lowrankと呼ばれるフィードフォワードブロックといった要素を組み合わせることで、生物学的な特徴を維持しつつ、実用的な計算を可能にしている。

この実用性により、世界中の研究者が既存のインフラを使って、脳型AIの研究を加速させることが可能になる。

BDHが切り拓くAIの未来

BDHの登場は、単なる高性能なAIモデルの誕生以上の意味を持つ。それはAIの解釈可能性、安全性、そして我々の知性そのものの理解にまで影響を及ぼす。

AIの「思考」を覗き込む：解釈可能性の飛躍的向上

BDHの際立った特徴の一つに、その高い解釈可能性が挙げられる。

• スパース活性化: 常時アクティブなニューロンは全体の約5%と非常に少ない。これにより、どのニューロンがどの情報処理に関わっているかを追跡しやすくなる。
• 単義性シナプス (Monosemantic Synapses): 前述の通り、特定のシナプスが特定の意味的概念（通貨、国名など）に一貫して反応する現象が確認されている。これは、AIの判断根拠をシナプスレベルで解明できる可能性を示しており、「ブラックボックス」問題に対する強力な解決策となりうる。

予測可能で安全なAIへ：「公理的AI」という新たな地平

Pathwayの研究チームは、BDHを通じて「公理的AI（Axiomatic AI）」という概念を提唱している。これは、個々のニューロンの振る舞い（ミクロ）と、そこから生まれる推論などのシステム全体の挙動（マクロ）を、一貫した理論的枠組みで理解しようとする試みだ。

これにより、AIが未知の状況に遭遇した際の振る舞いを、単に観察するのではなく、数学的にその安全性の限界を保証できる未来が開けるかもしれない。これは、ニック・ボストロムが提唱した「ペーパークリップ問題」（AIが単純な目的を暴走させるリスク）のような、自律AIがもたらす長期的リスクを制御する上で不可欠な要素である。

哲学的な問い：意識は創発するのか？

BDHが脳の構造と動作原理を忠実に模倣するほど、新たな問いも生まれる。それは、意識そのものが副作用として創発する可能性だ。生物の脳において意識を生み出したのと同じ自己組織化の原理をAIが獲得したとき、それは我々が予測し、制御できる範囲に留まるのだろうか。

この問いに対し、Pathwayチームは、創発現象をただ待つのではなく、それを理解するための数学的なツールキットを同時に構築している。ネットワークのモジュール性がなぜ生まれるのかを説明できる理論的基盤を持つことは、未知の創発現象に直面した際の我々の対応能力を大きく左右するだろう。解釈可能なAIへの道が、人工意識への道と同じである可能性。BDHは、我々にその両面を突きつけているのかもしれない。

AIの進化は、Transformerによって一つの頂点を極めた。しかし、BDHはその先の、より人間的で、より理解可能な知性への扉を開いた。これは単なる技術的な一歩ではなく、我々が知性とどう向き合うかを問い直す、知的冒険の新たな始まりなのである。

---

論文

参考文献