ChatGPTの正体は「超高速なサイコロ振り」。紙とペンでAIを自作してわかった、大規模言語モデルの意外すぎる“単純な中身”

「チャットGPTの中身って、一体どうなってるの？」
そんな疑問を抱いたとき、私たちの頭には複雑怪奇な数式や、SF映画に出てくるような光り輝く電脳回路が浮かぶかもしれません。しかし、その「魔法」の正体を丸裸にしてみると、そこには驚くほどアナログで、拍子抜けするほどシンプルな「サイコロを振る姿」がありました。

最新のAI、いわゆる大規模言語モデル（LLM）は、私たちの想像を超えた「神の知能」なのか。それとも、ただの高性能な計算機なのか。今回は、コンピュータサイエンスの博士であり、LLMの専門書も執筆している「コトラボ」のりょうさんを迎え、AIの内部構造を解き明かします。

専門家いわく、「チャットGPTも、ほぼ紙とペンとサイコロみたいなもの」だといいます。今回は、30分でAIを自作する思考実験を通して、魔法の杖だと思っていたテクノロジーの正体が、ただの「超高速な連想ゲーム」だと気づくまでの旅に出かけましょう。

1. AIの正体は「次に来る単語」の連想ゲーム
2. 専門家と作る「カスのモデル」。サイコロで個人の思考をコピーする
3. Notion AIで体感する「自分専用モデル」の強み
4. 「カスのモデル」を「神のモデル」へ進化させた膨大な工夫
まとめ
1. 配信元情報

1. AIの正体は「次に来る単語」の連想ゲーム

AIが文章を作る仕組み。そこに高度な「意識」や「思考」は存在しません。その本質は、専門用語で「マルコフ過程」や「遷移図」と呼ばれる、極めて統計的な仕組みにあります。

簡単に言えば、AIがやっていることは「次に来る単語の出現確率」を計算しているだけです。

「大規模言語モデルのコアの部分だけを取り出すと、めっちゃ簡単なんで」

例えば、「僕は」という言葉の次には「マウス」が来る確率が100%だと学習していれば、AIは迷わず「マウス」を選択します。しかし、現実の言葉はもっと複雑です。「が」という助詞の後に続く言葉は、「ない」かもしれないし、「できない」かもしれないし、「苦手」かもしれません。

ここでAIは、過去に読み込んだ膨大なデータから、「『が』の次に『ない』が来る確率は50%、『できない』は25%……」といった統計的なリストを参照します。そして、その確率に基づいて、まさにサイコロを振るように次の言葉を決定していくのです。

正直、名前は難しそうですけど、やってることは居酒屋の注文の連鎖みたいなものです。「ビール」と言えば「枝豆」が来る確率が高い、という経験則を、全言語レベルで実行しているのがAIの正体。知能というよりは、猛烈な勢いで統計のページをめくっているイメージです。

2. 専門家と作る「カスのモデル」。サイコロで個人の思考をコピーする

では、実際にこの「世界一小さな言語モデル」を自作してみましょう。今回は、パーソナリティ水野さんの過去の発言を「学習データ」にして、文章を生成するワークショップです。

「本日は30分で水野さんが言語モデルを作る回です」

水野さんの「僕はマウスがないと右クリックができない」といった、少し変わった癖のあるフレーズをデータとして入力し、単語の繋がりを確率の図（遷移図）に書き起こしていきます。

「僕は」→「マウス」 (100%)
「マウス」→「が」 (100%)
「が」→「ない」 (50%) / 「できない」 (25%) / 「苦手」 (25%)

この図が完成したら、いよいよサイコロの出番です。「が」という分岐点に来るたびにサイコロを振り、出た目に従って単語を選択していきます。するとどうでしょう。「僕はマウスができないので諦めました」といった、本人は一度も言っていないけれど、「いかにも水野さんらしい」新しい文章が生まれました。

これが「生成AI」が誕生する瞬間です。学習したデータそのものを出力するのではなく、データに基づいた「未知の組み合わせ」を確率で出力する。サイコロを振る回数はたった数回、図を描く時間を合わせても、お茶を淹れる間に「水野ボット」は完成します。この手軽さこそが、LLMのコアが極めてシンプルであることの証拠なのです。

ただし、ここで注意が必要なのは、AIはあくまで「確率」で選んでいるだけだということ。事実かどうかは二の次なので、サイコロの出目次第では、もっともらしく嘘をつく（ハルシネーション）性質も、この根本的な仕組みから生まれています。