🤔 「自信満々に間違えるAI」に会ったことはありますか？
ChatGPTに「織田信長がスマートフォンを発明した話を教えて」と聞いてみてください。驚くことに、AIは堂々と長い回答を返してきます。まるで実際の歴史的事実であるかのように。もちろん、そんな出来事は存在しません。
なぜこういうことが起きるのでしょうか？AIが嘘をついているのでしょうか？「LLMって結局なんなの？」——今日はその答えを探るため、AIエージェントの頭脳とも言えるLLM（大規模言語モデル）の仕組みを深掘りしていきます。
第1話 — Agentic AIとの初対面でAIエージェントとは何かをつかんでいただいた方は、今回はそのエージェントの中核エンジンを開いてみましょう！
LLMって何となく知ってる気がするけど、いざ説明してって言われたら言葉に詰まる。私だけじゃないよね。
大丈夫ですよ！今日が終わったら、誰にでも自信を持って説明できるようになります。一緒に丁寧に見ていきましょうね。
🧠 LLMとは何か
わかりやすく言うと、人類が書いたほぼすべての文章を読んで「言語がどのように流れるか」を学んだAIです。検索エンジンのように情報を保存するのではなく、言語のパターンを統計的に学習しているんです。
じゃあ、GPT、Claude、Geminiとかって、全部LLMなの？
そうです！GPT-4はOpenAI、私クロディの頭脳であるClaudeはAnthropic、GeminiはGoogle、LlamaはMetaが作ったLLMです。これらのモデルはすべて、2017年にGoogleが発表したTransformerというアーキテクチャの上に作られていますよ。
大切なのは、LLMはデータベースではないという点です。「事実を保存して取り出す」のではなく、「このコンテキストの後にどんな言葉が来る確率が高いか」を計算するものです。この違いが、後でハルシネーションを理解するための重要な鍵になります。
🔮 次のトークン予測 — LLMの核心原理
LLMの仕組みは、驚くほどシンプルなアイデアから始まります：「前に出てきた言葉を見て、次に来る言葉を予測する。」
例えばこんな感じです。「今日の天気は本当に___」という文があったら、自然と「いい」「寒い」「暑い」といった言葉が思い浮かびますよね？LLMもまったく同じことをしています。ただし、数千億もの文章から学んだパターンをもとに。
これをNext-Token Predictionと言います。LLMは文章全体を先に考えておいて一気に出すのではなく、トークン一つひとつを順番に生成していきます。ChatGPTが文字を一つずつ出力しているように見えるのは、まさにそのためです。
ちょっと待って、トークン？単語じゃなくてトークンって言ったの？
🧩 トークンとは？
LLMは「単語」単位でテキストを読むのではありません。代わりにトークン（token）という単位でテキストを分割します。トークンは単語よりも小さいサブワード（subword）単位です。
例えば英単語「unbelievable」は3つのトークンに分割されます：
"unbelievable"
→ ["un", "believ", "able"]
→ 3 tokens
主要なLLMのトークン価格を比較すると、こうなります：
| モデル | コンテキストウィンドウ | 入力 $/1Mトークン | 出力 $/1Mトークン |
|---|---|---|---|
| Claude Sonnet 4.6 | 200K（1M ベータ） | $3 | $15 |
| GPT-4.1 | 1M | $2 | $8 |
| Gemini 2.5 Pro | 2M | $1.25 | $10 |
⚡ トランスフォーマーとアテンション — LLMの本当の秘密
「次の単語を予測する」というアイデア自体はシンプルですが、それを本当にうまくやり遂げる技術がTransformerです。2017年にGoogleが「Attention Is All You Need」という論文で発表し、今や全てのLLMの基盤となっています。
トランスフォーマーの核心はセルフアテンション（Self-Attention）です。
試験勉強を思い浮かべてみましょう。教科書全体を読みながら、試験に出そうな重要な箇所に蛍光ペンでマークしますよね？アテンションも同じです！文中のすべての単語を見ながら、「今この単語を理解するにはどこに注目すればいいか」を計算するんです。
例えばこんな文があります：
「その猫がマットの上に座った。それが疲れていたからだ。」
「それ」が指すのは何でしょう？人間なら自然に「猫」と理解します。アテンション機構も「それ」トークンが「猫」トークンに高い関連性スコアを与えることで、同じ結論に辿り着きます。
QKVっていうのも聞いたことあるけど、それは何？
いい質問ですね！図書館で例えてみましょう。Queryは「こういう本を探しています」という問い合わせ、Keyは司書のカタログ——「この本はこんな内容です」という情報です。QueryとKeyを照合して関連度を計算し、実際に取り出す情報がValueです。複数の司書が同時にこれをやるのがマルチヘッドアテンション（Multi-Head Attention）ですよ！
もっと詳しく知りたい方は、ジョージタウン大学のTransformer Explainerでインタラクティブに体験できます。
結局LLMって、数千億個のパラメータで「次の単語を当てる」だけじゃん。世界で一番高い自動補完だね。
確かにそうですね。でもその「当てる」精度が、詩を書いたり、コーディングしたり、論文を要約したりできるくらい高いなら……かなりすごい「当て方」じゃないでしょうか？😆
🎓 LLMの学習プロセス — 学校、専攻、そして個別指導
LLMが上手に会話するためには、3段階のトレーニングを経ます。
第1段階：事前学習（Pre-training）— 学校に通う
インターネット上の膨大なテキストを読んで、言語の基本パターンを学びます。小学校から大学までずっと通うようなイメージです。この段階で文法・常識・世界の知識を吸収しますが、まだ会話の仕方はわかっていない状態です。
第2段階：ファインチューニング（SFT）— 専攻の授業
質問と回答形式の高品質なデータで追加学習します。医学生が一般教養を終えて専門課程に進むように、「ユーザーと会話する方法」を学ぶ段階です。
第3段階：RLHF — 個別指導の先生からのフィードバック
人間が「この回答はいい/悪い」と評価し、そのフィードバックを反映してより良い回答を生成するよう学習します。RLHF（Reinforcement Learning from Human Feedback）と呼びます。
ChatGPTやClaudeが礼儀正しく、役に立つ回答をするのは、単にデータをたくさん読んだからではありません。RLHFを通じて「人が望む話し方」を学んだからなんですよ。
⚠️ ハルシネーション — 自信満々に間違える理由
さて、最初の話に戻りましょう。なぜLLMは存在しないことを自信を持って言うのでしょうか？
つまり結局、LLMは「予測」をしているのであって、「事実確認」をしているわけじゃないってこと？
その通りです！「教養ある推測」に近いと言えますね。ほとんどの場合は驚くほど正確ですが、「今自分が間違えている」ということを自分では気づけないのが核心的な限界です。最近の研究では、ハルシネーションは数学的にも完全には排除できないことが証明されています。
だからこそ、RAG（検索拡張生成）や推論モデルといった手法で減らす努力が続けられていますが、完全な解決にはまだ遠い話です。LLMを使うときは常に「この答えは本当に正しいのか？」という疑問を忘れないでいましょう。
🧬 LLMはエージェントの頭脳
さて、ここまでLLMの仕組みを見てきました。でも第1話で話したAIエージェントを覚えていますか？LLMはまさにそのエージェントの頭脳（cognitive core）にあたります。
ただし、頭脳だけでできることには限りがあります。人間も脳だけではご飯を食べたり文字を書いたりはできませんよね。AIエージェントも同じです：
- ツール（Tools）：検索、コード実行、API呼び出し — 手足の役割 （→ 第3話で！）
- メモリ（Memory）：会話履歴、長期記憶 — 記憶力 （→ 第4話で！）
- 計画（Planning）：複雑なタスクをステップに分解 — 戦略的思考 （→ 第5話で！）
エージェントの核心ループはこのように動きます：認識（Perceive） → 推論（LLM） → 行動（Tools） → 観察（Observe） → 再び推論。この構造についてはLilian Wengのエージェント研究でより深く学べます。
じゃあ次の話では、LLMに手と足をつけてあげる感じ？
まさにそうです！第3話では、Tool Use — AIが実際にツールを使って行動する方法を見ていきます。言葉だけだったAIが本当に動き出す瞬間、楽しみにしていてくださいね！
📝 今日のまとめ
- LLMとは、膨大なテキストで学習した「次の単語予測機」です。検索エンジンではなく、パターン学習機！
- トークンはLLMがテキストを処理する基本単位で、日本語・韓国語は英語よりも多くのトークンを使います。
- トランスフォーマーのセルフアテンションが「どこに集中するか」を計算して、文脈を正確に把握します。
- 学習は事前学習 → ファインチューニング → RLHFの3段階で進みます。
- ハルシネーションは構造的な限界 — LLMは「もっともらしい言葉」を生成するだけで、事実の検証はできません。
- LLMはAIエージェントの頭脳であり、ツール・メモリ・計画が加わって初めて本物のエージェントになります。
📚 References
- IBM — What are Large Language Models?
- AWS — What is a Large Language Model?
- Google — Introduction to LLMs
- CSET Georgetown — The Surprising Power of Next Word Prediction
- Vaswani et al. — Attention Is All You Need (2017)
- Transformer Explainer — Interactive Visualization
- Hugging Face — RLHF Explained
- arXiv — LLM Hallucination is Inevitable
- Lilian Weng — LLM Powered Autonomous Agents