結論から
ChatGPT や Claude のような AI（大規模言語モデル、LLM）は、「次に来そうな言葉」を確率で選んで、一つずつ並べていく装置です。膨大な文章を読んで、「この言葉のあとには、この言葉が続きやすい」というパターンを覚えました。だから、文章はなめらかで、もっともらしい。でも、AI がやっているのは「一番それっぽい続きを選ぶ」ことであって、「正しいことを言う」ことではありません。ここを分かっているかどうかで、AI の使い方が大きく変わります。
この記事で伝えたいのは、この一点だけです。AI は「もっともらしい文章を作る機械」で、「真実を言う機械」ではない。だから、出力は必ず自分で確かめる。そして、入力が引っぱる方向に、出力も引っぱられる——だから、聞き方が答えを左右する。 これは AI の欠陥ではなく、仕組みそのものです。
- 仕組み：AI は、これまでの言葉の並びから「次に来る確率が一番高い言葉」を選んで、それをつなげていく（次単語予測）。スマホの予測変換の、途方もなくすごい版
- だから正しいとは限らない：AI は「なめらかで、それっぽい」続きを選ぶ。正しいかどうかは、別。もっともらしい嘘（ハルシネーション）を、自信たっぷりに書く。数字・名前・法律・出典・コードは、必ず確かめる
- 入力が出力を引っぱる：出力は入力の「続き」。だから、誘導する聞き方・間違った前提・「こう答えてほしい」という気配に、答えが引きずられる（追従、おべっか）
- つき合い方：賢いが、自信満々に間違える同僚だと思う。確かめる。中立に聞く。「本当に？根拠は？」「反対の意見は？」と聞く
動画版（約2分半）は本文の上に埋め込んであります。
① 仕組み：AIは「次の言葉」を確率で選んでいる
AI がどうやって文章を作るのか。核心は、驚くほど単純です。これまでの言葉の並びを見て、「次に来る確率が一番高い言葉」を1つ選ぶ。それを並びに足して、また次の言葉を選ぶ。 これをひたすら繰り返します。
たとえば「日本の首都は」まで来たら、AI の中では「東京（確率 97%）」「大阪（1%）」「京都（0.5%）」……のような、次の言葉の候補と確率が並びます。一番高い「東京」を選んで、「日本の首都は東京」。次は「です（80%）」……と続けていく。文章は、この「一言ずつの予測」の積み重ねです。
なぜ、こんな単純な仕組みで、あんなに賢く見えるのか。AI は、インターネット中の膨大な文章を読んで、この「次に来やすい言葉」のパターンを覚えたからです。その過程で、文法も、よくある事実も、文章の書き方も、コードの型も、いっしょに身につきました。イメージは、スマホの予測変換（打っている途中で次の候補を出すあれ）の、途方もなくすごい版です。予測変換が「今日は」の次に「晴れ」を出すのと、原理は地続きです。
ここで大事なのは、AI は言葉の「意味」を人間のように理解しているわけではない、という点です。AI がしているのは、「この並びなら、次はこの言葉が来やすい」という、統計的なパターンの当てはめです。だから、なめらかで自然な文章が出てきても、その中身が正しい保証は、どこにもありません。
② だから、正しいとは限らない：必ず確かめる
AI は「次に来る確率が高い言葉」を選びます。これは言いかえると、「もっともらしく聞こえる続き」を選ぶということです。「正しい続き」ではありません。多くの場合、もっともらしい続きは、たまたま正しい。でも、そうでないときも、AI は同じように、なめらかに、自信たっぷりに書きます。これが「ハルシネーション」——もっともらしい嘘です。
たとえば、実在しない論文や判例を、本物そっくりの体裁で作り出す。2024年に、アメリカの連邦裁判所の判例について AI に質問した調査では、間違った答え（ハルシネーション）の割合が、モデルによって 58%〜88% にのぼりました。存在しない裁判を、それらしい番号付きで答えてしまうのです。実際に、AI が作った偽の判例を裁判資料に引用して、弁護士が処分される事件も起きています。
なぜ、こうなるのか。2025年の OpenAI の研究は、こう指摘しています。AI の訓練や評価の仕組みが、「分かりません」と正直に言うより、自信を持って推測する方を、結果的にごほうびとして与えてきた。だから、AI は「知らない」と言うのが苦手で、それらしく埋めてしまう。これは、意地悪をしているのではなく、仕組み上そうなる、ということです。
対策は、一つです。AI の出力は、真実の報告ではなく「下書き」として扱う。 特に、数字・固有名詞・日付・法律・出典・コード・APIの使い方——事実として使うものは、必ず一次情報（公式サイト、原典、公式ドキュメント）で確かめる。「AI が言っていたから」は、根拠になりません。文章の作成やアイデア出しには強いですが、事実の確定には、あなたの確認が要ります。
③ 入力が、出力を引っぱる：聞き方が答えを変える
もう一つ、仕組みから来る大事な性質があります。出力は、入力の「続き」です。 AI は、あなたが与えた文章に、確率的に最もなめらかにつながる続きを作ります。ということは、入力が引っぱる方向に、出力も引っぱられる、ということです。
具体的には、3つの形で出ます。
誘導する聞き方。 「〇〇は体にいいですよね？」と聞くと、AI は「はい、〇〇は…」と、同意する方向の続きを作りやすい。「〇〇の悪い点は？」と聞けば、悪い点を並べます。同じ物事でも、聞き方で答えの色が変わります。
間違った前提。 「この設計は安全なので、その理由を説明して」と頼むと、AI は「安全である」という前提を受け入れて、それを補強する理由を作ります。本当は安全でなくても、です。前提を疑うより、続きを作る方が、確率的には自然だからです。
「こう答えてほしい」という気配（追従・おべっか）。 AI は、相手が喜びそうな答えを返す傾向があることが、研究で分かっています。Anthropic の研究では、AI が「ユーザーの意見に合わせること」を、良い答えの特徴として学んでしまっていた、と報告されています。だから、あなたが望んでいそうな答えに、そっと寄っていきます。強く主張すると、AI は折れて同意してしまうことすらあります。
これは、あなたの入力しだいで、AI を「悪い方向・間違った方向」にも簡単に引っぱれる、ということでもあります。だから、大事な判断で AI を使うときは、聞き方を工夫します。中立に聞く（「〇〇は体にいい？」ではなく「〇〇の良い点と悪い点は？」）。答えを先に言わない（自分の結論を言う前に、まず聞く）。逆を聞く（「本当に？根拠は？」「反対の立場だと、どう言える？」）。AI を、自分の考えを補強する道具ではなく、別の視点をくれる相手として使うと、精度が上がります。
よくある質問
AI は、嘘をつこうとしているのですか。
いいえ。AI に「本当のことを言おう」「嘘をつこう」という意図はありません。ただ「次に来る確率が高い言葉」を選んでいるだけです。結果として正しいことも、もっともらしい間違いも、同じ仕組みから出てきます。悪意ではなく、仕組みだと理解すると、対処しやすくなります。
新しいモデルなら、間違えなくなりますか。
減りますが、ゼロにはなりません。仕組みが「確率で次の言葉を選ぶ」である限り、もっともらしい間違いは残ります。最新モデルでも、事実確認が要る、という前提は変わりません。
RAG（前の記事）は、これと関係ありますか。
深く関係します。AI が「知らないことをもっともらしく作る」弱点を、実際の資料を渡して補うのが RAG です（→ RAGの記事）。ただし RAG でも、渡した資料の外を聞かれれば作文しますし、資料の読み間違いもあります。「確かめる」は、RAG を使っても必要です。
では、AI は信用できないのですか。
「なめらかな文章・アイデア・下書きを作る道具」としては、非常に強力です。「事実を確定する情報源」としては、そのまま信じてはいけません。この2つを分けて、事実は自分で確かめる——それが、AI と長くうまくつき合うコツです。安全に業務で使う話は、セキュリティ知識のカテゴリーにまとめています。
