AIは、同じデータを何度も学習すれば、どんどん正しくなるのでしょうか。

結論から言うと、学習用データに対する間違いが減っても、初めて見る問題まで正しく解けるとは限りません。学習を重ねすぎることで、練習した問題には強いのに、少し形が変わると答えられない「過学習」が起こることもあります。

AIが学習を重ねて学習用データの正解率が上がっても、初見問題に強いとは限らないことを示す図

この記事では、AIが「予測する→ずれを測る→重みを調整する」という基本的な流れを、誤差逆伝播・過学習・汎化という言葉とともにやさしく説明します。後半には、理解を確かめる問題集と、悪もこあい先生のひっかけ問題も用意しました。

目次
  1. 30秒で分かる結論|AIは「回数」だけでは正しくならない
  2. 長い記事なので、目的に合わせて読めます
  3. 最初に:この記事で説明するAIの範囲
  4. まずは3問|今のイメージを確かめてみよう
  5. なぜ、もこあいブログはAIの学習の仕組みを説明するのか
  6. AIはどのように学習するの?|まず全体像を見よう
  7. 誤差逆伝播とは?|「正解を逆から流す」ではない
  8. 学習回数を増やせば、AIは正しくなるの?
  9. 学習用・検証用・テスト用|AIには3つの成績表がある
  10. 過学習とは?|健太と恵子の勉強で考えてみよう
  11. 学習・推論・会話の訂正・検索・微調整を分けよう
  12. 過学習とハルシネーションは同じ?|原因は一つではない
  13. 人間はAIとどう付き合えばよい?|構造を知ると、確認場所が見える
  14. AIニュースや宣伝を読むときの4つの問い
  15. よくある質問
  16. 理解を確かめる問題集|答えだけでなく「なぜ?」まで考えよう
  17. ミニ用語集
  18. まとめ|学習回数より「初めて見る問題で確かめたか」
  19. あわせて読みたい
  20. 参考資料・確認した公式情報

30秒で分かる結論|AIは「回数」だけでは正しくならない

  • ニューラルネットワークの学習では、予測と正解例のずれ(損失)を計算する。
  • 誤差逆伝播で、損失を減らすには各パラメータをどちらへ動かせばよいか計算する。
  • その計算をもとに重みを少し更新し、予測をやり直す。
  • 回数を増やすと、学習用データへの損失は小さくなることがある。
  • しかし、学習用データに合わせすぎると過学習が起こり、初めて見るデータへの力が下がることがある。
  • 本当に大切なのは回数そのものではなく、初めて見る適切なデータでも働く汎化を確認すること。

AIが減らしているのは「世界に存在するすべての間違い」ではありません。人間が用意した目的や評価方法に照らした数値上の損失です。ここが、この記事で最も大切なところです。

まずは3問|今のイメージを確かめてみよう

正解を当てることより、今の自分がどう考えているかを見つけるための3問です。答えは記事の後半でもう一度確認します。

  1. AIは、同じ学習用データで学ぶ回数を増やすほど、初めて見る問題にも必ず強くなる。○か×か。
  2. 会話中にAIの間違いを訂正すると、その場でAI本体の重みが更新され、世界中の利用者への回答もすぐ変わる。○か×か。
  3. 学習用データでは高得点なのに、初めて見るデータでは点数が下がる状態を「過学習」という。○か×か。
先に答えを見る

1は×、2は通常×、3はです。ただし、2はサービスのメモリ機能やデータ利用方針と混同しやすいため、後ほど丁寧に切り分けます。

なぜ、もこあいブログはAIの学習の仕組みを説明するのか

AIを使うとき、操作方法だけを覚えても、「なぜ間違うのか」「どこまで信じてよいのか」「何を確認すればよいのか」は見えてきません。

AIの中身を専門家と同じ深さまで理解する必要はありません。それでも、AIが目的に沿ってパターンを学び、初めて見る問題への強さを別に確かめる必要があると知っているだけで、回答との付き合い方は変わります。

AIの構造を学ぶ目的は、AIを怖がるためでも、何でも信じるためでもありません。どこを任せ、どこを人が判断するかを考えやすくするためです。

もこあいブログでは、AIを「答えをくれる箱」ではなく、理解までの手すりとして使うことを大切にしています。仕組みを少し知ることは、その手すりの強い部分と、つかみ方に注意が必要な部分を知ることでもあります。

人が目的・データ・評価・制約を設計し、AIが枠内の重みを調整する関係図

AIはどのように学習するの?|まず全体像を見よう

従来のプログラムと機械学習の違い

従来型のプログラムでは、「もし気温が30度以上なら暑いと表示する」のように、人間が条件を書いて動かす方法がよく使われます。

一方、機械学習では、多くの例を使いながら、予測に役立つ関係をモデルのパラメータへ反映させていきます。たとえば猫と犬の画像を見分ける場合、人間が耳・鼻・毛の形に関するすべての判定規則を一本ずつ書くのではなく、画像と正解例を通して、モデルが多数の数値的な関係を学びます。

ただし、AIが何もないところから目的まで自由に決めているわけではありません。何を予測させるか、どんなデータを使うか、どんな間違いを重く見るか、どの指標で評価するかなど、学習の大きな枠は人が設計します。

比べる点 従来型プログラムの例 機械学習の例
人が用意するもの 細かな条件や処理手順 目的、データ、モデル、損失、評価方法など
機械の役割 書かれた手順を実行する データから予測に役立つパラメータを調整する
注意点 書かれていない条件に弱いことがある データの偏りや過学習、評価方法の不備に影響される

学習から公開までの大きな流れ

  1. 目的を決める:何を予測し、何をできるようにしたいかを決める。
  2. データを用意する:学習に使う例を集め、必要に応じて整える。
  3. データを分ける:学習用・検証用・テスト用など、役割ごとに分ける。
  4. 予測する:現在のパラメータで答えを出す。
  5. ずれを測る:目的に対して予測がどれくらい外れたかを、損失関数で数値化する。
  6. 逆向きに計算する:損失を減らすには、どのパラメータをどちらへ動かすべきか計算する。
  7. 重みを更新する:計算結果をもとに、パラメータを少し変える。
  8. 繰り返して検証する:学習用データで更新し、検証用データで初見に近い力を確認する。
  9. 最後にテストする:開発判断に使っていないテスト用データで最終確認する。
  10. 公開後も監視する:実際の利用環境で性能や偏り、データの変化などを確認する。

AIが学習用データで重みを更新し、検証と最終テストを経て公開・監視される流れ

「重み」は、答えそのものではなく関係の強さを表す数値

ニューラルネットワークの内部には、多数のパラメータがあります。「重み」はその代表です。入力された情報を次の計算へ渡すとき、どの情報をどの程度強く反映するかに関わります。

ここで大切なのは、AIの中に教科書の答えが文章のまま並んでいる、と単純に考えないことです。多くの場合、学習したパターンは、非常に多くのパラメータの関係として分散して表現されています。

誤差逆伝播とは?|「正解を逆から流す」ではない

ニューラルネットワークの学習でよく使われる方法が、誤差逆伝播(バックプロパゲーション)です。

名前だけを見ると、「正解の情報を出口から入口へ逆向きに流して、AIに覚えさせる」と想像するかもしれません。しかし、より正確には、出力側で計算した損失をもとに、各パラメータが損失へどれくらい影響したかを、後ろの層から順に効率よく計算する方法です。

坂道を下るイメージで考える

損失を山の高さだと考えてみましょう。今いる場所から、どちらへ少し進めば低い場所へ行けるか。その傾きを表すのが「勾配」です。

  1. 現在の重みで予測する。
  2. 損失を計算する。
  3. 各重みを少し変えたとき、損失がどちらへ変わるかを計算する。
  4. 損失が小さくなる方向へ重みを少し動かす。

この更新を繰り返すことで、設定された目的に対する損失を小さくしていきます。

生成AIは何を予測しているの?

文章を扱う大規模言語モデルは、文を「トークン」と呼ばれる単位に分けて処理します。トークンは一語と同じとは限らず、文字、単語の一部、単語、記号などになることがあります。

モデルの方式や学習段階によって細部は異なりますが、文章中の隠されたトークンや、続きに来るトークンを予測する課題を通して、言葉のつながりや文脈のパターンを学びます。会話形式に合わせる追加学習や、人の好み・安全性を反映する調整などが加わる場合もあります。

そのため、生成AIの文章が自然であることは、その文に含まれる事実がすべて確認済みであることを意味しません。自然な文章を作る能力と、個々の事実が正しいことは、重なる部分があっても同じ評価軸ではないのです。

学習回数を増やせば、AIは正しくなるの?

ここまでの流れを見ると、「予測と修正を何度も繰り返せば、やがて完全に正しくなる」と思うかもしれません。しかし、答えは必ずしもそうではないです。

回数を増やすと、小さくなりやすいもの

同じ学習用データで更新を続けると、その学習用データに対する損失は小さくなることがあります。これは、練習問題の点数が上がることに似ています。

ただし、学習率、モデルの大きさ、データの量や質、最適化方法などによって、学習が安定しないこともあります。「回数を増やせば学習用の損失さえ必ず下がる」とまでは言えません。

AIが減らしているのは「世界の間違い」ではない

損失が小さい = 世界のあらゆる場面で正しい、ではありません。

モデルが直接小さくしようとしているのは、人間が定めた損失関数によって数値化された値です。その損失関数が、現実で本当に大切なことを十分に表していなければ、数値が改善しても期待した使い方では役立たないことがあります。

例:忘れ物を予測するAI

学校で「傘を忘れるか」を予測するAIを考えます。もし学習用データのほとんどが晴れの日で、雨の日がほとんど入っていなければ、毎回「忘れない」と答えるだけで全体の正解率が高くなるかもしれません。

しかし、本当に知りたいのは雨の日の忘れ物かもしれません。全体の正解率だけを目的にすると、重要な少数例を見落とす場合があります。

つまり、AIの性能を考えるには、何を正解とするか、どの間違いを重く見るか、どんな場面で使うかまで確認する必要があります。

現実世界の目的や条件と、AI学習で設定したデータと損失が完全には一致しないことを示した図

学習不足・ちょうどよい学習・過学習

状態 学習用データ 初めて見るデータ たとえるなら
学習不足
(アンダーフィッティング)
うまく答えられない うまく答えられない 基本ルールをまだ理解できていない
適切に学べている状態 ある程度うまく答えられる 似た新しい問題にもうまく対応できる 考え方をつかみ、応用できる
過学習
(オーバーフィッティング)
非常によく答えられる 成績が下がる 問題と答えの並びを覚え、少し変わると迷う

学習用・検証用・テスト用|AIには3つの成績表がある

初めて見る問題に強いかを確かめるため、機械学習では元のデータを役割ごとに分ける方法がよく使われます。

データ 主な役割 学校でたとえると 重みの更新に直接使う?
学習用データ モデルのパラメータを学習する 授業と練習問題 使う
検証用データ 学習途中のモデル選びや設定調整に使う 途中の実力テスト 通常は直接使わない。ただし結果を見て人が設計を変えるため、間接的には開発へ影響する
テスト用データ 選び終えたモデルを最後に評価する 最後まで開けない本番テスト 使わない

割合は目的やデータ量によって変わります。「必ず7対1.5対1.5」のような唯一の正解はありません。重要なのは、学習に使った例だけで実力を判断しないことです。

検証用データも、何度も見れば「初見」ではなくなる

開発者が検証結果を見て設定を何度も変えると、モデルや開発方針が、その検証用データの特徴に少しずつ合っていくことがあります。そのため、最後まで開発判断に使わないテスト用データを残します。

テスト用データも繰り返し見て設計を変えれば、やがて「本当の初見」とは言いにくくなります。評価用データは、使えば使うほど情報が開発側へ伝わるからです。

過学習とは?|健太と恵子の勉強で考えてみよう

ここからは、AIの学習を勉強にたとえて考えます。

健太は、同じ問題集を何度も解いた

健太は、算数の問題集を何周もしました。問題を見ると、途中式を考えなくても答えを思い出せます。問題集の確認テストでは、100点を取れるようになりました。

ところが、数字と聞き方を少し変えた問題が出ると、手が止まりました。健太はこの問題集の答えには強くなっていましたが、問題の関係を別の場面へ移す練習が足りなかったのです。

恵子は、理由を説明してから類題に挑戦した

恵子も同じ問題集を解きました。ただし、答えを覚えるだけではなく、「なぜこの式になるのか」「条件を変えるとどうなるか」を自分の言葉で説明しました。間違えた問題は、原因を分け、数字や場面を変えた類題にも挑戦しました。

最初の問題集だけなら、健太のほうが早く高得点になったかもしれません。それでも初めて見る問題では、関係を使い直す練習をした恵子のほうが対応しやすくなります。

汎化とは?|初めて見る問題にも対応できること

  • 過学習:学習用データの細かな特徴や偶然のノイズにまで合わせすぎ、初めて見るデータへの性能が下がる状態。
  • 汎化:学習に使っていない、同じ目的に属する新しいデータでも、よい予測ができること。

健太と恵子の例から分かるのは、人間とAIの内部が同じということではありません。練習問題での点数と、新しい問題へ使える力を分けて考えるという評価の視点が似ているのです。
同じ問題への習熟と類題へ考え方を移す学び方の違いを健太と恵子で示した図

学習曲線から過学習を見つける

モデルの学習回数と損失の変化を表した線を、学習曲線と呼ぶことがあります。学習用データと検証用データの損失を一緒に見ると、過学習の兆候を見つけやすくなります。

  • 初めのうちは、学習用と検証用の損失がともに下がる。
  • ある地点から、学習用の損失は下がり続ける。
  • 一方で、検証用の損失が上がり始める。
  • この開きは、学習用データへ合わせすぎている可能性を示す。

ただし、実際の曲線はデータやモデルによって揺れたり、別の形になったりします。教科書のような滑らかな線が必ず現れるわけではありません。グラフは「この形なら100%過学習」と機械的に決めるものではなく、他の評価と合わせて判断します。
学習用損失は下がり続ける一方で検証用損失が上昇へ転じる過学習の概念図

回数以外に、AIの学習を左右するもの

  • データの量だけでなく、質・偏り・重複・新しさ
  • 実際に使う場面と、学習データの分布が近いか
  • モデルの大きさや構造が課題に合っているか
  • 重みを一度にどれくらい変えるかという学習率
  • 過学習を抑える正則化や、学習を止める時期
  • 目的に合った損失関数と評価指標
  • 重要な例、少数の例、安全に関わる例を別に評価しているか

「何回学習したAIか」だけを聞いても、性能は判断できません。何を、どのように学び、何で確かめ、どの条件で使うのかまで見て、初めて意味のある比較になります。

学習・推論・会話の訂正・検索・微調整を分けよう

生成AIを使っていると、「今の会話で教えたから、AIは学習した」と表現したくなることがあります。しかし、「学習」という言葉が複数の意味で使われるため、混乱が生まれます。

場面 起きていること モデル本体の重みは通常変わる?
事前学習・追加学習 多数の例から損失を計算し、パラメータを更新する 変わる
推論 学習済みのモデルが、入力に対して予測・生成する 通常は変わらない
会話中の訂正 訂正内容が現在の会話の文脈へ入り、次の回答で参照される 通常、その場では変わらない
メモリ・保存機能 設定やサービス仕様に応じ、情報を別の仕組みに保存して今後の会話で参照する 保存と重み更新は別
検索・RAG 外部文書を探し、見つけた情報を回答時の文脈として使う 通常は変わらない
ファインチューニング 特定の課題や出力傾向に合わせ、追加データでパラメータの一部または全部を調整する 変わる
プロンプトの工夫 指示・例・条件を入力に含め、既存能力の使い方を導く 変わらない

会話で間違いを教えたら、AIは覚える?

その会話の中では、AIが訂正内容を読み、次の回答に反映することがあります。しかし多くの場合、それは現在の入力文脈を参照しているのであって、その瞬間に基盤モデルの重みを誤差逆伝播で更新しているわけではありません。

また、会話データが将来のモデル改善へ使われるかは、サービス、契約、プラン、利用者の設定、時期によって異なります。将来の学習に使われる可能性と、「今訂正したら同じモデルが即座に学び直すこと」は別の話です。個別サービスの扱いは、最新の公式説明と設定を確認してください。

事前学習・推論・会話中の訂正・検索RAG・ファインチューニングで重みが変わるかを比較した図

過学習とハルシネーションは同じ?|原因は一つではない

過学習とハルシネーションは、どちらも誤った出力に関係しますが、同じ現象ではありません。

  • 過学習:学習用データへ合わせすぎ、初めて見るデータへの性能が下がる学習上の問題。
  • ハルシネーション:生成AIが、もっともらしいのに事実ではない内容などを生成する問題。

なぜ、ふるいにかけても間違いが残るの?

生成AIは、候補を確率的に評価しながら文章を組み立てます。しかし、その評価は「世界の事実を一文ずつ照合した最終確認」と同じではありません。学習や追加評価で誤りを減らしても、もっともらしい誤答が残ることがあります。

ハルシネーションの原因は一つではありません。たとえば、次のような要因が重なります。

  • 学習データに必要な情報がない、少ない、古い、矛盾している
  • 言語として自然な続きを作る目的と、事実確認の目的が完全には一致しない
  • 珍しい固有名詞、日付、出典など、パターンだけでは予測しにくい情報がある
  • 質問が曖昧で、前提を一つに決められない
  • 「分からない」と止まるより、答えを出すほうが評価されやすい設計や評価になっている
  • 検索・RAGを使っても、検索結果の選択、読み取り、統合を誤る

過学習が誤答の一因になる場面はありますが、ハルシネーションをすべて過学習だけで説明することはできません。

健太と恵子の「勘違い」でたとえると

健太は、恵子が毎週金曜日の放課後に図書館へ行くのを何度も見ていました。

ある金曜日、先生に「恵子さんは今どこにいる?」と聞かれ、健太は「図書館です」と答えました。いつものパターンから考えると、自然な答えです。しかし、その日は歯医者の予約があり、恵子は図書館にいませんでした。

健太が「いつもそうだから今日もそうだろう」と答えたことと、生成AIが学んだパターンからもっともらしい続きを出すことには、表面的に似た見え方があります。しかし人間には経験、意図、身体、感情、記憶などがあり、AIの計算と同一ではありません。

この例の要点は一つです。自然に予測できることと、今この瞬間の事実を確認したことは違う。だから、最新情報、人物、数字、引用、医療・法律・お金、安全に関わる内容では、一次情報や専門家による確認が必要になります。
過去のパターンから図書館を予測する健太と、歯医者にいる今日の恵子を比較した図

人間はAIとどう付き合えばよい?|構造を知ると、確認場所が見える

AIの仕組みを知ると、「AIは間違うから使わない」「高性能だから全部任せる」という二択から離れられます。

AIへ任せやすいこと

  • 考えるためのたたき台を複数出す
  • 文章の言い換えや構成案を作る
  • 自分の説明に抜けている観点を探す
  • 練習問題や類題の案を作る
  • 分からない言葉を別のたとえで説明する

人が最後に確かめること

  • その答えは、今の目的に合っているか
  • 事実・数字・日付・出典は確認できるか
  • 大切な条件や少数の例を落としていないか
  • 自分で説明し直せるところまで理解したか
  • 失敗したとき、誰にどんな影響があるか

勉強では「答え」より「初見への移し方」を見る

AIに問題を解かせたあと、その答えを写すだけでは、自分が何を理解したか分かりません。次のように使うと、AIを学びの手すりにしやすくなります。

  1. まず自分の予想や途中式を書く。
  2. AIには答えではなく、考え方の違うヒントを頼む。
  3. AIの説明と教科書・授業・信頼できる資料を比べる。
  4. 「なぜそうなるか」を自分の言葉で説明する。
  5. 数字や条件を変えた類題で、考え方を使い直す。

今日の「なんで?」を大切に。正解より、考えた道のりが宝もの。

AIニュースや宣伝を読むときの4つの問い

「大量データで学習」「正解率99%」「従来より学習回数を増加」と書かれていても、その数字だけでは実用性を判断できません。次の4つを確かめましょう。

  1. 何を目的に学習した?
    どの損失や指標を良くしようとしたのか。現実の目的と合っているか。
  2. どんなデータで学んだ?
    量だけでなく、偏り、重複、新しさ、対象となる人や場面を確認できるか。
  3. 見ていないデータで確かめた?
    学習用の点数ではなく、適切な検証・テストや外部評価があるか。
  4. どの条件・分野で使える?
    平均点だけでなく、重要な場面、失敗例、限界、他の集団や環境での結果が示されているか。

この4つを尋ねることが、AIを設計する側だけでなく、AIを使い、選び、結果を判断する側にも必要な力です。

AIニュースの性能を目的・学習データ・未見データでの検証・利用条件から確認する4つの問い

よくある質問

AIは学習回数を増やすほど賢くなりますか?

必ずしも賢くなるとは限りません。学習用データへの損失が下がっても、初めて見るデータへの性能が下がる過学習が起こることがあります。回数だけでなく、検証・テスト結果、データの質、目的との一致を確認します。

誤差逆伝播では、正解を後ろからAIへ教えるのですか?

正解文や入力をそのまま逆向きに流すわけではありません。出力側で計算した損失をもとに、各パラメータをどちらへ動かすと損失が減るかを後ろの層から効率よく計算します。

AIは自分でルールを作っているのですか?

機械学習は、人がすべての細かな判定規則を書く代わりに、データから予測に役立つパラメータを学びます。ただし、目的、データ、モデルの構造、損失、評価、制約などの大きな枠は人が設計します。「AIが何もかも自由に決める」と考えるのは正確ではありません。

過学習がハルシネーションの原因ですか?

過学習が誤答へ関係する場合はありますが、ハルシネーションの原因は一つではありません。学習データの不足や矛盾、次のトークンを予測する目的、曖昧な質問、評価の設計、検索情報の選択ミスなど、複数の要因があります。

チャットでAIを訂正すると、モデルはその場で学習しますか?

現在の会話では訂正を文脈として使うことがありますが、通常、その場で基盤モデルの重みを更新することとは別です。メモリ機能や将来のモデル改善へのデータ利用も別の仕組みで、サービスや設定によって異なります。

理解を確かめる問題集|答えだけでなく「なぜ?」まで考えよう

問題を読んだら、すぐに答えを開かず、理由を一文で書いてみましょう。選択肢問題の解説では、ほかの選択肢がなぜ違うかも説明します。

レベル1|基本の言葉

  1. 問1:ニューラルネットワークの学習で「損失」が表すものに最も近いものはどれですか。A. AIが使った電気の量
    B. 設定した目的に照らした予測のずれ
    C. 学習にかかった時間だけを表す値

    答えと解説

    答えはBです。損失は、予測が目的に対してどれくらい外れているかを数値化します。Aの計算量や電力、Cの時間は重要な評価対象になり得ますが、通常「損失」という言葉そのものではありません。

  2. 問2:誤差逆伝播の主な役割はどれですか。A. 元の入力を逆向きに再生する
    B. 損失を減らすため、各パラメータへの勾配を計算する
    C. インターネットから正解を検索する

    答えと解説

    答えはBです。Aのように入力や正解文を逆再生する処理ではありません。Cの検索はRAGなど別の仕組みで、誤差逆伝播そのものではありません。

  3. 問3:「重み」の説明として最も近いものはどれですか。A. 入力の関係を計算へどの程度反映するかに関わるパラメータ
    B. AIの中に保存された完成済みの教科書
    C. AIが正直かどうかを表す一つの点数

    答えと解説

    答えはAです。重みは計算上のパラメータです。Bのように答えが文章のまま一冊ずつ保存されている、と単純には考えられません。Cのように正直さ全体を表す一つの重みがあるわけでもありません。

レベル2|勘違いを見つけよう

  1. 問4:学習用データの正解率が上がりました。ここから必ず言えることはどれですか。A. 世界中のあらゆる問題に強くなった
    B. 少なくとも、その学習用データに対する評価は改善した
    C. ハルシネーションが完全になくなった

    答えと解説

    答えはBです。Aを言うには、初めて見る適切なデータでの評価が必要です。Cも判断できません。学習用正解率と、生成AIのあらゆるハルシネーションは同じ指標ではありません。

  2. 問5:学習回数を増やし続けると、検証用データの損失が上がり始めました。疑うべき状態は何ですか。
    答えと解説

    過学習を疑います。学習用損失が下がっているのに検証用損失が上がるなら、学習用データへ合わせすぎている可能性があります。ただし、データの不具合など別の原因も調べ、複数の評価から判断します。

  3. 問6:AIへ「その答えは間違いです。正しくは○○です」と送ると、通常どれが起こりますか。A. その会話の次の回答で、訂正内容が文脈として使われることがある
    B. 必ず基盤モデルの全パラメータが即座に更新される
    C. 世界中の利用者への回答が同時に変更される

    答えと解説

    答えはAです。BとCは通常のチャット訂正からは言えません。会話文脈、保存されたメモリ、将来のモデル改善、モデル本体の即時学習を分けて考えます。

レベル3|場面から考えよう

  1. 問7:猫と犬の背景問題猫の学習写真はほとんど室内、犬の学習写真はほとんど公園でした。AIは学習用写真で99%正解しました。ところが、公園にいる猫の写真を犬と答えることが多くなりました。AIは何を学んでいた可能性がありますか。
    答えと解説

    動物そのものの特徴だけでなく、室内か公園かという背景を近道として使っていた可能性があります。学習データの偏りに合った規則が、実際の目的に合うとは限りません。背景を変えた画像など、狙った条件を確かめるテストが必要です。

  2. 問8:健太と恵子健太は同じ10問の答えを覚えました。恵子は10問を解いたあと、数字を変えた類題と「なぜこの式になるか」の説明に取り組みました。初めて見る問題への力を確かめるなら、何を比べるべきですか。
    答えと解説

    元の10問だけでなく、学習に使っていない適切な類題で比べます。元の問題の点数だけでは、答えを覚えたのか、関係を別の問題へ使えるのかを切り分けにくいためです。

  3. 問9:2つのAIの成績AI-Aは学習用99%・テスト用61%。AI-Bは学習用92%・テスト用89%でした。同じ目的・適切な同一テスト条件だと仮定した場合、初見への対応という観点ではどちらが有望ですか。
    答えと解説

    AI-Bが有望です。AI-Aは学習用では非常に高得点ですが、テスト用で大きく下がっています。AI-Bは学習用の点数が少し低くても、初見に近いテスト用で高い性能を保っています。ただし、正解率だけでなく、重要な失敗の種類やデータの代表性も確認します。

  4. 問10:高すぎるテスト結果あるAIのテスト正解率が突然ほぼ100%になりました。調べると、テスト写真の一部が学習用写真の複製でした。何が問題ですか。
    答えと解説

    データ漏洩の一例です。テスト用が本当の初見になっていないため、新しい写真への性能を正しく測れません。重複を除き、独立したテスト用データで評価し直す必要があります。

レベル4|自分の言葉で説明しよう

  1. 問11:「学習回数が多いAIほど正しい」とは限らない理由を、学習用データ・過学習・初めて見るデータの3語を使って説明してください。
    解答例

    学習回数を増やすと学習用データに詳しくなっても、合わせすぎによる過学習が起こり、初めて見るデータへの性能が下がることがあるからです。

  2. 問12:「AIが損失を減らすこと」と「世界の事実をすべて正しく知ること」の違いを説明してください。
    解答例

    AIが学習で直接減らすのは、人が設定した目的とデータに対して計算される損失です。その目的やデータが現実のすべてを表すとは限らないため、損失が小さくても世界の事実がすべて正しいとは言えません。

  3. 問13:過学習とハルシネーションの違いを、一文ずつ書いてください。
    解答例

    過学習は、学習用データへ合わせすぎて初めて見るデータへの性能が下がる状態です。ハルシネーションは、生成AIがもっともらしいのに事実ではない内容などを作る問題で、原因は過学習だけではありません。

学習用正解率が90%から99%に上がっただけで初見にも強くなったと判断できるかを問う悪もこあい先生

悪もこあい先生の、最後のひっかけ一問

「正解率99%よ? これで『賢くなった』と思わないなら、何を見ればいいのかしら?」

問題:あるAIを同じ学習用データで何度も学習させました。学習用データの正解率は90%から99%へ上がり、損失も小さくなりました。このAIは、初めて見る問題にも強くなったと言えますか。

A. 言える。正解率が99%だから
B. 言えない。必ず過学習しているから
C. この情報だけでは判断できない

悪もこあい先生の答えを見る

正解はCです。

Aは、学習用データの点数から初見への力まで決めつけています。Bも、「過学習の可能性がある」ことを「必ず過学習している」と決めつけています。検証用・テスト用など、学習に使っていない適切なデータで評価しなければ判断できません。

「学習用データの点数だけで、初めて見る問題への強さまで決めるなんて早すぎるわ。見ていないものを、見たつもりで評価しないことね。」

30秒説明チャレンジ

「予測」「ずれ」「過学習」「汎化」の4語を使い、AIの学習を家族や友だちへ30秒で説明してみましょう。

説明例を見る

AIはまず予測し、正解例とのずれを測って、ずれが小さくなるように重みを調整します。ただし同じデータに合わせすぎると過学習が起きるため、初めて見るデータでも使える汎化を別に確かめます。

最初の3問へ戻ろう

記事冒頭の3問をもう一度見て、今度はそれぞれの理由まで説明してみてください。最初と答えが同じでも、理由が詳しくなっていれば、それがこの記事で増えた理解です。

ミニ用語集

機械学習
データから予測などに役立つパターンやパラメータを学ぶ方法の総称。
ニューラルネットワーク
多数の層とパラメータを通して入力を変換し、予測や生成を行うモデルの一種。
パラメータ/重み
モデルの計算を左右する数値。学習によって調整される。
損失(loss)
設定した目的に照らし、予測がどれくらい外れたかを数値化したもの。
勾配
パラメータを少し変えたとき、損失がどちらへどの程度変化するかを示す手がかり。
誤差逆伝播
損失から各パラメータへの勾配を、出力側から効率よく計算する方法。
学習率
一度の更新でパラメータをどれくらい動かすかに関わる設定。
学習不足
モデルが学習用データのパターンさえ十分につかめていない状態。
過学習
学習用データへ合わせすぎ、初めて見るデータへの性能が下がる状態。
汎化
学習に使っていない、適切な新しいデータにもよい予測ができること。
推論
学習済みモデルを使い、入力に対する予測や文章生成を行う段階。
ファインチューニング
学習済みモデルを、特定の課題や出力傾向へ合わせて追加学習すること。
RAG/検索拡張生成
外部文書を検索し、見つけた情報をモデルの回答時の文脈へ加える仕組み。
ハルシネーション
生成AIが、もっともらしいものの事実ではない内容などを生成すること。

まとめ|学習回数より「初めて見る問題で確かめたか」

  • ニューラルネットワークは、予測、損失の計算、誤差逆伝播、重みの更新を繰り返して学習する。
  • 誤差逆伝播は、正解情報をそのまま逆に流すのではなく、損失を減らすための勾配を後ろから計算する方法。
  • AIが直接減らすのは、設定された損失であり、世界のあらゆる間違いではない。
  • 学習回数を増やして学習用の点数が上がっても、初見への力が上がったとは限らない。
  • 学習用データへ合わせすぎると過学習が起こり、新しいデータへの汎化が弱くなることがある。
  • 学習・検証・テストを分け、目的に合う初見データで評価することが大切。
  • 会話中の訂正、検索・RAG、推論、ファインチューニングは、それぞれ重みが変わるかどうかが異なる。
  • 過学習とハルシネーションは同じではなく、ハルシネーションの原因は一つではない。

AIの数字を見るときは、「何回学んだか」「学習用で何点だったか」だけではなく、何を目的に、どんなデータで学び、本当に見ていないデータで確かめたかを見ましょう。

そして勉強でも、同じ問題に正解できたところで終わらず、少し形を変えた問題へ考え方を移してみてください。答えを覚えた回数ではなく、初めて見る問いに、自分の考え方を使い直せるか。そこに、学びの本筋があります。