強化学習とは
報酬が最大になるよう、試行錯誤して学ぶ

強化学習とは

強化学習（reinforcement learning）は、行動に対して得られる報酬が最大になるよう、試行錯誤を重ねて学ぶ機械学習の方法です。教師あり学習・教師なし学習と並ぶ、機械学習の3種類のひとつです。

たとえば、ゲームの攻略やロボットの制御のように、「どの行動が正しいか」を人があらかじめ教えにくい場面で使われます。学ぶ側は、行動してみて、結果として得られた報酬の大小から、「どう動けばよいか」を少しずつ見直していきます。

しくみ（行動と報酬のくり返し）

強化学習では、学ぶ主体と、その行動を受け止める環境の間で、次の流れをくり返します。

1. 行動する: 学ぶ主体が、いまの状況で行動を選びます。
2. 報酬が返ってくる: 環境から、行動の結果としての報酬が返ります。
3. 見直す: 報酬が大きくなるように、次の行動の選び方を改善します。

これを何度もくり返し、報酬が最大になる行動のしかたを身につけます。正解データを人が用意しなくてよい点が、教師あり学習との大きな違いです。

LLM の学習での強化学習（RLHF）

生成AI（LLM）の学習は、おおまかに次の3段階で進みます。

1. 事前学習: 大量の文章から教師なし学習で、言語の基礎を身につける。
2. ファインチューニング: 教師ありデータを使い、チャットボットや翻訳など特定のタスクでの振る舞いを身につける。
3. 強化学習（RLHF）: 人間のフィードバック（評価）を報酬として、モデルの振る舞いを調整する。

3つめでは、人の評価の高い回答が選ばれやすくなるよう調整することで、不適切な出力や事実と異なる回答を抑えます（関連: 「ハルシネーションとは」）。

試験での問われ方

モバイルシステム技術検定2級では、第10章「生成AIとAI活用」で出ます。もちこ道場の第10章の問題では、強化学習を含む問題が17問あり、次のような問われ方をしています。

• 穴埋め: 「教師あり学習」「教師なし学習」と並べて、報酬が最大になるよう試行錯誤を重ねる3つめの学習を問う。「行動に対して得られる報酬」という言葉から強化学習を選ぶ。
• ほかの用語の外れの選択肢: ファインチューニング・ハルシネーション・転移学習・ICL（インコンテキストラーニング）の問題で、強化学習が外れの選択肢として並びます。
• 組み合わせの穴埋め: LLM の学習の3段階（事前学習・ファインチューニング・強化学習）の順に、空欄へ当てはめる。
• 誤った記述を選ぶ: 「強化学習は、訓練データに必ず正解情報を付ける」のように、教師あり学習の特徴と入れ替えた記述を見抜く。また、3つの文の正誤を組み合わせで答える問題では、RLHF が「人間の評価を報酬にする」ことが正しい文として出ます。

似た用語との違い

覚え方

• 「報酬」が出たら強化学習。正解の有無で分ける教師あり・教師なしに対して、強化学習は「報酬」で分けます。
• 「強化」は、よい行動を強めること。報酬が大きかった行動を選びやすくして、行動のしかたを育てるイメージです。
• LLM の学習は「事前→ファインチューニング→強化学習」の順。最後の強化学習は、人の評価が報酬です。

機械学習の3種類の全体像は「機械学習とは」、第10章のほかの用語は「第10章 生成AIとAI活用の要点」にまとめています。