強化学習とは
報酬が最大になる行動を、試行錯誤で学ぶ

強化学習とは

強化学習は、コンピュータ（エージェント）が、試行錯誤を通じて、環境から得られる報酬の合計が最大になる行動を学ぶ機械学習の手法です。自動走行車の制御など、「どの場面でどう動くのがよいか」を学ばせたいときに使われます。

機械学習は、与えるものの違いで次の3つに分けられます。

• 教師あり学習: 入力データとあわせて、正解データを与える。
• 教師なし学習: 正解データを使わず、データどうしの関係を探す。
• 強化学習: 正解データではなく、行動の結果に応じた報酬で学ぶ。

強化学習は、最初から正しい動き方を知っているわけではありません。まず動いてみて、うまくいけば高い報酬、うまくいかなければ低い報酬を受け取り、その積み重ねから、より報酬の多い動き方を見つけていきます。

しくみ

強化学習は、次の2つの要素でできています。

• エージェント: 学習の主体。行動を起こす側です。
• 環境: エージェントが行動を起こす相手です。

自動走行車なら、車がエージェント、道路や周りの車が環境にあたります。流れは次の繰り返しです。

1. エージェントが、環境に対して行動する。
2. 環境が変化し、その変化への評価が報酬として返ってくる。
3. エージェントは、報酬の合計がより大きくなるように、次の行動を見直す。

ここで目指すのは、目の前の1回の報酬ではなく、報酬の合計を最大にすることです。

人間の評価を報酬にする RLHF

基盤モデルを再学習する手法の1つに、RLHF（人間のフィードバックによる強化学習）があります。人間の評価を報酬として取り込む強化学習で、生成AI を目的に沿った動きに近づけるために使われます。「強化学習の報酬に、人間の評価を使う」と覚えてください。

試験での問われ方

IoTシステム技術検定 基礎では、第6章「IoTでデータを活用する」で出ます。もちこ道場の第6章の問題では、強化学習を含む問題が14問あり、次のような問われ方をしています。

• 穴埋め: 「試行錯誤で報酬の合計を最大化する手法」の空欄に強化学習を選ぶ。または、強化学習の2つの要素（エージェントと環境）の名前を選ぶ。
• ほかの用語の外れの選択肢: 教師あり学習（迷惑メールの分類）や教師なし学習（購買データの関係探し）の問題で、強化学習が選択肢に並ぶ。
• 誤った記述を選ぶ: 「正解ラベルを付けたメールで判定させる方法は強化学習」のように、教師あり学習の説明を強化学習にすり替えた記述を見抜く。RLHF や自己教師あり学習の説明の入れ替えも出ます。

似た用語との違い

3つの手法は、何を手がかりにするかで見分けます。

3つの違いは「教師あり学習と教師なし学習の違い」でくわしく比べています。

覚え方

• 「エージェント」と「環境」、そして「報酬」の3語をセットで覚えます。問題文にこの3語があれば強化学習です。
• 「試行錯誤」「報酬の合計」は強化学習のキーワード。教師あり学習の「正解データ」と取り違えないようにします。
• 強化学習の「強化」は、うまくいった行動をだんだん強めていくイメージです。

第6章のほかの用語は「第6章 IoTでデータを活用するの要点」にまとめています。