第2章 生成AIの要点
Transformer、事前学習とファインチューニング、生成パラメータを整理
- 第2章は、生成AIがどう作られ、どう文章を作るかの章です。Transformer、学習の3段階（事前学習・ファインチューニング・RLHF）、生成の仕組み、大規模言語モデル、主要なサービス、画像・音声などの生成AIが出ます。
- 事前学習とファインチューニング、Temperature と Top-p、クラウド型・オンプレミス・オープンソースのように、似た用語の違いが問われます。
- 用語は「何についての話か」で6つに分けると、覚えやすくなります。
この章で問われること
第2章「生成AI」は、文章や画像を作る生成AIの仕組みと、主要なモデルやサービスの特徴を扱います。第1章のニューラルネットワークを土台に、現在の生成AIを切り開いた Transformer の登場から、画像・音楽・音声・動画の生成AIまで広く出ます。
本番の60問のうち、第2章からは12問前後と予想しています。もちこ道場の模擬試験（60問・60分）は、5つの章の出題数を第1章9問、第2章12問、第3章12問、第4章18問、第5章9問としていて、第2章は試験全体の20%にあたります。もちこ道場の第2章には175問があります。
出てくる用語は、次の6つのまとまりに分けると整理しやすくなります。
6つのまとまりと押さえる用語
1. Transformer と、それ以降の技術
| 用語 | ひとことで |
|---|---|
| 自己注意機構（Self-Attention） | 文中の単語どうしの関連や重要度を数値にして捉える。離れた語のつながりも把握できる |
| 位置エンコーディング | 全単語を同時に処理すると語順が失われるので、各単語の位置の情報を与える |
| 並列処理 | RNN や LSTM は先頭から順に処理するが、Transformer は同時に処理でき、学習の時間を大きく減らせる |
| GPT と BERT | GPT は文章を作る型。BERT は前後の文脈を両方使う「双方向」で、文の理解が得意 |
| MLM と NSP | BERT の学習方法。MLM は隠した語を当てる、NSP は2つの文が自然につながるかを判断する |
| 拡散モデル | ノイズだらけの状態から、少しずつノイズを取り除いて画像を作る |
| 基盤モデル・マルチモーダル | 多くの用途の土台になる大きなモデル。文字・画像・音声など複数の形式を扱えるのがマルチモーダル |
2. 学習の3段階
| 用語 | ひとことで |
|---|---|
| 事前学習 | 大量のテキストで「次の言葉」を当てる練習を重ね、言語の知識を広く身につける |
| ファインチューニング | 事前学習済みのモデルを、特定の用途や分野に合わせて追加で学習させる。パラメータが更新される |
| RLHF | 人間の評価を学んだ報酬モデルが回答を点数にし、人の意図に沿うよう調整する |
| スケーリング則 | モデルの大きさ・データ量・計算量を増やすと、誤差が決まった規則で減る。データのトークン数も同じ割合で増やすことが重要 |
3. 文章を作る（推論の）仕組み
| 用語 | ひとことで |
|---|---|
| トークン化・サブワード | 入力を「トークン」という最小単位に分ける。まれな語は小さな部品に分けて表す |
| 埋め込み（ベクトル） | トークンを、意味の近さを計算できる数値の並びにする |
| 次トークンの予測 | 次に来る語の確率を計算して、確率的に選ぶ。事実との照合はしない |
| ハルシネーション | 事実と違う内容を、もっともらしく出力する現象 |
| Temperature・Top-p | 出力のランダムさや候補の範囲を調整する設定 |
| コンテキストウィンドウ | 1回に扱える入力と出力を合わせたトークン数の上限 |
4. LLM（大規模言語モデル）の基礎
| 用語 | ひとことで |
|---|---|
| LM と LLM | 言語モデル（LM）を、とても大きくしたものが LLM（大規模言語モデル） |
| クラウド型 | 事業者のサービスをすぐ使える。高性能だが、入力データが事業者に送られる |
| オンプレミス | 自社の設備でモデルを動かす。入力データを社外に出しにくく、機密を扱う企業に向く。導入や保守の負担は大きい |
| オープンウェイト・オープンソース | 学習済みの重みだけ公開するのがオープンウェイト。学習コードやデータの情報まで含めて自由な利用を認めるのがオープンソース |
生成AIが苦手な作業も押さえます。厳密な桁数の計算や、厳格な文字数の指定は、そのまま任せず人が確認します。
5. 主要な生成AIモデルとサービス
| 用語 | ひとことで |
|---|---|
| ChatGPT | 事前学習のあと、対話用にファインチューニングして作られる。GPTs（用途別に作り込む）、Code Interpreter（Python でデータ分析）などの機能がある |
| 推論モデル | 回答の速さより、じっくり考えて論理的な正確さを重視する。数学の証明や複雑なプログラミング向き |
| Gemini（Google） | 複数の形式を最初から一体で扱う「ネイティブなマルチモーダル」の設計 |
| Claude（Anthropic） | 役に立つ・正直・有害でないを優先する「憲法AI」の設計思想 |
| Copilot（Microsoft） | 業務ソフトに組み込まれて日常業務を支援する。独自のものを作るのが Copilot Studio、開発者向けが GitHub Copilot |
6. 画像・音楽・音声・動画の生成AI
| 用語 | ひとことで |
|---|---|
| 画像生成AI | 拡散モデルが代表的。既存の作品に似て著作権を侵す恐れがあるので、使う前に確かめる |
| 音楽生成AI | 音の並び（順序）を捉えるため、RNN が使われる |
| 音声生成AI | テキストを音声にする技術が TTS（Text-to-Speech）。特定の人の声を再現できるので、悪用への備えが必要 |
| 動画生成AI | 動画を連続する静止画に分けて（フレーム抽出）扱う。顔やナンバーを自動で隠す使い方もある |
取り違えやすい組み合わせ
選択肢には、同じまとまりの用語が並びます。次の組み合わせは、「何が違うか」を一言で言えるようにしておきます。
| 組み合わせ | 見分け方 |
|---|---|
| 事前学習とファインチューニング | 大量のテキストで広く学ぶ（事前学習）か、特定の用途に合わせて追加で学ぶ（ファインチューニング）か |
| ファインチューニングと few-shot | パラメータを更新する（ファインチューニング）か、入力に例を書くだけで更新しない（few-shot）か |
| Temperature と Top-p | 出力の自由さ・ランダムさ（Temperature）か、候補にする単語の範囲（Top-p）か |
| GPT と BERT | 文章を作る（GPT）か、前後の文脈で文を理解する（BERT）か |
| MLM と NSP | 隠した語を当てる（MLM）か、2つの文のつながりを判断する（NSP）か |
| クラウド型・オンプレミス | 事業者のサービスを使う（クラウド型）か、自社の設備で動かす（オンプレミス）か |
| オープンウェイトとオープンソース | 重みだけの公開か、コードやデータの情報まで含めた公開か |
| マルチモーダルとオムニモーダル | 形式ごとに処理して合成する従来型か、最初から1つの流れで処理する方式か |
この章の勉強の進め方
- 6つのまとまりの名前を覚え、用語を見たら「どのまとまりの話か」を言えるようにします。
- 学習の3段階は、「何のために」「何を更新するか」を一言ずつ言えるようにします。
- 上の表の組み合わせを、何も見ずに一言で説明できるか確かめます。
- サービスの名前は、特徴（設計思想・機能）とセットで覚えます。
Temperature と Top-p は「Temperature と Top-p の違い」でくわしく整理しています。勉強の全体の計画は「勉強時間の目安と1か月の計画」にまとめています。
この章の用語の違いをくわしく
第2章の問題を2問、解いてみる
もちこ道場の第2章の問題です。演習画面と同じ解説（図解・選択肢ごとの解説）を付けています。
問1
従来の時系列モデルに対し、文章中の単語同士の関連性や重要度を数値化して捉える新しい仕組みを採用したTransformerモデルが開発された。この文章内の単語間の重要性を捉える仕組みを1と呼び、長文であっても文脈の途切れを防ぎ適切な理解を可能にしている。
答えと解説を見る
正解は 2（自己注意機構（Self-Attention））です。
【概要】
Transformerは、文中の各単語がどの程度重要かを数値で表して関係を捉える自己注意機構を採用した。離れた語どうしのつながりも把握でき、長文でも意味を見失いにくい。
【各選択肢の解説】
- 1. 畳み込み処理あなたの解答 畳み込み処理は主に局所的な特徴を拾う処理であり、単語間の重要度を数値化する仕組みではない。
- 2. 自己注意機構（Self-Attention）正解あなたの解答 自己注意機構は単語間の重要度を数値で示し、長文でも適切に理解できるようにする仕組みである。
- 3. 位置エンコーディングあなたの解答 位置エンコーディングは単語の位置情報を与える技術であり、重要度の数値化ではない。
- 4. 次文予測（NSP）あなたの解答 次文予測は2つの文が自然につながるかを判定するBERTの学習手法であり、本問の仕組みではない。
問2
大規模言語モデルの回答精度や安全性を高める際、AIが出力した応答に対して人間が評価を与えてフィードバックし、人間の意図や期待に沿う回答を出力するように調整する手法を1と呼ぶ。
答えと解説を見る
正解は 1（RLHF（人間のフィードバックを用いた強化学習））です。
【概要】
RLHFは、AIの出力に人間が評価を与え、そのフィードバックを使って人の意図や期待に沿う回答を出すよう調整する手法である。回答の質や安全性を高めるために使われる。
【各選択肢の解説】
- 1. RLHF（人間のフィードバックを用いた強化学習）正解あなたの解答 RLHFは人間の評価をフィードバックとして用い、意図に沿う回答へ調整する強化学習である。
- 2. 事前学習あなたの解答 事前学習は大量のテキストから言語の知識を得る段階であり、人間の評価で調整する手法ではない。
- 3. ファインチューニングあなたの解答 ファインチューニングは特定の用途に合わせた追加学習であり、人間の評価に特化した手法ではない。
- 4. 自己注意機構あなたの解答 自己注意機構は単語間の重要度を数値化する仕組みであり、回答を調整する手法ではない。
第2章は約180問。いま解いた問題と同じ形で、選択肢ごとの解説と図解が付いています。まずは登録なしで、第1章の114問から解き方を試せます（第2章からはプランで解けます）。
よくある質問
ChatGPT や Gemini などの製品名は、どこまで覚える必要がありますか？
製品名そのものより、「どんな特徴の設計か」が問われます。たとえば Gemini は複数の形式の情報を最初から一体で扱う設計、Claude は役に立つ・正直・有害でないを優先する設計思想、というように特徴と名前をひもづけて覚えます。
第1章と第2章は、どうつながっていますか？
第1章のニューラルネットワークやディープラーニングを土台に、第2章で Transformer と大規模言語モデルが登場します。画像を作る拡散モデルや GAN など、第1章の生成モデルとの違いも整理しておくと混ざりません。
Temperature と Top-p は、どちらも「値を下げるとかたくなる」のですか？
はい。どちらも値を下げるほど、確率の高い候補に絞られて、安定した定型的な出力になります。ただし調整するものが違います。くわしくは「Temperature と Top-p の違い」で整理しています。
もちこ道場
章ごとの問題と本番形式の模擬試験で、合格の力を確かめる
2027年2月の試験からの新しいシラバスの全5章から作ったオリジナルの予想問題を、スマホ・PC で解ける Web 演習サービスです（運営者が作っています）。
500円
31日間・買い切り・自動更新なし
- 全5章 888問○
- 選択肢ごとの解説○
- 全問の解説に図解○
- 模擬試験（60問・60分）なし
1,000円
31日間・買い切り・自動更新なし
- 全5章 888問○
- 選択肢ごとの解説○
- 全問の解説に図解○
- 模擬試験（60問・60分）○
無料体験は登録不要です。
次に読む
記事の確認問題と同じく、選択肢ごとの解説と図解が付いた問題を、スマホ・PC で続けて解けます。
生成AIパスポートの第1章「AIの基礎と歴史」で問われる用語を、4つのまとまりと取り違えやすい組み合わせで整理しました。第1章の問題を2問、その場で解いて確かめられます。
生成AIパスポートの第3章「AIエージェント」で問われる用語を、6つのまとまりと取り違えやすい組み合わせで整理しました。第3章の問題を2問、その場で解いて確かめられます。
出題範囲は、2026年11月9日にGUGA（生成AI活用普及協会）の公式サイトで確認しました。用語の説明は、もちこ道場の問題と解説をもとにまとめたものです。