トランスフォーマーとは
GPTのTにあたる、単語どうしの関係を見るAIの構造

トランスフォーマーとは

トランスフォーマー（Transformer）は、2017年に Google が発表した AI のアーキテクチャ（構造）です。文章のような並びのあるデータを、エンコーダとデコーダという2つの部分で処理します。

ChatGPT などに使われる GPT は、3つの英単語の頭文字からできていて、その最後の T がトランスフォーマーです。生成AIの土台となっている構造なので、第10章の用語の中でも名前をよく目にします。

しくみ（単語どうしの関係に重みを付ける）

トランスフォーマーの特徴は、文章の中の単語どうしの関係性に重み付けを行うことです。ある単語を処理するとき、同じ文章のどの単語がどれくらい重要かを計算し、関係の深い単語を重く見ます（アテンション、注意機構と呼ばれるしくみです）。

• エンコーダ: 入力された文章から、意味に関わる特徴量を抽出します。
• デコーダ: 抽出された特徴量をもとに、文章を生成します。

文章を扱う従来の方法では、前から順に処理する必要がありましたが、トランスフォーマーは単語どうしの関係をまとめて見渡せるのが特徴です。そのため、大量の文章で学習しやすく、LLM の大規模化につながりました。

事前学習との関係

トランスフォーマーの大きな功績は、正解データのない文章で教師なし学習ができるようにしたことです。世の中にある大量の文章をそのまま学習に使えるため、LLM は事前学習で幅広い知識を取り込めます。そのあと、ファインチューニングで特定のタスクでの振る舞いを身につけ、強化学習（RLHF）で人の評価に合わせて調整します（「強化学習とは」）。

試験での問われ方

モバイルシステム技術検定2級では、第10章「生成AIとAI活用」で出ます。もちこ道場の第10章の問題では、トランスフォーマーを含む問題が8問あり、次のような問われ方をしています。

• 穴埋め: 「GPT の T の[　]は、2017年に発表された、エンコーダとデコーダで構成されるAIアーキテクチャ」の空欄にトランスフォーマーを選ぶ。トークン・チューニング・テンソルが外れの選択肢です。
• 誤った記述を選ぶ: GPT の G・P・T の意味、エンコーダとデコーダの役割を入れ替えた記述を見抜く。「P は Program」のような取り違えが出ます。
• 正誤の組み合わせ: 「事前学習ではトランスフォーマーを用いて、正解データのない文章で教師なし学習を行う」を含む3つの文の正誤を組み合わせで答える。
• LLM の学習・用語の記述: 事前学習・ファインチューニング・強化学習の説明の中に、トランスフォーマーが部品として登場します。

似た用語との違い

覚え方

• GPT の T は Transformer。G は生成、P は事前学習、T は変換器と、3文字を順に唱えます。
• エンコーダは読む、デコーダは書く。特徴量を抽出するのがエンコーダ、文章を生成するのがデコーダです。
• 「単語どうしの関係に重み」。トランスフォーマーの特徴を一言で言うなら、この表現です。

第10章のほかの用語は「第10章 生成AIとAI活用の要点」にまとめています。