Transformerとは
単語どうしの関連を見て、文脈をとらえる

Transformerとは

Transformer は、文章の中の単語どうしの関連をとらえることで、文脈を読み取る深層学習のしくみです。ChatGPT のような大規模言語モデル（LLM）の根幹を支える技術として知られています。

文章の意味は、単語を1つずつ見るだけではわかりません。たとえば「それ」が何を指すかは、離れた場所にある別の単語との関係で決まります。Transformer は、文章中のすべての単語の組み合わせについて「どれくらい関連しているか」を調べ、文脈をとらえます。この「関連を見る」しくみが Self-Attention（自己注意機構） です。

しくみ

Self-Attention

Self-Attention は、外部のデータに頼らず、手元の文章の中の単語どうしの関連を計算する機構です。この機構のおかげで、Transformer は長い文章でも、前のほうの単語を忘れにくくなりました。問題では「長期の記憶力を獲得している」と表現されています。

エンコーダとデコーダ

Transformer は、次の2つの部分を組み合わせた構造（encoder/decoder モデル）を採用しています。

• エンコーダ: 入力データの特徴量を取り出す部分。
• デコーダ: その特徴量をもとに、出力データを作る部分。

文章を別の文章に変える処理のように、「入力を読み取る」役と「出力を作る」役を分けた構成です。

RNN との違い

それまで文章などの時系列データには、RNN（再帰型ニューラルネットワーク）が使われていました。RNN は単語を順番に読むため、離れた単語どうしの関係をとらえるのが苦手でした。Transformer は、Self-Attention で離れた単語の関連も直接とらえます。さらに、並列処理で高速に学習できる点も大きな利点です。RNN の詳しい説明は「RNNとは」にまとめています。

試験での問われ方

IoTシステム技術検定 基礎では、第6章「IoTでデータを活用する」で出ます。もちこ道場の第6章の問題では、Transformer を含む問題が12問あり、次のような問われ方をしています。

• 穴埋め: 「自己注意機構（Self-Attention）で単語どうしの関連や文脈をとらえる、LLM の根幹技術」の空欄に Transformer を選ぶ。または、Self-Attention や、エンコーダと対になるデコーダの名前を選ぶ。
• ほかの用語の外れの選択肢: CNN・RNN・GAN の問題で、Transformer が選択肢に並ぶ。
• 誤った記述を選ぶ: RNN との違い（離れた単語の扱い、並列処理）を入れ替えた記述や、拡散モデルの仕組みとの関係を述べた記述の誤りを見抜く。

似た用語との違い

深層学習の代表的なモデルを、何が得意かで並べて比べます。

覚え方

• 「LLM の根幹」「Self-Attention」の2語が出たら Transformer。
• 構造はエンコーダ（読み取る）＋デコーダ（作る）。ペアで覚えます。
• RNN は順番に読むので、離れた単語が苦手。Transformer は関連を直接見るので、離れていても大丈夫、と対にします。

生成AI の中での位置づけは「生成AIとは」、第6章のほかの用語は「第6章 IoTでデータを活用するの要点」にまとめています。