RNNとは
過去の情報を持ち越して、時系列データを学ぶ

RNNとは

RNN は、Recurrent Neural Network の略で、日本語では再帰型ニューラルネットワークといいます。深層学習で使われるネットワークの構造のうち、過去の情報を保持する仕組みを持ち、音声認識や自然言語処理などの時系列データの学習に利用されるものです。

時系列データは、時間の順に並んだデータです。音声、文章、センサの測定値の時間変化などが当てはまります。こうしたデータは、順番に意味があるのが特徴です。たとえば文章は、前の言葉を踏まえないと、次の言葉の意味が決まりません。RNN は、前に読んだ内容を覚えたまま次を読むことで、この順番の関係をとらえます。

しくみ

RNN は、データを1つずつ順番に処理します。ふつうのニューラルネットワークとの違いは、1つ前の処理で得た情報を、次の処理にも渡すことです。これが「再帰」で、過去の情報を持ち越すしくみになります。

文章を読むときの流れは、次のようになります。

1. 1つ目の単語を処理して、結果と「覚えておく情報」を出す。
2. 2つ目の単語を、1つ目から引き継いだ情報とあわせて処理する。
3. 3つ目の単語を、2つ目までの情報とあわせて処理する。これを最後まで繰り返す。

RNN の弱点と Transformer

RNN は順番に読むため、文章の離れた場所にある単語どうしの関係をとらえるのが苦手でした。また、順番に処理するので、並列処理で学習を速くしにくい面もあります。この弱点を克服したのが、Self-Attention で単語どうしの関連を直接とらえる Transformer です。くわしくは「Transformerとは」にまとめています。

試験での問われ方

IoTシステム技術検定 基礎では、第6章「IoTでデータを活用する」で出ます。もちこ道場の第6章の問題では、RNN を含む問題が9問あり、次のような問われ方をしています。

• 穴埋め: 「過去の情報を保持する仕組みを持ち、音声認識や自然言語処理などの時系列データの学習に利用される構造」の空欄に RNN を選ぶ。または、「画像認識は CNN、時系列データは RNN」の組を選ぶ。
• ほかの用語の外れの選択肢: CNN・Transformer・GAN を答える問題で、RNN が選択肢に並ぶ。
• 誤った記述を選ぶ: 深層学習の特徴や、Transformer が RNN の苦手を克服したという説明のうち、誤った記述を見抜く。

似た用語との違い

RNN と取り違えやすいのは、同じ深層学習の代表モデルです。何のデータが得意かで見分けます。

覚え方

• 「RNN は時系列」。過去の情報を保持する、音声・文章と出たら RNN です。
• 「再帰」＝結果を次に持ち越す。順伝播型の CNN との違いです。
• RNN は順番に読むから、離れた単語が苦手。Transformer は関連を直接見る、という対で覚えます。

深層学習全体の位置づけは「深層学習とは」、第6章のほかの用語は「第6章 IoTでデータを活用するの要点」にまとめています。