ニューラルネットワークと深層学習

ニューラルネットワークは、複数の計算単位をつなぎ、入力を段階的に変換するモデルです。入力層、隠れ層、出力層などで構成され、接続の重みが情報の伝わり方を調整します。学習では、予測と正解のずれを損失関数で評価し、そのずれを小さくするように重みを更新します。

誤差逆伝播法は、各重みが損失にどう関係するかを計算する手法です。人の脳に着想を得ていますが、脳をそのまま再現しているわけではありません。計算モデルとして理解しましょう。

深層学習は、多層のニューラルネットワークを用いる機械学習の一分野です。画像では、単純な線や模様から、より複雑な形の特徴へと段階的な表現を学ぶことがあります。CNNは局所的な特徴を捉える畳み込みを利用し、画像を扱うモデルとして知られています。

層やデータを増やせば必ず改善するわけではなく、計算量や過学習の問題も考えます。モデルを訓練する学習と、訓練済みモデルで新しい入力を処理する推論では、行う計算の目的が異なります。

文章や時系列のように順序が重要な情報には、過去の状態を利用するRNNなどが使われてきました。長い系列では情報を保つことが難しくなる場合があり、LSTMはその課題への工夫を含むモデルです。

TransformerはAttentionを用いて、入力中の要素どうしの関係を捉えます。文章以外にも応用されています。これらは得意な処理の説明であり、「画像は必ずCNN」「文章は必ずRNN」と固定して考えると誤ります。

実際のサービスは複数の技術を組み合わせることもあります。