3-3. アルゴリズム

z_i² (中間層i番目の重み付き入力）と z_i³（出力層i番目の重み付き入力） は次のように計算される．

a_i² と a_i³ はそれぞれ z_i² と z_i³ の活性化関数である. 活性化関数には微分可能かつ正規化可能な関数を使用できる. シグモイド関数を例とすると， a_i² と a_i³ は次のように示される．

すべての学習データ（n個）を入力し，全体のコストを計算する. 各学習データのコストは出力層と教師信号の二乗誤差である. 計算方法は以下のとおりである．

コストCの値を使用することにより， 重みwとバイアスbを勾配降下法にて計算できる． パラメータは誤差逆伝搬法（Back Propagation : BP)を用いて， 出力側から入力側に向けて最適化していく．

δ_jⁱ はFig.4に示す白い丸（ユニット）の誤差を示す. これらの式より，コスト関数のデルタ値を計算することができる. 例えば， ∂C/(∂w₁²₁ ) と ∂C/(∂b₁² ) は以下のように計算できる．

次の計算式を用いて新しい重みwとバイアスbに更新する．

以降，同じ学習データを入力して，教師信号の値に出力が近似されるまで， コストの計算，およびパラメータ更新を繰り返す． Fig.5にBPのフローチャートを示す．

例題

以下のPDFファイルとzipファイルをダウンロードして例題を見てみよう.

2017/09/11 : zipファイルの新しいヴァージョンをアップロードしました

PDF file：Neural Network example
Zip file：Neural Network source code for Octave　version 3.8 (文字コード: UTF-8N)
Zip file：Neural Network source code for Octave　version 4.2.x (文字コード: SHIFT-JIS)