3-2. パラメータ更新方法

計算された出力と教師信号の差により，コストを計算し， コストが小さくなるように，ニューラルネットワークで使用しているパラメータ （w,b)を同時に更新していく．コストがある一定以下になると更新を終了する．

Fig 3 : 三層構造モデルのパラメータ

上図はニューラルネットワークの層と対応するパラメータを示している． パラメータの定義は以下のとおりである．

• k_i は入力信号
• w_{i j}² は入力層から中間層への重み
• b_i²　は中間層のバイアス
• z_i² は中間層の入力
• a_i² は中間層の出力
• w_{i j}³ は中間層から出力層への重み
• b_i³ は出力層のバイアス
• z_i³ は出力層の入力
• a_i³ は出力層の出力