3-2. パラメータ更新方法

計算された出力と教師信号の差により，コストを計算し， コストが小さくなるように，ニューラルネットワークで使用しているパラメータ （w,b)を同時に更新していく．コストがある一定以下になると更新を終了する．

Fig 3 : 4層構造モデルのパラメータ

上図はニューラルネットワークの層と対応するパラメータを示している． パラメータの定義は以下のとおりである．

• k_i は入力信号
• w_{i j}² は入力層のi番目のノードと中間層1のj番目のノード間の重み
• b_i² は中間層1のi番目のバイアス
• z_i² は中間層1のi番目の入力
• a_i² は中間層1のi番目の出力
• w_{i j}³ は中間層1のi番目のノードと中間層2のj番目のノード間の重み
• b_i³ は中間層2のi番目のバイアス
• z_i³ は中間層2のi番目の入力
• a_i³ は中間層2のi番目の出力
• w_{i j}⁴ は中間層2のi番目のノードと出力層のj番目のノード間の重み
• b_i⁴ は出力層のi番目のバイアス
• z_i⁴ は出力層のi番目の入力
• a_i⁴ は出力層のi番目の出力