イゼルローン日誌

・さて、なんとなく１層を任意の入力点数、任意のニューロン数で作ることができるようになったので、２層…２段カスケード接続したらどう？というのをやってみる。
１層目が２入力のニューロン４個、２層目が４入力のニューロン４個。で教師データは同じものを与えて同時に教育してみる。ウエイトやバイアスの初期値は乱数なので、４回分同時にチェックする格好。
で、最終段の偏差の自乗がどうなるのかを見てみたのがこのグラフ。上が１層にしたとき。圧倒的な収束の速さだな。
・調子に乗ってXORをやらせてみたら収束したりしなかったり…さて、何が悪いのかな。

・というところでGCCへのお問い合わせなどもしていろいろいじっていたらXORでも収束するようになってきた。乱数をstandard_normal、つまり０を中心にした正規分布乱数にして、Learning Rateもちょっといじったり。更に１層目のニューロン数を８個に増量。これが一番効いたようだ。XORを教師データとして入力して誤差（前回のは偏差の自乗をグラフにしたけど、これは符号付き）の変化を撮ってみたらこんな感じ。繰り返しやってみるとだいたい500回くらいで収束する。実務的にはこの収束した状態を見て学習済みとして推論用のパラメータにすれば良いんだろうな。
・この学習過程で時々発振というのかリンギングを起こしたような波形が出てくるのが面白いところ。フィードバックがかかっていて、位相が180度反転してループゲインが１未満ならこういう減衰振動になる。
・電子回路ならここでダンピング抵抗を入れたりフェライトビーズを入れたりする感じかな。
・GCCにお尋ねしていたら、AIの世界でもこうした現象を抑制するフィルタみたいな式を入れ込むことが実際に行われることがあるらしい。いろいろつながってるな。