イゼルローン日誌

・CNNのバックプロパゲーションを考える。
・要するにフィルタを移動させて得た画像データを縮小したものに対する補正値が戻ってくるわけだ。
・たとえばフィルタを3x3として、2x2の4ドット分を1ドットに縮小して、このドットのデータが全結合ニューラルネットに入るという構成を考える。
・一応、今の理解では順方向の操作は
1)元画像の4x4の四角い領域を3x3の除き窓で覗く。
2)左上、右上、左下、右下の４箇所の3x3の領域について、それぞれの画素データと、対応する位置のフィルタのデータを掛け算して和を取る。（イメージとしては、照度センサの前にパターンの描かれたシートを貼り付けもので明るさを測っているようもの）
　たとえば
　フィルタ側を
F0 F1 F2
F3 F4 F5
F6 F7 F8
というデータ、画素側が
　G00 G01 G02 G03
G04 G05 G06 G07
G08 G09 G10 G11
G12 G13 G14 G15
として、フィルタが左上なら
　F0xG00 F1xG01 F2xG02
　F3xG04 F4xG05 F5xG06
　F6xG08 F7xG09 F8xG10
となるわけで、これら９つを足したものに更にバイアスを足したものをつくる（仮にSUM00とかする）
3)窓を元画像全体に渡って１ドットずつ（１枠ずつではなく）移動させると
SUM00 SUM01 SUM02 SUM03・・・
SUM10 SUM11 SUM12 SUM13・・・
　SUM20 SUM21 SUM22 SUM23・・・
　・・・・
　となる
4)こうして得られたものをたとえば縦横２ドットずつまとめるなら
　SUM00 SUM01　　SUM02 SUM03
　SUM10 SUM11　　SUM12 SUM13
　といった４画素分ずつまとめて、たとえばこの中の最大値を採用して４ドットを１ドットにする。これがプーリング層と呼ばれるものの役割ということらしい。
5)全フィルタについて同じようなことをする。ここまでの例なら
　元画像の画素数÷４×フィルタの枚数
　個のデータ列になる。これを全部まとめて全結合ニューラルネットに食わせる。

という具合。
・さて、このときたとえば、左上の４つをまとめたものに対してバックプロパゲーションで戻ってきた値というのは、SUM00,SUM01,SUM10,SUM11の４つに共通して使われる。
・ただ、「誤差の責任」はプーリングした時に採用したもの・・・たとえばSUM00だけとか、SUM11だけとか・・・にしかないので、バックプロパゲーションで調整するのにつかうのは「採用したもの」だけ
・たとえばSUM00が採用されたものだとすると、これは
　F0xG00 F1xG01 F2xG02
　F3xG04 F4xG05 F5xG06
　F6xG08 F7xG09 F8xG10
の和だったわけで、とすると「誤差の責任の割当」は全結合のバックプロパゲーションと同じ。全結合層から戻された値をVback、学習率をLRとすれば、たとえばF00の補正はF00 ｰ= Vback*LR*G00てな具合。

・これをプーリング層出力の（元画像画素数÷４）個分処理するとフィルタ１個分が補正される。で、全フィルタ数分やれば全部のフィルタが補正される。以下は繰り返しである。
・ただ、加算されていく数が多いので発散しかねないから、全部足した後でプーリング層出力の数で割って平均を取ると良いんだろうな。

・たぶん、こんな感じで大きく外してはいないと思うのだけど。もう一回本当にそうなのか確認しておこう。

---