イゼルローン日誌

・まぁそんなところで、全結合ニューラルネットワークの方はほぼ作り方がわかった（気がする）。活性化関数を色々変わったものに変えたり、ウェイトやバイアスの変化のさせ方を弄ったりしても面白いことが起きるのだろうけど。
・というところで、mnistで遊んでいたためか、GCC（Gemini/Chatwork/Copilot）君からは「CNNやってみない？」というお題がきた。
・全結合だと画像が上下左右に動いたりしたときに全く違うデータとして扱われてしまうので、これをまとめてしまおうという仕掛けがCNNということらしい。
・CNNはConvolutional Neural Networkの頭文字をとったもので一般的には「畳み込みニューラルネットワーク」と訳されているけど、Convolutionalのvolutionって回転を意味してなかったっけ？と辞書を引いたらほら案の定。
・「くるくる撒いた状態、渦巻き、込み入った状態、複雑」っていう感じで、なんとなく糸巻き的なものをイメージするようなネーミングではある。
・やっていることをちょっと検索してみた今現在の理解はこんな感じ
1)に小さい四角い窓（2X2とか3X3とか）を用意して、この中で重み付けをする（フィルタと呼んでいる）。すると、例えば横線と右斜め下がりの線とかの特徴があるとみなせる部分が強く現れる。（真っ白でも反応するけど、まぁそれはそれとして）
2)この窓をスライドさせて新しい行列を作る。
3)そして、このフィルタのパターンを色々用意しておいてそれぞれごとに行列を作る
4)フィルタが画素外に出てしまわないようにすると、その分行列がちいさいなるのでその領域は0などでパディングしておく。

・ここまでが「畳み込み層」とよばれるもので、この後が「プーリング層」とよばれているようだ。

5)こうしてできたものをたとえば縦横1/2に圧縮する。まぁ1/2なら縦横２つの画素の中の最大値をとるという方法が紹介されていたけど、「ぼかしている」という感じでもある。すると、縦横１ドットずれても結果は同じになる。
6)こうして出来上がったもの（縦横1/2の画像データ×フィルタ数）分のデータを全結合ニューラルネットで学習させる。

・そうすると、たとえば、横棒に強く反応した画素の右隣に縦棒に強く反応する画素があったとすればこれはそのあたりの場所で十字とかＴ型などの交差に反応するようなニューロンが生まれる可能性があるということになるのだろう。
・VOUTIONの字句を活かすなら、製糸工場など糸を紡ぐときのように、「窓」エリアから伸びた細い糸（画素データ）がまとめられていくようなのをイメージすると良いのかなという感じ。
・前処理はたぶんちょっとデータ数も多いけど「難しくはないけど手間はかかる」という類だろう。
・たぶん、フィルタ部分も初期値は適当に決めて学習するに従って最適化していくことになるのだと思うのだけど、この学習のやり方がCNNのツボなんだろうな。

---