ニューラルネットワークに対する理解

ニューラルネットワークが何をしているのか?
今の自分の考えを記す.

とりあえずニューラルネットワークの図

f:id:kituman:20170125162756p:plain

図の丸はそれぞれパーセプトロン. 左が入力層,中央が隠れ層,右が出力層となっている.

何がしたい?

何かの式を解きたい

とある真のモデルからサンプルを取ってくる

それをNNに食わせる

モデルを予測する

例えば

f:id:kituman:20170125164034p:plain

こんな感じのサンプルがあります.

なんとなくではありますが,

f:id:kituman:20170125165321p:plain

こんな感じに線を引けそうですね. この線を予測するのがニューラルネットワークの働きです. これにより真のモデルf:id:kituman:20170125165207j:plainを予測します. ちなみに,今回はサンプルの次元が身長とバストの2次元だけだったので線を予測しましたが,3次元のデータなら面を,4次元以上なら超平面のようになります.

モデルが予測出来たら何がうれしいか?

サンプルにないデータも予測できる

例えば,今回のデータを使ってサンプルにないアイドルの身長さえ分かればバストが予測できる という寸法です.

じゃあ,予測するにはどうすればいいの?

誤差逆伝播

これについては後日.