2016/03/13

[DL]層を増やしてみよう (1)

CNTKのサンプルを1つだけ動かして、そもそもなんだっけ、という振り返りを行っているところ。
活性化関数については、とりあえず「やってみて一番それっぽいのを選べばいいんじゃないの?」で終わらせた。

活性化関数を使うのは、ユニットというか層というか、出力するところだ。
活性化関数の値が出力なのだけど、それを受け取る層にとってはそれが入力になる。

image

どの本にも出ていそうな図だが、結局はこのつくりが基本になっている。
実際はこの層の中にユニットがたくさん入っていて、ユニット同士がつながっているから矢印は1本では無いのだけど、いっぱい引っ張っても図としてはいいことがないので、こう表現しているのだろう。

この隠れ層がいっぱいあるのが、多層ニューラルネットワーク。
まあ、これはわかる。
では、多層ニューラルネットワークと、ディープなものの間には何があるのだろうか?

 

前に見ていた、CNTKサンプルのSimple2dは、隠れ層が2層あった。
増やしていけば何か見えてくるだろうか?
ということで、次回やってみよう。

0 件のコメント:

コメントを投稿

コメントありがとうございます。
スパムかもしれない、と私が思ったら、
申し訳ないですが勝手に削除することもあります。

注: コメントを投稿できるのは、このブログのメンバーだけです。