周期的なニューラルネットを「写経」した

お疲れ様です。Y研究員です。通勤の時にトラック野郎の「一番星ブルース」を聞いたら調子良かったので、演歌に少しはまっています。

本を１冊終わらせた

今日の「写経」はRNNでした。ネットワークを学習する時に隣の情報も入力として扱う形態です。アイディアは簡単ですが、実際に作って動かすとなると難しいものだと思います。「素人のように考え、玄人として実行する」とは金出武雄の金言です。それに近いなと思いました。

さてコレで本に載っている４０章の「写経」は全て終わりました。実はGitHubにもプログラムがあるので、「写経」ではそれを見ていました。そこには４１番目のCNNがあります。どうやら最後までの数を間違えていたらしく、原因はそのズレから来ていました。

しかし本の「写経」すべて終わったので、終わったことにします。また改めてまとめの感想は書きます。いい本でした。

ニューラルネットについて

ニューラルネットで単語の頻度を算出するなんて、随分無駄なことを言うなと思いました。しかし、考えてみれば深層学習が出現する前のニューラルネットは廃れていました。問題があってもニューラルネットを使おうとする人はかなり珍しい人という時代が長かったと思います。

しかし今の時代はなんでも深層学習です。いいモデルができれば簡単に使えてしまいます。なので「ディープでポン！」などと言う人もいますね。環境も整っているので、どんなタスクでも頑張ってニューラルネットで解こうとしてみる試行は大事だなと考え直しました。言い換えれば、問題をニューラルネットで解けるように考える訓練が必要そうです。昔、科学の発展は必然ではなく必要から生まれるとどっかで読みました。計算機科学の発展も深層学習が一歩進めた様子です。

次の課題

深層学習でよくやる画像の課題は、写真に写っている物の判別がありあます。この写真に写っているのは犬ですか？猫ですか？という問題です。自然言語処理は専門外ですが、たとえばグーテンベルグプロジェクトで公開さている作品の作者を判別する深層学習はできそうだなと思いました。本文のみを与えてシェークスピアかドストエフスキーか判定するという具合です。下調べは必要ですが、発展的な自主課題としてやるかもしれません。

それではまた。