2019年4月の記事一覧
訓練データと検証(開発，テスト）データの乖離
常識的なことだが，訓練用のデータと検証(開発とも呼ばれる）ならびにテストデータは似たものを選ばなければならない．
日本語の手書き文字データセットを高精度で読み取ることができるというニュースがたまに流れるが，これは「お手本を元に書いてもらった」データセットを用いているためである．ほとんどが産総研が集めたデータセットを使用しているが，これだと高精度が出るのがあたりまえで，本当の人が適当に書いた癖のあ
前処理
実務におけるデータに対しては前処理が重要になる。Pythonだとscipy.statsかscikit-learnのpreprocessingを使う。
以前使ったPM2.5のデータを用いて解説する。
import pandas as pd
%matplotlib inline
df = pd.read_csv("http://logopt.com/data/PRSA.csv")
df.head(
機械学習のイラスト解説
最近，図とかイラストで機械学習を解説するという本がたくさん出てきた．図があればわかりやすいかというと，そうでもない本が多いようだ．イラストレーターが描いたキャラが，図の横で何か説明しているだけでは，captionとかわりがない．
本当に分かりやすい図というのは，対象とする問題に対する理解度に依存する．たとえば，AndrewやJeremyの図は汚いが，理解の補助になるものが多い．
絵を描くのが上
chainer tutorial
以前から国内向けにチュートリアルを作ればとアドバイスしていたのだが、やっと重い腰をあげたようだ。
まだ途中ー基礎編までーだが、deepleaarning.aiのようにビデオー最近だと（全部という訳ではないが）日本語の字幕もありーや練習問題もあるといいと思うが、そこまでは時間がとれなのだろう。でも、開発チームに伝えてもらったのでそのうちできると思います。
深層学習の歴史（2018年のTuring賞）
このノートは「深層学習の歴史（パーセプトロンから2018年のTuring賞まで）」の一部です．全体はこちらのページで（無料で）見ることができます．
2018年のTuring賞（計算機科学のノーベル賞）に，深層学習の成果をあげた Y. Bengio, G. Hinton,Y. LeCun の3名が選ばれた．
Hintonは，1986年に発表した誤差逆伝播の論文“Learning Internal
深層学習の学習サイト
最近やたらと宣伝に出てくる深層学習の学習サイトがある。そこのブログを見てみたら、とんでもなく素人ということが分かる。
Cifar10を例にしているのだが、f1値をメトリクスにしており、その値も相当悪い。データ増大ー彼らの用語では水増しーをすると悪化している理由も分からないようだ。東大の監修らしいが、深層学習は新しい分野なので、研究者の質にもばらつきがあるようだ。
