マガジンのカバー画像

Pythonによる最適化

249
最適化やデータ解析はPythonを使うと瞬時にできるよ,という話です.
運営しているクリエイター

2019年1月の記事一覧

fast.ai Deep Learning v3

DL for Corders の第3期の講義のページが、正式に公開されたようだ。ビデオだけでなく、右側に便利なリンクもあるので、便利になった。

fastaiというパッケージは、PyTorchをベースにしているのだが、最近日本語でもPyTorchの本やブログが出てきているようだ。fast.aiの講義の中で、「ほとんどのブログ記事は、PyTorchの例題のコピペなので信用してはいけない。ひどいのにな

もっとみる
深層学習の誤解

深層学習の誤解

深層学習に関する記事は日経などでよく見かけるが,ちょっと昔の話を聞きかじって誤解しているケースが多々ある.ここでは,fast.aiの講義をもとにその誤解を解いておこう.

1)ブラックボックスなので,使いにくい.洞察が得られない.

機械学習の中には,結果を導いた理由を解釈可能なのがたくさんある.DLでも活性化関数や途中の層の様子を可視化する技術が進んでいるので,ある程度の解釈が可能である.特に,

もっとみる

AIの民主化

欧米と日本の対比をすると,友人の偉い先生(Y先生)に怒られそうだが,AI(というか深層学習)については心配なのでコメントしておく.

海外(主にアメリカ)では,DLは民主化が進んでいる.fastaiをはじめとして,講義は無料で公開され,ソフトウェアも基本はオープンソースで,最新の論文も結果を実験的にすぐに確認できるようになっている.しかも,それが博士をもっている専門家でなくても,誰でも簡単にできる

もっとみる

アナリティクス練習問題集

以前,Pythonによるビジネスアナリティクスという本(サポートページ)を書いたのだが,練習問題が足りないので,Anaconda Cloudに置いておいた.演習で使用していたのだが,つながり具合があまりよろしくない.単にJupyterのファイルが閲覧できるだけなのに,この遅さはないだろう.

といううことでgitにメイン部分を移動してみた.Google Colabでそのまま動く(もしくは簡単にpi

もっとみる

なぜ深層学習が巧くいくようになったのか?

データ量の増大に伴い,それをうまく利用できる手法である深層学習が有効になってきている.層の数を増やしても大丈夫なようなアーキテクチャ(モデル)が開発されたことも,重要な要因である.つまり,データと新しいモデルが両輪となって,様々な分野への応用を後押ししているのである.小さなデータしかないときには,ニューラルネットは線形回帰やサポートベクトル機械(SVM)と同じ程度の性能である.しかし,データが大規

もっとみる

データ解析コンペ

データ解析コンペといえばKaggleが有名だが、日本国内でもちらほら見るようになった。学生が興味を持っていたので調べてみたのだが、過去のコンペのデータが見れないとか、上位の人たちの手法や検証データも公開されないとかで、あまり教育用としては使えない印象を受けた。(ググって上に出たhttps://signate.jp/とかでちらっと調べただけなので、間違えていたら教えてください。)

賞金は100万円

もっとみる

fast.aiの深層学習講義v3

オフィシャルページには情報がないが,新しい深層学習の講義のページができたようだ.fastai v1とPytorch 1.0+に対応している.

講義も会場からの質問を随時受け付けでなくなったので,大分だらだら感がなくなった.Lesson1とLesson2は限定公開中のようだ.

感心したのはJupyterのWidgetで実務家が実際の深層学習のプロジェクトをやりやすくするようなツールを作っているこ

もっとみる
手書き文字認識

手書き文字認識

古典的なMINSTのデータをfast.ai v1で試そうとしたが,バグがあったのでメモしておく.

path = untar_data(URLs.MNIST)
!ls {path}

で保存されたフォルダの中身をみてみると,testing training なっている.MNIST_SAMPLEやTINYと違う名前になっているようだ.

!mv {path}/testing {path}/vali

もっとみる

AIエンジニア養成講座

Andrew Ngが会社をAI化するための方法についての記事を年末に送ってきたが,そこに社内でAIエンジニアを育成するには100時間以上の教育が必要だと書いていた.

外部の教育資源を使えば良いと書いていた気がするが,確かに英語なら豊富にあるが,日本語の資源は少ない.簡単な例題をコーディング(というか写経)しただけでは,本当に自分で問題解決のできるエンジニアは育たないのだ.

大学の演習では,例題

もっとみる
cifar10

cifar10

画像認識の比較的小さなデータセットにcifar10というのがある.Google Colab上のfast.ai v1のデフォルトでどのくらいの精度が出るか試してみた.

Cifar10は上にあげたような粗い画像から,10種類の物体を当てる問題である.

データを読み込んだ後に,get_ransform()でデータ増大(data augmentation)を行うためのオブジェクトtfms を生成する.

もっとみる