野良DSの適当な解説～機械学習モデルって信用できるの？

最初のQA

質問）機械学習モデルって信用できるの？
回答）内容によるよ

解説しよう

内容によるよって言うのは得意な問題とか苦手な問題があるから、常に良い結果が得られると思ってもいけないし、常に悪い結果が得られると思ってもいけません。
このままだと情報量0なので、ちゃんと書きますね。
理解するためには、機械学習って学習することが大前提なんですよ。だから、そこをまずは書きます。この辺、機械学習の学習ってなに？で細かく書く予定です。

機械学習で学習するって何？簡易版

基本的には例題をひたすら暗記することです。もちろん、全部覚えるのはきついので、実際には色々な方法で簡略化して覚えます。で、簡略化の方法を失敗して残念な結果になることも当然あります。
簡略化の代表例は特徴量の抽出って何？で書くつもりですが、今は全部覚えるのはしんどいので、例えば白っぽいものは全部混ぜて白って覚えるみたいなイメージで良いです。
このように、何らかの形で簡略化して例題を覚えるというのが機械学習で学習するという事になります。
なお、個々のデータは良い感じでバラバラになっちゃうので、「犬」「猫」「飛行機」といったラベルで考えてください。機械学習では、教えたものがどのラベルのものかを教えてあげることで、データとラベルを関連付けた学習が出来るようになります。

え？回帰問題とか外れ値の検査とか気になるって？それは今は忘れましょう。そいつらは確実に応用編です。

機械学習で推測するって何？簡易版

機械学習で推測すると言うことって何？何ですが、具体的には、あるデータを与えたときに、学習したどれに近いかを調べてそれを返すというものが機械学習の予測です。
だから、近いデータがあるかないかで回答の質は変わってきます。近いデータがあればそれだけ良い結果。無ければだいぶ適当な結果を返します。
だから、質問と回答のところで書いた、こんな言い方になるんですよ。

回答）内容によるよ

だから、学習データを踏まえた上で、予測するデータを与えなきゃならんのです。
犬と猫の映像だけ与えて学習した奴に、鎌倉の大仏の写真見せても犬だと思うとか平気で返してくるのが機械学習です。人間は知らんしって言うけど、それを言ってくれる機械学習モデルはそんなにありません。
ここを知らないと、機械学習の結果がおかしいという、とても残念な結果になってしまいます。
でも、犬と猫の写真を与えればそれなりの回答をします。これは、教えたデータ中に、上に書いた近いデータがあるからです。

以上を踏まえて

結局は、人間じゃないんですよ。機械学習は。何を当然なことを？って思いますが、人間じゃないからこそ、知らないと言わないんですよ。
じゃ、それ（＝知らないといってくれる機械学習モデル）を使えば良いじゃん？って思うでしょうけど、今の機械学習モデルにそんな機能を持っている奴がそもそもおらんのですよ。
もちろん、全くないとは言わない。ただ、古くて埃かぶってしかも成績があんまり良くないモデルだったりする。進化から取り残された世界にこっそりとあるんで。
だから、これは機械学習の制限としてまず受け入れないといかんのです。そして、ここを知らないから、どうしてこれができないの？って思っちゃいます。

正しく認識しないことは不幸です

ここ知らないから、機械学習の成績が悪いとかそんな話になっちゃうんですよ。悪い原因は、機械学習のモデルに有るわけじゃ無く、解決しようとしている課題にあるかもしれないんです。
んで、お客さんも製作するAIベンダーもこれを理解していることが、機械学習のプロジェクトを成功させるために最低限必要な事だったりします。
そして悲しいことに、結構知らない人が多い。大事なのに。

今回の結論

「機械学習は与えるデータ次第で性能は良くもなるし悪くもなるよ」
「知らないことを質問されても機械学習は知ったこっちゃないよ」

覚えときましょう。