#1 データサイエンスで大事なこと

いきなりですが問題です

以下の画像は帰還した飛行機の損傷部分を示しています。
あなたならどの部分を優先的に強化しますか？

選択肢
・赤点部分
・赤点以外の部分

引用：生存者バイアス

・赤点部分を選んだあなた：純粋な心を持っている方ですね
・赤点部分以外を選んだあなた：物事を深く考えることができる方ですね

解答

これは仮説データなので、答えがあるわけではありません。
考え方の一例を紹介します。

帰還している≒赤点部分は損傷しても問題ない。
一方、赤点以外の部分を損傷した機体は帰還できていない可能性があるため、赤点以外の部分を優先的に強化すべきである。

ただし、赤点部分を損傷した機体でも帰還できないサンプルもあるかもしれないので 1 サンプルのデータだけで判断することは難しいでしょう。

適切なデータ量とデータを正しく理解することが意思決定の際に重要になります。

データを正しく理解することで、適切な意思決定を行いましょう。

はじめまして

簡単に自己紹介をします。

・データサイエンティスト
・機械学習エンジニア
・データ・AI 活用のための先端 IT 人材育成研修講師
・大学非常勤講師

本記事の構成

・データサイエンスにプログラミングは必要か
・データサイエンティストの役割とは
・データ分析で大事だと思うこと

データ・AI 活用が当たり前になりつつある昨今、この分野を学び始める方へ、また自身のアウトプットを兼ねて、データサイエンス・AI（機械学習）に関する記事を投稿しようと思います。

データサイエンスを始める上での心構えやプログラミングスキルの習得方法はたくさん記事があるので本記事では紹介しません。

データサイエンスにプログラミングは必要か

結論：プログラミングができる方が良い

「やっぱりプログラミングは必要なのか〜。」と思う方もいると思いますがデータサイエンス（データ分析）は、Excel でも十分可能です。

※ ただし、Excel では限界があります。

・データ量
・分析手法

「データ量」に関して
最近数百万レコードのデータを扱いました。
私が使っている PC は「MacBook Pro (13-inch, M1, 2020)」で性能としてはとても良いものですが、Excel ファイルが重すぎてデータの確認すらままならない状況でした。
プログラミングを用いるとサクっとデータ操作ができます。

「分析手法」に関して
Excel ではデータの可視化や相関分析、重回帰分析、統計的仮説検定などを行うことができます。
プログラミングを用いると、これらに加えてより高度な分析を行うことができます。

また、プログラミングとはプログラミング言語を用いてコンピュータに命令を下すので、コードさえ間違わなければ確実な処理を施すことができ、人為的なミスを減らすことができます。

さらに、行いたい処理を自分の頭で考えて、コードに落とし込んでいく作業になるため、論理的思考力が鍛えられます。

データサイエンティストの役割とは

データに柔軟に対応し、
データ分析を通じてデータから価値を生み出す（課題を解決する）

上記がデータサイエンティストの役割ですが、本記事（連載）では私が普段取り組んでいる実案件を記載することはできないため、主に簡単なデータを用いたデータ分析についてお話します。

データ分析で大事だと思うこと（主観）

プログラミングができるとメリットがあると前述しましたが、プログラミングができるかどうかは正直どうでもいいと思います。

1. 課題を見失わないこと

データを分析する背景には、何か解決したい課題があるはずです。

2. ドメイン知識があること

※ データサイエンス・AI（機械学習）分野では練習用の仮説データが豊富に公開されています。

私は実データを扱うことが多いですが、そもそもこのデータは何を意味しているのか、このデータはどういった経緯で取得されているのか、なぜ欠損（データを取得できないこと）が生まれるのか、、、などその道に精通した方でないとわからないことがほとんどです。

そのため、たとえプログラミングができるとしても太刀打ちできない（どこから手をつければよいかわからない）ことがよくあります。
そういった際はしっかりと調べたり、担当者にヒアリングしたりしましょう。

3. 仮説を立てられること

ドメイン知識の深さとも関連しますが、課題に沿った仮説を立てないと分析自体が的外れな設計になってしまいます。

仮説を立てることで膨大なデータでも、最初に何に着手すればよいかが明確になります。

以上、前置きが長くなりましたが次の記事から本題（データ分析）に入ります。
ゆる〜く更新していきます。