どうデータを集めるのか

お久しぶりですTakashiです。色々あって期間が空いてしまいました。

また続けていきたいと思います。

前回のデータを作る(集める)となった場合にどう集めていくかということを中心に書いています。

対象を知る

対象のことを熟知しておくことは重要です。

データの質や量に直結します。

・対象が人であるなら、その人がどういう人なのか？あるいは集団なのか？

・どういう収集方法が有効か？

・対象がデータ収集の対象としての条件を満たしているのか？

などなど、考えることは山積みです。

また対象が人ではなく現象ということもありますが、その場合も基本的には同様だと考えます。

何を使って集めるか

できるだけ低コスト(時間、お金、労力)で大量で高品質のデータを集めたいですよね？

でもそんなに上手くいくことは稀だと思います。

大体はどれかを天秤にかけないといけません。

最近ではスマホやPCを使ってアンケートや調査を行うのが当たり前になってきましたね。

紙で回答をもらうより効率的ですし、後々の集計も行いやすいですから断然IT技術を使用した方がいいことは明白です。

ただ、対象によっては紙を使わざる得ない状況も出てきます。

例えば、ある対象からアンケートを取るとして、前段落の「対象を知る」で熟知した対象がIT技術に疎いお年寄りだとした場合はどうでしょうか。

どれだけ完璧なアンケート用アプリやサイトを作っても、操作してもらえない、あるい疎まれてしまっては意味がありません。スタッフが対象と対面で補助しながら行うアンケートならまだしも、自力で行ってもらうアンケートだと絶望的だと考えられます。と、このような状況だとやはり紙での調査が有効になります。

逆に、IT技術を使用しないとほぼ不可能なこともあります。

例えばインターネットの数万のサイト上にちりばめられている情報を収集するとなった場合、人間の手では現実的ではありませんね。そういった場合はクローラーなどのプログラムを作って対応しましょう。

と、このように対象によって「何を使って集めるか」を検討することも必要になるというわけです。

ちなみにここはITエンジニアの腕の見せ所でもあると私は考えています。
「データを集めて解析する」というプロジェクトで見ると「何を使って集めるか」はほんの一部ですが

この部分に「要件定義、設計、実装、テスト」が含まれているからです。

収集用のサイトやアプリができて終わりとはならず、欲しいデータが集まらなければ意味がないのです。

ここは私は転職してから割と最初の方に気が付いた「データを扱うエンジニア」と「ITエンジニア」の違いだと思います。価値観が少し変わりました。