ビッグデータの賞味期限？

2000年台後半からのIT業界での話題中心の一つとして、ビッグデータがあります。しかしながら、流れてくる情報は高速検索を実現するデータウェアハウスやオンメモリDBなどテクノロジー中心、対象ユーザーも大企業の情報システム担当者向けの内容であり、まだまだ一般のユーザーは蚊帳の外という感覚があるのではないでしょうか。

ソーシャルネットのテキストデータ分析やWEBアクセスログ解析、あるいは実店舗での購買データ、とくに会員カード情報とリンクしたID-POSデータなど、マーケティングへの活用が主にうたわれています。
しかしながら、現状、これらのデータを業務に活かすことのできる企業は、すでに大量データを処理するインフラを持っている小売りを中心とする大手企業であり、競合他社に先んじるためのよりリアルタイム性の高い意思決定のニーズのある、限られた業務に限定されています。

データとそれを格納し処理するインフラは、料理に例えると食材と調理道具に冷蔵庫にあたる。次に必要なのは料理教室、レシピ検索 あるいはてっとり早く調理品を提供するコンビニでしょうか？　

いうまでもなく一番大事なのは、食材や調理道具でもレシピでもない。今日残業で頑張ってきたお父さんにとって、今晩の夕食は、お茶漬け程度で軽く済ませ、食事とは関係ない温かいお風呂と休息が必要なのかもしれない。

本当に必要なのは、家族の好みや体調などの変化を五感を通じて理解する妻、母親（顧客を深く知るフロント担当者）の存在であり、いくらITベンダーが、数理につよいデータサイエンティストを集めたところで、よく気が付く家政婦以上の存在になるのは容易ではないでしょう。

食材同様、データについても賞味期限があります。ビジネスターゲットのセンシングで発生する超大量データ（テラ、ペタ、エクサバイト、・・・）を制約なく格納できます！と謳うITベンダーのビジネスに安易に乗り、コストに見合う成果を期待してはならないでしょう。

対象をモデル化するにあたり、リアルタイム、あるいは短い時間スケール（タイムステップが短い～ms）のダイナミクスと、長いスケールのダイナミクス（タイムステップが長い～day）は、異なる因果法則に支配されており、コストをかけて貯めたデータは、ほとんどが意思決定にとって影響を及ぼさない、あるいは情報価値の低いデータに直ぐに化けてしまいます。

実際のところ、ビッグデータが本質的な問題解決に関わるケースは非常に限定されるのです。

おそらく、人間の脳の記憶のメカニズム同様に、短期記憶と長期記憶、情報価値に基づく忘却機構のメカニズムをもつデータベースが、意思決定業務における自然なシステム形態の有り方を規定していくのではないでしょうか。

昨今の大規模言語モデルの活用の流れは、業務知識の管理もデータからモデルへ移行しつつあるように、データそのものが提供する価値とは何かについて課題ドリブンで考察し、モデリングを行い、成果に繋げるスキルが求められているのです[1]。

[1] ビッグデータの時代は終わった (2023年3月7日)

弊社では、データ分析プロジェクトにまつわる様々なご相談に、過去20年以上に渡るプロジェクト経験に基づき、ご支援しています。

社内セミナーの企画等、お気軽にご相談いただければ幸いです。