データ品質と水質の問題は同じかも

データをキレイにしていた1年

生産現場にデータの価値をもたらそうと日々奮闘していますが、生データをそのまま活用できた試しは有りません。また軽いデータ処理で済んだよという事例もごくわずかしか有りません。。生産現場や設備にIoTが導入されてデータも多くなってきたのですが、昨年を振り返るとデータ処理・クレンジングをひたすらやっていた1年だったなと思います。

たまっているデータをすぐ使える状態にしておかないといくら統計学やデータ分析モデル構築スキルだけを習得しても宝の持ち腐れです。しかも高品質なデータがあればAutoML等で素人でもモデル精度をある程度担保できるようになってきました。しかしデータが整備されていないと高級データサイエンティストや分析ツールがあっても高い品質のモデルを作ることができません。これは、いくらいいシェフや調理道具を手に入れても水道から泥水しか出ない環境だと美味しい料理が作れないという状況と同じです。

今まで数十の現場の分析案件に携わってますが、データ整形・クレンジングに大半の時間が取られており早く成果を出すための高い壁になっています。それを痛感するとともにデータサイエンティストができる範囲には限界を感じている今日この頃です。。

全体最適を目指そう

そもそもなぜ現場ではデータ整備されていないかというと、目先の「デジタイゼーション」がDX化の目的になってしまっており、その先の「デジタライゼーション」を見据えた課題設定ができていないからだと思います。
例えば現場からよく相談があるのが「歩留まりなどの管理帳票を電子化し現場運用を効率化したい」という業務効率化の課題です。業務効率化という「デジタイゼーション」のみを着地点に定めると、日々の業務効率化だけを考慮した「データの持たせ方」が標準として採用されます。その「データの持たせ方」は部署、製品あるいは担当者のスキルに依存した個別化が進み、サイロ化してしまいます。これではビッグデータ解析の旨味である「全体最適・生産性向上」から遠ざかってしまいます。最初から「デジタライゼーション」を目指すこと、その指針を現場に示すことが大事なのでは無いかと思います。

データ改善を現場任せにしてはいけない

都市の水道インフラは、市民や集落の個別のやり方で水を採ってきているわけでは無く、国や地方自治体や水道局が音頭を取った都市計画の中で開発されるものだと思います。しかしデータインフラは実態として各現場の裁量に任せている状態（ガバナンスが効いていない状態）になっています。水道インフラでいう地方自治体のような全体のガバナンスを効かせる部隊がデータの世界でも必要だと思います。ビッグデータ解析による全体最適や生産性向上を見据えた課題設定や計画を立て、データを製品や設備と同じく経営資源とみなしてインフラ整備できる第3者的な機関や組織が社内、特に本社機能に必要だと考えてます。現場は日々のノルマに追われ全体を見渡す余裕がある方は中々いないと思いますので。

データ品質管理部隊の役割

ChatGPTにも助言をもらいましたが、、データ品質を管理する部隊として以下の役割が考えられます。上層部にもデータ品質向上をする役割や業務の重要性を認知してもらい、それに貢献した人が評価されるようなサイクルが回るのが理想です。そうすれば私の昨年やっていた活動が少しは報われるかなと思います。

• 生産現場で発生するデータをリアルタイムでモニタリング
  →不正確で異常なデータを検知し即座に対策を講じることができます。これにより、生産プロセスの改善や問題の早期対応が可能になります。

• 従業員のデータ管理のトレーニングプログラム実施
  →従業員にデータの重要性や正確性についての意識を高めるための教育を行い、データの取り扱い方や整形方法などを習得させます。これにより、データの品質を向上させるだけでなく、従業員のデータスキルも向上させることができます。

• データ品質マネジメントシステムの導入
  →データの収集から整形、処理、分析までの全工程を明確に定義し、品質管理のガイドラインや手順を策定します。さらに、定期的な品質監査や改善活動を行うことで、持続的なデータ品質の向上を実現します。

• データ品質のチェックリストの作成
  →データの正確性、完全性、一貫性などの要素をチェックし、問題のあるデータを特定するためのガイドラインを提供します。これにより、データ品質の向上に向けた具体的な手段を提案することができます。

データは資源

綺麗な飲み水は国を豊かにする資源の一つになっていると思いますが、これからは綺麗なデータを持っていることが組織が豊かになるための重要な資源になると考えてます。
そのためにもデータを活用して生産現場全体をどうしていきたいか全員で考えていく必要があるなと思いました。これからは湯水の如くデータを使う時代が来ると思いますので。