データを食中毒から守る！？トレーサビリティという考え方

私たちデータエンジニアはデータが使いやすいように日々お守りをしているわけですが、これって食品業界でいうトレーサビリティと同じなんですよね。
というわけで、食品のトレーサビリティをデータエンジニアリングに活かそうという開発方針である「データ観測主導開発」（DODD, Data Observability Driven Development）を紹介します。

食品のトレーサビリティとDODDの関係

食品のトレーサビリティの場合、例えば食中毒が起きたときにサプライチェーンのどこに問題があったのかを追えるようになっています。

農林水産省 トレーサビリティ関係 より

同様に、DODDでもデータエンジニアリングライフサイクル（データを抽出してから提供するまで）を通して、すべてのステークホルダがデータやロジック、データ基盤の変更を確認できるとよいですよね。
そういう仕組みがあると食品業界のようにデータ利用者のデータ品質への信頼につながります。

食品トレーサビリティの仕組み

食品トレーサビリティの始まりはあるフランスワインがシャンパーニュ地方産のブドウから作られていることを証明する試みでした。
当時と比べると食品業界のサプライチェーンはとてつもなく複雑化しています。
この点はビッグデータが台頭しているデータエンジニアリング界隈と似ていますね。

食品業界では長年バーコード技術によってトレーサビリティが実現されていましたが、近年ではRFIDが使われ始めているようです。
特徴として複数のRFIDチップを同時に読み取れるため、リアルタイムにストリーミングデータとして追跡できます。
これによりリアルタイムなエンドツーエンド追跡を効果的かつ持続的に行えます。

そんなトレーサビリティですが、本当に効果的なものとするために3つの性質があります。

同期観測性

農場や倉庫、食料品店といった特定の段階に入る、または出るときに記録されなければなりません。

DODDでいうとデータを抽出した瞬間、変換した瞬間、ロードした瞬間などで記録しなければいけないということです。

コンテキスト観測性