TD×データ管理方見せ合い会(TUG meetup #0.4)レポ

最近デュアルモニターになり首が楽になった、TUG事務局員・マミーです。

TUGmeetupの定番となりつつある、見せあい会。
今回は「データ管理方見せ合い会」と、自社のデータの管理状態を見せ合うmeetupとなりました！その様子をレポートさせていただきます。

………2019.8.30(金)某所
参加された方は、マーケティング・エンジニアリング両方に精通された方が集まり、お互いのあるある話をよくされていたのが印象的でした。

チームでデータを扱う難しさと現状

今回ファシリテーターのユーザーさんがデータ資料を作成をしてきてくだいまして…ざっくりと内容を書き出すと
TDの導入時は、１〜２名で運用して取り決めをしなくても何となくで「なんのどのデータか」を理解しており、暗黙の了解のもと命名・管理してきた。
が、チーム制でTDを使っていくにつれて、何がなんだかよく分からなくなってきた、と…
それを２～３ヶ月かけて綺麗にしていくプロジェクトが立ち上がったようです。

参加されたユーザーさんも似たような感じで

・ITシステム部が別部署にあって、その部署すらもデータの定義が分かってない
・データ管理するのも、構成図を作るのもめんどくさい。でも、人が増えていくので、今整えないと何もできない状況
・入ってくるデータの定義が違ったりするので、エンジニアでも気をつけないと月次の売上といった確定した数字が出るはずのものでも、間違った（人によって違う）結果が出てしまう状態
・「このデータならこの名称でここかな？」程度の気持ちで分けているので、全体を見るとバラバラしている
・TD導入以前のデータベースが ある程度出来上がっていたので、その形のまま移管し土台は綺麗。かつ、組織体制として保守・集計を行う人を社内・社外（ベンダー）共に固定で配置しているので、大きくは崩れないようにしている
・個人名が名前に入っているデータベースやクエリが徐々に増えていっている（どのユーザーさんも「うんうん（あるある）」といった様子）

触るデータの住み分け

大小様々ではありますが、どこも何かしらデータやクエリ・WFなどに不穏な雰囲気があるのは事実のよう…
特に、社内のエバンジェリストがTD導入して管理を始め、その後データマーケティングや業務効率化（自動化）させるにあたり、チーム制になり少し経つとゴチャッとなってくるようです。

今回の参加者さんは、実際に社内データの管理に関わっている方達だったので、データ管理をするにあたり、どういった方法で統制しているのか、特に社内での住み分けについて共有されました。

・エンジニア以外にはBIツールに書き出した上で触ってもらう
・連携するデータシステムごとにデータソースを作成して、それを基準に関係者のみ触るようにしている
・マーケティング部門へは何かデータを集計したいのであれば、名前に特定の単語（’promotion’や’campaign’など）が書いているところだけ、というルールを徹底している
・エンジニア以外はワークは切らないようにしている
・変なクエリを書かないこと（1時間以上回ったらkillする）条件で使ってもらっている
・ダッシュボードはエンジニアが作成して、それ以上の情報が欲しい場合は個別でデータを渡して見てもらっている

とはいえ、どの企業でもマーケター自身がデータを扱えるように、
以下のように簡単な集計や分析ができるクエリの社内教育はしているとのこと。

・SQLでもSelect文のみ教えている
・一部の文言（商品Noや日付）のみ変えて使えるSQLテンプレを渡している
・社内でマーケターにSQL講座的なことはしている
・他に負荷がかからないクエリの書き方の教示はしている

命名規則＆理想の使いやすいデータ

見せあい会の中で実際のクエリやデータベースの命名規則について、ざっくり公開できる内容は以下の規則。

・特定の単語が名前の冒頭に付いていたら、マスタデータになっている
・日本語名はローマ字にする
・必ず英語/半角で命名する
・ハンガリアン記法（KKK＝価格、KBN＝区分など）を一部使ってる

各社過去のデータ管理の経緯も違っていて、データを扱う人（部門）が理解できる＆変更が効きやすい汎用的な命名規則を目指しているようでした。
命名規則だけでなく、そもそも理想の扱いやすいデータとは？という問いには

・マーケティング施策に必要なデータは、マーケター各自で集計できる/分析できる状況
・データ構成図がある
　→それを見れば、マーケターでもSQLでデータ出せるレベルのもの
・ETLをしなくても、施策に使えたり、ダッシュボードが作れるデータ

と、流石マーケティング・エンジニアリング両方を知っているからこその、マーケターへの配慮を感じました。

ETLどうしてる？

理想のデータ管理の話の際に、ETLの話題になったのですが、実際のところデータを準備する側としてはETLはどうしているか（どうしたいか）の話題に。

・データを標準化しないと属人化してしまい、問題が起こることはわかっているが、整備することはコストしかないので、そっとしておきたい
・施策に使おうとすると、使えるデータになっていないので整え始めている、ついでにWFのアラートの整備もやり出しているが、キリがない感じはしている
・ETLしながら、CRM/売上拡大施策もするとなると馬力が足りない…
・多少のダッシュボードは作れるレベルのETLはかけてる

ただ「データのガバナンスは効かせたい」という一心でETLばかりしていても、社内のゲートキーパーになってしまうので、企業でのデータ管理という点では、ある程度のスルーは必要。
データ管理者は客観的であるべきで、分析にデータが欲しいと要望があればBIツールで見せて、デジマ施策の為に使うデータが欲しいと要望があればその分のみ整備する、切り分けてETLをしてもいいのでは…
という意見交換もされていました。

ーーー

大変お恥ずかしながらETLという言葉を始めて知りまして（見せあい会中ググった）これまでも私の知らないところで、整備をしてくださっている方がいらっしゃったんだろうな…と話を聞いていて感じました。

次回開催のmeetupもユーザーさんと一緒に企画進めていきたいと思います！

TREASURE DATA USER GROUP事務員　マミー

【TREASURE DATA USER GROUP　Facebookグループ】
TREASURE DATAユーザー限定の非公開グループとなります。
オフラインでのイベント告知やディスカッションなどユーザー同士の交流が日々行われています。

Facebookにログイン | Facebook