セルフサービスBIと相性が良いデータプレパレーションツールって何もの？

こんにちは、Ohiroです。前回の記事で、セルフサービスBIの導入がうまくいかない理由について考察してみました。

うまくいかない理由ばかり書いていても前に進めないので、今回はセルフサービスBIが失敗せず、うまく使われるためにどうすればよいかについて焦点をあててみます。中でもデータ加工の省力化・自動化・共有を可能にするデータプレパレーションツールについて書いていこうと思います。

ここ２～３年でしょうか、データプレパレーションという言葉を耳にする機会が増えてきていると思います。今日の Enterprise Zineの記事で、三井住友銀行さんでのプレパレーションツールの導入が記事になっていました。

データプレパレーションのメリットとはいったい何にあるのでしょうか。

まず分析を行う全体の業務フローを考えてみたいと思います。

一般的には、解決したい業務課題を定め、数値に分解し、データを集め、集計・可視化を行いインサイトを獲得する。それを周囲に共有・説明し、今後のアクションを検討する。

このような流れを取りますが、実はデータを集めて集計することに半分以上の労働コストがかかっているという調査結果があります。そのため、このデータ収集・加工の時間を大幅に削減することが求められています。

ここまでコストがかかってしまう大きな原因にはデータ収集・加工にはエンジニア相当のスキルが必要であるため、データを扱える人材不足が大きくボトルネックになっていると言われています。

加えて、実はセルフサービスBIツールではこのデータ加工が苦手であり、セルフサービスBIを導入したからと言って、分析全体の業務スピードが大きく改善されるわけではないのです。データベースのレイヤーで事前に成形して用意しておくことが暗黙の前提となっています。

そのため「誰でも簡単にデータ収集・加工ができる」ためにプレパレーションツールが注目を集めているのです。

ではプレパレーションツールにはどのような製品があるのでしょうか。近年は下記の製品が注目を集めています
- Trifacta
- Paxata
- Alteryx
- Datameer
- Tableau Prep

ではこのデータプレパレーションを導入すれば万事解決！というかというと全くそうではありません。
懸念すべき３つの点が存在します。

1. ユーザの教育負担の増加

覚えなければならないツールが増え、業務部門の方に負担が増えるということが容易に想像がつくかと思います。このプレパレーションツールでは様々な関数（大体100種類以上ある）があるので、Excel が限界...というユーザーにとっては非常にハードルいのが現状です。しかし、業務部門が全員データを加工して、全員が分析をするというケースは少ないと思います。分析業務の分業を適切に行えば、効率的に低コストでスピードを数倍に上げることも可能です。

2. 既存のシステムとの相性

非常に重要な観点です。ほぼすべてのプレパレーションが内部の計算処理に Hadoopを使用します。加えて、プレパレーションツールは加工するデータをすべて内に腹持ちするため、既存システムとの相性を考えないと管理コストばかりかかってしまい、思ったような成果を出すことはできません。

3. 導入コストが決して安くないということ

データプレパレーションのリーダー製品は数千万のライセンスコストに加えて、Hadoop を動かす強力なハードウェアなど多くの投資が必要になります。中にはパブリッククラウドでの従量課金形式で提供されたり、SaaSで提供されている製品もありますが、決して安い価格ではありません。投資対効果をよく見て導入することが必須です

このようにプレパレーションツールの導入にはセルフサービスBIの導入よりハードルが高く、慎重に導入を検討する必要があるかと思います。

しかしながらこのまま何もアクションをしないわけにはいきません。データプレパレーションツールが業務にどれだけのメリットがあるのか試してみて、投資対効果を計算してみる必要があります。ほぼすべてのツールが無償の試用版を提供しています。もし触ってみたいということであれば簡単に試してみることが可能です。

例えば Tableau Prep や Alteryx などは期間限定で使うことができます。
無料で使い続けたいというのであれば、Talend
これらのツールは Hadoopが必要ない簡易的（少し語弊はありますが）ですので、気軽に試しやすいです。またTrifacta であればGCP（Google Cloud Platform）で従量課金で使えるので試してみるのもいいかもしれません。
GCP は1年以内であれば数万円分のクレジットが提供されているので、実質無償で試してみることができます。

また、少しツールの観点が変わってきますが、エンジニア向けに Dremio というツールも注目を集めています。このDremio はこれまで上げたプレパレーションツールとはだいぶ異なりますが、データを準備し集計するという用途においては変わりありません。SQL書ける人が結構多いよ！というチームであれば試してみる価値はあると思います。

まとめ

今回はセルフサービスBI導入を失敗させないために、データ加工・集計の負荷を軽減させるプレパレーションツールについて書きました。
これも成功へ向けた一つの観点であり、ほかにもたくさんのやり方があります。

もしよかったらスキを押していったもらえるとモチベーションになります。
では、また次回お会いしましょう。