記事一覧
データ基盤を作ってもデータ分析ができるようにはならないので、作るのと使うのは一緒に考えよう
データ基盤は令和の箱物行政にしないためにどうもデータ基盤を作ったりするのに比べると、データを使う話、特に意思決定のための分析について語られることが少ない。
もちろん単純に比較できるような話ではなく、データ基盤が不要だという話でもない。それにしても偏りすぎであり、この10数年（どころかずっと前から）かわらない。
その理由の1つには「データ基盤を作ってデータを集めておけば、あとはデータが活用できる
データの公開について行政に望むこと
ダッシュボードを作るならデータも公開してくれたらいいのに行政がダッシュボードという形でデータを公開する事例が増えてきた。
見かける度に「ダッシュボードを作るにはデータを集めるだけでなく整備した上で使っているのだから、同時にデータも公開してくれたらいいのに」と思っている。
本記事では、集計前データを公開して欲しい理由と、データについて行政に望むことについて書く。
ダッシュボードとは「データ」の
理想的なメタデータ管理ツールはどんなものか
まずはどうあるのがいいかを考えるメタデータを記録して管理するためのツールはどうあれば使いやすく、更新し続けられるのかを考えてみたい。
実務ではデータやシステムに対応している必要はなく利用しているデータやツールを具体的に想定して、その上で何がどこまでできるかの検討をすることになるが、今回は前提は一切おかずに思うままに欲しいことを書いていく。
理想的なメタデータ管理ツールにあって欲しい機能”全ての
「データ分析」の３つの仕事を整理する
「データ分析」を整理する「データ分析」と言ってもその仕事にはいくつかの種類がある。しかし、その違いが整理されておらず各自に思い思いの「データ分析」があるために認識がずれる。
これだけ頻繁に使われている言葉なのにその内容に大きな違いがあることにあまり意識が向いていないらしい。良い状態だとは思えないので、まずは「データ分析」について整理してみようと思う。
「データ分析」の仕事「データ分析」と呼ばれ
データ整備のアンチパターン
データ整備のパフォーマンスが上がらない理由を考えるデータ整備は「データを使いやすくする」役割であり、そのパフォーマンスを定量的にかつ客観的に計測することは非常に困難である。だが困難だからといって課題を把握もせずに放置すればパフォーマンスが上がるはずもない。
そこで、整備のパフォーマンスに大きく悪影響を及ぼしているだろうと思われる要因をアンチパターンとして考察する。今回はまず「データ整備を認識しな
作って役立ったデータマート
データマートと言えば「何か特定の目的のために作ったテーブル」だということは多くの人が知っているだろう。
しかし具体的にどういったテーブルなのかというとその例はあまり見かけない。
そこで具体的に過去自分で作って役に立ったなと思うデータマートについて書いてみる。
１．クライアントやサービス個別の事情を排除したデータマート（ＰＯＳ・行動ログなど）１つのテーブルの中に、複数のクライアントの売上データ
抽出でSQLを書くときに考えていること
自分の思考を文章化してみるSQLを使い始めてちょうど１０年になった。その間には随分たくさんのクエリを書いてきたが、ちゃんとした師匠がいたわけでもなければ同じような仕事を同じレベルでやっている同僚もほとんどいなかったのでほぼ全部独学でやってきた。
これでいいのか未だにわからないので、自分がSQLでデータ抽出をしている際の思考や行動を文章化して公開してみる。是非いろいろと突っ込んでいただけると嬉しい