データエンジニア

2024年4月19日 18:58

分析基盤のテーブルと連携方式

分析基盤においては様々な連携手法があります。
これは、データ量が多いか少ないか、データソースが最新か履歴か、によって変わってきます。
今回は、連携手法を紹介しながら、その連携に必要なテーブルの特徴について話したいと思います。

連携元と連携先のテーブル連携元のテーブルは、最新テーブルになっている場合も履歴テーブル（インサートオンリー）の場合もあります。これはアプリ側の仕様によって異なります。多くの

もっとみる

エルピクセル株式会社

2024年4月16日 16:51

AI開発に欠かせないデータマネジメントの課題と対策

こんにちは、LPIXELの研究開発本部データ＆プロジェクトマネジメントグループの杉江です。
データ＆プロジェクトマネジメントグループは専門のデータマネジメント部署であり、医療AIの開発や薬事申請に利用するデータの準備や社内のデータの一元管理を行なっています。

医療データを利用するためには、下記のようなプロセスを経る必要があります。今回はデータマネジメントのプロセスの中で、特に課題となっているデ

もっとみる

Morph

2024年4月16日 17:00

データ基盤を構築してもビジネス部門のデータ活用はなぜ進まないのか？

概要

データ基盤の構築やセルフBIツールの導入、プログラミング研修を導入しても、ビジネス部門でのデータ活用が進まないことはありませんか？実は、ビジネス部門とエンジニアリング部門（基盤担当）間でコミュニケーションコストが増加し、両者が疲弊している可能性があります。この問題を解決するためには、「コラボレーションのための仕掛け」が不足しているのかもしれません。
データ活用を推進するためには、ビジネス部

もっとみる

rossokuno

2024年4月30日 13:41

Salesforceのテーブルをスタースキーマ化したら喜ばれた話

はじめにマネーフォワードの分析推進部のアナリティクスエンジニアの奥野です。

私が携わったプロジェクトにおいて、Salesforceから連携されるデータを扱うのが難しくて困っていました。そこでそのデータをスタースキーマの形式に変換してみたら、シンプルで分かりやすくて好評だったのでそのことを書いていきたいと思います。

想定読者Salesforceの標準オブジェクトの構成について知っている方で、取り

もっとみる

zono

2024年4月1日 19:46

データマートのモデリングとパフォーマンスチューニング

はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。
そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？

そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。

データマートの目

もっとみる

フォローしませんか？

2024年4月の記事一覧

分析基盤のテーブルと連携方式

AI開発に欠かせないデータマネジメントの課題と対策

データ基盤を構築してもビジネス部門のデータ活用はなぜ進まないのか？

Salesforceのテーブルをスタースキーマ化したら喜ばれた話

データマートのモデリングとパフォーマンスチューニング