「データ基盤アーキテクチャトレンド 2023 LTとパネルで学ぶ」について参加してきました。

表記イベントに参加してきたので、感想を記載します。(仕事で参加が遅れ、LT①、LT②は聞けませんでした。すみません。。。

データ基盤アーキテクチャトレンド 2023 LTとパネルで学ぶ (2023/04/11 19:00〜)

LT③『ニアリアルタイム分析の実現に向けた Change Data Capture の導入』

GMOペパボ株式会社のTsutumiさんの講演でした。

・日次でデータ転送して処理をしていたが、行動データが生成されるために転送することで、分析/フィードバック頻度をあげたい
・AWS/GCPで構築
・CDC(Change Data Capture）としてDebezium Serverを使用
・今後はColoud Dataflowによるストリーム分析をしていきたい
・これまでは、日次の処理だったが、やりたい時にできるようにしたい

⇒１か月で対応と、スピード感が非常に高い対応で資料もかなり丁寧に記載されていました。お恥ずかしながらDebezium Serverは初耳だったのでまた勉強していきたいです。

LT④『シンガポールの保険企業 Singlifeが取り組むデータ基盤統合』

Sinapore Life LTDの大西さんからの講演でした。

・Glueで処理して、Sonowflakeに投入して分析を進める
・SQLの処理が散らばってきたので、dbt modelを使って対応を進める。
・マネージドサービス、OSSをなるべく活用
・業務特性からデータガバナンスの整理が重要
　（組織構造とDB構造の２つの視点でアクセスを管理している)

⇒保険系という事でガバナンスの整理が難しい中で、実際の現場で整理されている内容で非常に感心しました。

パネルディスカッション

Snowflake 本橋さん × ちゅらデータ 菱沼さんのパネルディスカッションでした。

「Big data is dead」について

MotherDuck: Big Data is Dead

　世の中で実際にビックデータと呼ばれるデータは1％程度。それ以外のデータは、データレークやSnowFlakeなどの今のテクノロジーで行けそうという記事。
　チャットGPT(OpenAI?)とかで使っているのはビックデータ。(これもSnowFlakeが使われている)

「2023年注目トレンド」
・ataccama,Chaos Genius,acceldata,Dwh.dev,metaplane,Monte Carlo,Observe等のオブザーバビリティ関連のサービスの紹介
※オブザーバビリティとは、「可観測性」。システム内部の状態をどれだけよく理解できるかを測定するもの
・マネージドアプリケーション、コネクティッドアプリケーション、ネイティブアプリケーションのデプロイモデルの話 (コネクティッド、ネイティブについてユーザーがデプロイ範囲を一部管理することで、運用が進むうえでのデータのサイロ化を防ぐ

感想

　データエンジニアではないので、私にはだいぶ難しい話でしたが、クラウドのマネージドもデータサイエンスも日々進化が激しいので数年前とはだいぶ違う話になっていて焦りました。。。置いていかれないようにせねば。ただ、「Big data is dead」みたいな話もあるという事で、少し落ち着いてくるかな？？ただ、ビックデータの管理のアーキテクチャは落ち着いてきても分析や使用する方のアーキテクチャはどんどん進化していくので、やはり置いて行かれる気しかしない。。。。

これからも意識していきたいと思います。ありがとうございました。