見出し画像

未経験から半年たった社員の経験談～データマート運用・保守～

コグラフ株式会社 データアナリティクス事業部

あいさつ

こんにちは。コグラフ株式会社ソフトウェアサービス事業部2部の新米社員Ｎです。IT業界未経験から転職して、データベースの世界にやってきました！

この記事では、私の転職後の半年間の経験について率直にシェアしていきます。未経験からの学び、今後の展望についてお話ししたいと思います。さっそく始めていきましょう！

データマート運用・保守業務

アプリケーションの利用者集計等を行っているデータマートの運用保守業務を経験しました。ダッシュボードのリソース更新等の運用も合わせて経験しました。大きな単位でいうとシステム運用保守業務です。

データマートとは

蓄積された膨大なデータの中から、目的に応じて一部を取り出したデータベースです。

例. 5月入会者に対してクーポンを配信するための「会員番号」「入会日」だけを抜き出して構築されたデータベース。

運用・保守業務の内容

毎日集計を更新するデータマートの運用・保守業務は以下の通りになりました。

  • 利用者集計等で使うマートを作るバッチ処理の監視・リカバリ

  • 自動化できていない運用を定期的に手実行する。

    • 手差しcsvファイルの格納

    • マニュアル実行によるマート更新

  • データ集計状況の調査

  • ダッシュボードのデータソース更新

マート運用保守のイメージ

学び

スキル・知識面

データマートがどのようにして作られているのかを中心に、付帯するクラウドサービス等について学びました。

  • データの作られ方(インプット→バッチ処理→アウトプット)

  • バッチ処理(Airflow)のUI操作

  • AWSの利用者目線での使い方(S3、EMR、EKS)

  • gitコマンド、Linuxコマンド

働き方

テーブル間のつながりを把握し頭の中にデータマップを作っておくこと、もしくはその情報をすぐに取り出せるように整理しておくことで、イレギュラー原因を突き止めることが出来ると思います。

  • 複数のデータマートが複雑に絡み合っている場合はDFD図などのドキュメントが役に立つ。

  • インプットデータが遅延なく揃っていることや、インプットデータの入り方の変化の検知が重要。

  • 設計書や運用手順書等のドキュメントはお気に入り機能等を使って取り出しやすいように整理する。

  • ドメインに関する知識・何に利用される運用作業なのかを興味を持って質問し、理解しておくことで異常に対してもスムーズに対応することができる。

データマート運用保守業務はデータベースに携わる仕事を踏み出す一歩として、イメージを与えてくれる貴重な業務でした。

今後の展望

「データの作られ方」について、案件を通して概要を把握できました。今後は、データ処理技術を深く習得し、データ分析のための効率的な土壌を作成できるようにしていくデータエンジニアになる道を考えています。さらに、統計手法や機械学習についても学び、可視化能力を向上させることでデータアナリストを目指す道も考えています。どんどんキャッチアップを行い、データ分析に関わるキャリアをステップアップしたいです。

データ分析に興味のある方募集中！

コグラフ株式会社データアナリティクス事業部ではPythonやSQLの研修を行った後、実務に着手します。興味がある方は、下記リンクよりお問い合わせください！

X(Twitter)もやってます！

コグラフではX(Twitter)でも情報を発信しています。
データ分析に興味がある、データアナリストになりたい人など、ぜひフォローお願いします！

この記事が気に入ったらサポートをしてみませんか？