マガジンのカバー画像

データエンジニア

26
運営しているクリエイター

記事一覧

2023年版:データエンジニア向け推薦本リスト

2023年版:データエンジニア向け推薦本リスト

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。
そもそもデータエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と以下のような能力が求められます。

データベース

プログラミング

システム開発

クラウドサービス

データ分析

etc

もっとみる
LayerXにデータエンジニアとして入社しました!

LayerXにデータエンジニアとして入社しました!

はじめまして!2023年11月より株式会社LayerX バクラク事業部 機械学習・データ部でデータエンジニアとして入社した平田(@TrsNium)です。

本エントリでは、LayerXへ入社するまでに、どんな経験をしたのか、どういったことを考えていたのか。現在、取り組んでいるお仕事や入社して実際良かったのかについて書いていければと思います。

なぜ転職しようと思ったのか前職では、エッジAIのSaa

もっとみる
社員インタビュー:データエンジニアの仕事とリモートワークを充実させる方法

社員インタビュー:データエンジニアの仕事とリモートワークを充実させる方法

こんにちは。データ・エージェンシー採用担当です。当社は、データエンジニアリングとGoogle Cloudの融合でビジネスを成功に導く、データのプロフェッショナル集団です。

今回はデータエンジニア担当、生水さんを紹介します。データ・エージェンシーに入社したきっかけや、データエンジニアの仕事の魅力などについて聞きました。

データ領域の仕事に興味がある方に、ぜひ読んでいただきたいインタビューです。

もっとみる
「データエンジニア」という職種

「データエンジニア」という職種

はじめに以下のような記事がありました。

こんなことを書かれると

「おっ、ええやん。転職しようかな」

という声も聞こえてきそうですが、今回はこのデータエンジニアについて改めて整理していきます。

デジタルスキル標準における「データエンジニア」ちなみに、IPAのデジタルスキル標準にもデータエンジニアというロールが規定されています。

有料部分に詳細の解説文を書きましたが、要するにバックエンドシス

もっとみる
データベースを深く知るためのおすすめ書籍

データベースを深く知るためのおすすめ書籍

こちらの記事はITエンジニア、プログラマー向けの記事になります。

データベースについての知識を深めるためのおすすめ書籍を紹介します。

スッキリわかるSQL入門プログラミングの世界でデータベースといえばほとんどの場合はRDB(リレーショナルデータベース)のことを指すでしょう。
そのRDBを操作するための言語がSQLで、初学者の場合はデータベースの学習=SQLの学習といっても過言ではないかと思いま

もっとみる
データアナリストからアナリティクスエンジニアへのすゝめ

データアナリストからアナリティクスエンジニアへのすゝめ

こんにちは。おきゆき (@okiyuki99) です。最近はアナリティクスエンジニア:データアナリスト = 80:20でやっています。数年前まではデータアナリスト・データサイエンティスト成分が多めだったのですが、逆転してきました。

アナリティクスエンジニアというポジションは昨年くらいから急激に見るようになったと思いますが、この記事ではデータアナリストのネクストキャリアとして、アナリティクスエンジ

もっとみる
将来のスタンダードかも?dbtが優れている点5選

将来のスタンダードかも?dbtが優れている点5選

データエンジニアリング界隈でじわじわと輪を広げつつあるdbtですが、何が優れているのかを見てみましょう

1. バージョンコントロールもはやなくてはならないバージョンコントロールですが、dbtはgitとネイティブに統合できてスムーズです。
他の類似サービスはほとんどバージョン管理ができないので頭一歩突き出ていますね。

2. シンプルで直感的DRY原則をモットーに構築されているdbtだとものの数分

もっとみる
分析基盤のテーブルと連携方式

分析基盤のテーブルと連携方式

分析基盤においては様々な連携手法があります。
これは、データ量が多いか少ないか、データソースが最新か履歴か、によって変わってきます。
今回は、連携手法を紹介しながら、その連携に必要なテーブルの特徴について話したいと思います。

連携元と連携先のテーブル連携元のテーブルは、最新テーブルになっている場合も履歴テーブル(インサートオンリー)の場合もあります。これはアプリ側の仕様によって異なります。多くの

もっとみる
マネフォの管理会計基盤の紹介〜データ組織を立ち上げたらまずここを握れ〜

マネフォの管理会計基盤の紹介〜データ組織を立ち上げたらまずここを握れ〜

イントロダクションこんにちは。マネーフォワード データ戦略室 分析推進部のササキです。

今回は、マネーフォワードで全社横断のデータ分析組織を立ち上げていく過程で構築した管理会計基盤について紹介させていただきたいと思います。
と言ってもデータモデリング寄りの技術的な話ではなく、構築から4年が過ぎたこの基盤について、どちらかというと運用的な観点でやっておいてよかったことや、やっておけばよかったことが

もっとみる
みなさん、データのメタデータ管理ってどうやってますか? #datatech-jp レポート

みなさん、データのメタデータ管理ってどうやってますか? #datatech-jp レポート

みなさん、データのメタデータ管理ってどうやってますか? #datatech -jp レポートdatatech-jpのイベントで、メタデータ管理についてのイベントが開催されました。

開催される経緯見てましたが、たしか@kuwa_twさんからの呼びかけで、登壇者が集まり、視聴者もぞろぞろ集まって700人以上が登録されるようなイベントになってました。

みんなメタデータに興味あるんだなぁ。メタデータ管理

もっとみる
AI開発に欠かせないデータマネジメントの課題と対策

AI開発に欠かせないデータマネジメントの課題と対策

こんにちは、LPIXELの研究開発本部 データ&プロジェクトマネジメントグループの杉江です。
データ&プロジェクトマネジメントグループは専門のデータマネジメント部署であり、医療AIの開発や薬事申請に利用するデータの準備や社内のデータの一元管理を行なっています。

医療データを利用するためには、下記のようなプロセスを経る必要があります。今回はデータマネジメントのプロセスの中で、特に課題となっているデ

もっとみる
データ分析基盤の構築、誰が引っ張るのか問題

データ分析基盤の構築、誰が引っ張るのか問題

前回は「小売のデータ分析って何が便利なの?」という内容をまとめました。
なんか色々なメリットが期待できそうだなぁと思う反面、これを実現しようとしたらものすご~く時間もお金もかかってしまうんじゃないかという懸念もありますよね。
「何ができるのか?」もとても大事なのですが、企業や仕事で利用する場合「実現するために事業社として何が必要なのか?」「どれぐらいコストがかかるのか?」などもしっかりおさえておい

もっとみる
最近じわじわ来ている「TechPM」「データ基盤PM」について(PM未経験からもアリ?)

最近じわじわ来ている「TechPM」「データ基盤PM」について(PM未経験からもアリ?)

みなさんこんにちは。クライス&カンパニーの松永です。
相変わらずプロダクトマネージャーにどっぷりな毎日を送っております。

はじめに最近、求人の中でTechのバックグラウンドを求められることが多くなってきた印象があります。
PMの役割が細分化される中で、

「テクニカルプロダクトマネージャー」(以降、TechPM)

という求人名は以前からしばしば見かけましたが、

「データプロダクトマネージャー

もっとみる
最初からリッチなデータ基盤に手を出して失敗しないために【データ利活用の道具箱#7】

最初からリッチなデータ基盤に手を出して失敗しないために【データ利活用の道具箱#7】

データ利活用を進めるにあたり、避けては通れないのがデータ基盤です。
データ基盤とはデータを収集・管理・分析するためのシステム群のことです(イメージとしては後述の目次の「一般的なデータ基盤」を参照)。
そんなデータ基盤ですが、いざ作ろうとするといろいろな悩みがあります。

あれもしたい、これもしたい、で気づけば大規模のデータ基盤になってコスト試算してみるととんでもない額になり投資の承認が下りない

もっとみる