マガジンのカバー画像

気まぐれデータエンジニア

31
データエンジニア なことを発信していきます データレイク、Spark、Presto、etc...
運営しているクリエイター

記事一覧

Udemyの受講生100名達成!ありがとうございます!

こんにちはYUKIです。 おかげさまで、Udemyの総受講者数が100名を超えました! 2ヶ月ほどです…

YUKI SAITO
2年前
5

お手軽にビッグデータの世界へPySparkをローカル環境で楽しむための環境構築手順を作…

こんにはYUKIです。 今回は様々な人がビッグデータの世界を簡単に触れられるように分散処理フ…

YUKI SAITO
2年前
10

【データラングリング入門】外国配当控除の確定申告が面倒なのでPythonで自動化したよ…

外国配当控除は確定申告をすると払った税金の一部の還付を受けることが可能です。 しかし申請…

YUKI SAITO
2年前
3

MacBook Pro 14インチ M1 Maxが到着!動画編集はどうかな?

こんにちはYUKIです。 今回はついにMacBookProが届きましたので早速使っていこうと思います。…

YUKI SAITO
2年前
7

バリバリのエンジニアがビッグデータ(AI/機械学習など)に参画する場合のデータエンジ…

こんにちはYUKIです。 ビッグデータなプロジェクトに関わりたいのですが、何からやったら良い…

YUKI SAITO
2年前
19

2021年の転職活動の振り返り【役に立ったものなど】

こんにちはYUKIです。 今回の転職活動は、こんな状況になってから初めての転職でした。 今回…

YUKI SAITO
2年前
17

【退職エントリ】現職から転職することにしました

今回は退職エントリです(11月は忙しくなりそうなので早めに書いておきます)。 現職は合同会社DMM.comと呼ばれる会社に勤めておりまして、先日上司に退職の旨を伝えました。 現職では何をしていた?現職ではデータエンジニアとして日々データと格闘しています。 社内活動してはこんな事やったり、社内のデータ基盤を作り直したり。 個人の活動としてはこんな本を買いたり(じわじわと売れていて、トゥイッターで感想をいただくことも。。!)、講師になってみたり 以下のコースを受講いただ

Apache Sparkがビッグデータ処理エンジンとしてコスパ良すぎる

ApacheSparkとは?Sparkはバッチ処理からストリーミング処理まで1つで完結することができる単…

YUKI SAITO
3年前
20

自分で作成したものを売るという難しさ

最近ひしひしと感じていることなのですが、自分で作成した商品を自分で販売するってほんと難し…

YUKI SAITO
3年前
23

新型MacBook Pro 2021 14インチを購入しました

つい先日Macbook Proが公開されまして、もともと買おうと思っていたこともあり今回14インチの…

YUKI SAITO
3年前
30

Terraformで作ったGlueのテーブルに対してAthenaでShow Create Tableができない問題の…

普段Terrafromでテーブルの管理をすることがあるのですが、テーブルを作成し適用したところsho…

YUKI SAITO
3年前
7

DigDagのワークフロー総実行時間を取得

API経由でとることもできるのだが、以下のようにpostgresで取得することができる。 KPIの産出…

YUKI SAITO
3年前
1

転職した時の喜怒哀楽

私はとある会社から、事業会社に転職をしたのですが その時に大変だったことやそこからの振り…

YUKI SAITO
3年前
2

数値以外で人にインパクトを与えるシンプルな方法

ちょうど期末シーズンでいろいろな人と話していたときに、人気な成果の表現方法があったのでちょっと考えてみる。 どうしても、数値で表しにくい時ってあるんですよね。 自身の成果としてインパクトのある表現をすると後々いい場面もあるかと思います。 ちなみにこの文章の中での人気はインパクトと同じ意味です。 人気のあった成果の表現方法ノックアウト形式 一般的ではないですが、私はこう呼んでいます。 このような表現を最初の段階で行います。 A、B、C、Dはサーバーであったり機能や