YUKI SAITO
データエンジニア なことを発信していきます データレイク、Spark、Presto、etc...
エンジニアとして役に立つであろう情報を紹介していきます。 基本的にはコソコソ作成したSpeaker Deckの資料をリンクします。 少しでもエンジニア貢献できれば幸い。
大人のやり直し英語学習ロードマップ
お久しぶりです。 斎藤です。 つい先日 改定新版 [エンジニアのための] データ分析基盤入門が公開されました(発売は2024 11/5)! ※初版が出版されたのは2年9ヶ月前の2022/02月です 改定新版は、既存の版に修正を加え、全体的に新しい印象を与える版。 とのことです。 ※タイトルは改訂版とか、増補改訂版など名前のつき方が色々あるらしいのですが今回は改定新版がタイトルにつきました。 改定新版 [エンジニアのための] データ分析基盤入門とはどのような本?一言で言
2023/4/16(日)に情報処理安全確保支援士の試験を受けてまいりました。 結果としては合格でホッと胸を撫で下ろしております。 ふとIPAの高度試験の資格が欲しくなったので受験することにしました。 今回の試験を通して、知識を整理できたり補強できたのは大変有意義となりました。 IPAの試験を受験するのはほぼ人生で初めてで(ITパスポートは10年以上前にある)、CBT形式のテストに慣れた私の体にはちょうどいいスパイスでした。 現地での筆記試験は、直近だと5年前くらいの英
こんにちはYUKIです。 今回は5年間ほど悩み続けた子育てと仕事について悩んだ過程や自分が選択した結果を記事を書いてみようと思います。 我が家の属性我が家は子供が2人いて、2023年5月時点で、それぞれ5,3歳の女の子軍団です。 共働きでどちらもフルタイムの仕事をしています。 2020年からは、 父親(私)は、エンジニア職でフルリモート(PjMがメインだったが最近はアーキテクト的な役割が多い。) 母親は、事務職でハイブリッドワーク を続けています。 両名とも35歳で
ラズパイを起動しようとしたが、外部ディスプレイに接続したところ画面が表示されなかったので起動のための設定値を変更した。 私の環境は M1 Max 2021 モデル ディスプレイはLGのディスプレイ を利用している。 場合によっては、ディスプレイとの相性もあるみたいなので、いくつかディスプレイを試してみることがおすすめ。 設定ファイルHDMIの設定 hdmiのディスプレイが映らなかったので、以下の設定をアンコメントした。 hdmi_force_hotplug=1 h
#一歩踏みだした先に 最近気づいたことがある。 それは、意外と副業の収入が増えてきていたことだ。 かれこれ2年くらい活動しているが、いつの間にか増えていた。 今回は、なぜ副業の収入が増えてきたのかを振り返ってみようと思う。 どのような副業をしているの?まずは普段行っている副業の紹介から。 私が行っている副業は4種類あります。 ブログ https://www.individual-worker.com/ 農作業系 https://corporate-fufu.co
動画はこちら 登壇して参りました。 やはりオンサイトっていいなと思うのと同時に、ためになるユースケースなどを学べて非常に有意義な一日だったと思います。 電子マネーが自販機で使えず、飲み物を買うタイミングを逃し口の中カラカラで登壇を迎えました。完全に自分のミスです。 お家では、子供がノロウイルスで奥さんは深夜作業だったようですが眠い目を擦りながらYotube Live配信を子供と見てくれていたようです。 「あっパパだーパパだー!」と病気だけど大騒ぎだったとのこと。
DXのためのコースを作成しました。 コース概要 「データ活用ってそもそも何?」 「データ活用を任されたけど、ビッグデータを活用したいが何をしていいかわからない。」 「データの企画を作るために、エンジニアと会話したい。どんな知識が必要?」 「機械学習やAIなどのデータアプリケーションを作りたいが、どこから企画を作っていいかわからない」 そんな疑問を解決するコースです。 どんな人向け? 「データアプリケーション作成しようとしているエンジニア」 「データ分析基盤を
サポートページも出来上がりました〜 https://yk-st.github.io/bigdataplatform_and_engineering_book/
無事私の執筆した書籍の予約販売が始まりました! 今回は実際に使った、出版をする際の企画書(本の骨組みで、本を書くかどうかを判断してもらうもの)の現物を提供していきたいと思います。 本を書いてみたいけど、、、 企画書をどの様に書いていいかわからない、、 ご興味のある方は是非チェックしてみてください! ーーーー以下より企画書原文そのまま
ついに技術評論社様より、 [エンジニアのための]データ分析基盤入門 データ活用を促進する! プラットフォーム&データ品質の考え方 が発売されます! みなさまよろしくお願いいたします! 公式の書誌情報ページ https://gihyo.jp/book/2022/978-4-297-12724-4
私の書籍が2月末日に発売される予定です。「データ基盤入門 データ活用を促進するプラットフォームの考え方(仮)」という、データ基盤を題材にした内容です。現在、献本先を考えておりまして「読んでみたい!(レビューも)」という方がいましたら@yuki_saito_enまでご連絡ください。
こんにちはYUKIです。 おかげさまで、Udemyの総受講者数が100名を超えました! 2ヶ月ほどですが、たくさんの方に受講いただいて本当にうれしいです! 作成したコースたち コースのテーマ内容と課題感私が作成しているコースは一貫してデータエンジニアリングに関する情報を発信しています。 データエンジニアリングとは、データ活用のプロセスにおいてデータを集めたり、整形したり、データの管理することです。 実際の現場では、これらのプロセスに80%以上もの時間を使っているのが
こんにちはYUKIです。 今回は、Udemyのコースを作成する時に準備しておくといいものを紹介したいと思います。 パソコンはある前提として用意するものは4つです。 専門知識 機材 報酬受け取り用の口座(Payoneer) 宣伝用のチャンネル 専門知識専門知識は、普段の仕事で得た知恵になります。 ジャンルはなんでもよく、 「ワードプレスの立て方」 「節約の方法」 「目標の決め方」 みたいにさまざまなジャンルの動画が投稿されています。 自分の趣味でも良いので、そ
こんにちはYUKIです。 最近思うことがあって、ちょっとそのエントリーです。 タイトルにもある、エンジニアとかデータを活用する側(データサイエンス)のやることって段々と狭まってきていて同じようなことをやっているような気がします。 タイトルの 下側というのはデータの収集から変換処理 上側というのは、ダッシュボード作ったりモデル作ったりのアプリケーションとかいわゆる活用側 真ん中、企業固有のビジネス側とエンジニアとかの橋渡しとか、複雑怪奇なものを頑張ってシステム化する
かなり好評いただきました第一弾(「データサイエンスのための前処理入門PythonとSparkで学ぶビッグデータエンジニアリング(PySpark) 速習講座」)につづきまして、データ処理シリーズ第2弾をコース化いたしました! 第一弾はバッチ処理でしたが、 今回はIoTやストリーミングといった、絶え間なく流れてくるデータをどうするのか? というコースになっています。 データを扱う作業は(収集も活用も)、年々自動化されていますが自動化されにくいナレッジを集めたコースにしまし
こんにはYUKIです。 今回は様々な人がビッグデータの世界を簡単に触れられるように分散処理フレームワークであるSparkとPythonを組み合わせたPySparkの環境構築をまとめました。 setting.ipynb 上から順番に手順をこなしていくことによって、環境構築ができるようになっています。 少し玄人向けですが、環境構築から楽しめます。 今回はホストのマシンに直接インストールするタイプになっていますが、Mysqlをメタデータストアとして設定したり、分析用のログ出