データサイエンスのための前処理入門PythonとSparkで学ぶビッグデータエンジニアリング(PySpark) 速習講座

ビッグデータのデータ処理を行うコースです。 Pythonでビッグデータの処理を行ってみたい人 大規模データを処理してみたい人 PySparkを勉強したい人 ぜひこの講座を受けてみてください！

情報処理安全確保支援士に合格しました

2023/4/16(日)に情報処理安全確保支援士の試験を受けてまいりました。 結果としては合格でホッと胸を撫で下ろしております。 ふとIPAの高度試験の資格が欲しくなったので受験することにしました。 今回の試験を通して、知識を整理できたり補強できたのは大変有意義となりました。 IPAの試験を受験するのはほぼ人生で初めてで(ITパスポートは10年以上前にある)、CBT形式のテストに慣れた私の体にはちょうどいいスパイスでした。 現地での筆記試験は、直近だと5年前くらいの英

エンジニア(男)子育ての辛さ第一段階乗り越えたってよ

こんにちはYUKIです。 今回は5年間ほど悩み続けた子育てと仕事について悩んだ過程や自分が選択した結果を記事を書いてみようと思います。 我が家の属性我が家は子供が２人いて、2023年5月時点で、それぞれ5,3歳の女の子軍団です。 共働きでどちらもフルタイムの仕事をしています。 2020年からは、 父親(私)は、エンジニア職でフルリモート(PjMがメインだったが最近はアーキテクト的な役割が多い。) 母親は、事務職でハイブリッドワーク を続けています。 両名とも35歳で

ラズベリーパイ B5で外部ディスプレイに表示できない場合はconfig.txtの設定を変えよう

ラズパイを起動しようとしたが、外部ディスプレイに接続したところ画面が表示されなかったので起動のための設定値を変更した。 私の環境は M1 Max 2021　モデル ディスプレイはLGのディスプレイ を利用している。 場合によっては、ディスプレイとの相性もあるみたいなので、いくつかディスプレイを試してみることがおすすめ。 設定ファイルHDMIの設定 hdmiのディスプレイが映らなかったので、以下の設定をアンコメントした。 hdmi_force_hotplug=1 h

エンジニアとして副業の収入が上がってきたので理由を考えてみた

#一歩踏みだした先に 最近気づいたことがある。 それは、意外と副業の収入が増えてきていたことだ。 かれこれ2年くらい活動しているが、いつの間にか増えていた。 今回は、なぜ副業の収入が増えてきたのかを振り返ってみようと思う。 どのような副業をしているの？まずは普段行っている副業の紹介から。 私が行っている副業は4種類あります。 ブログ https://www.individual-worker.com/ 農作業系 https://corporate-fufu.co

オープンセミナー広島2022に登壇してきました

動画はこちら 登壇して参りました。 やはりオンサイトっていいなと思うのと同時に、ためになるユースケースなどを学べて非常に有意義な一日だったと思います。 電子マネーが自販機で使えず、飲み物を買うタイミングを逃し口の中カラカラで登壇を迎えました。完全に自分のミスです。 お家では、子供がノロウイルスで奥さんは深夜作業だったようですが眠い目を擦りながらYotube Live配信を子供と見てくれていたようです。 「あっパパだーパパだー！」と病気だけど大騒ぎだったとのこと。

UdemyにてDXのためのコースを開設しました！

DXのためのコースを作成しました。 コース概要 「データ活用ってそもそも何？」 「データ活用を任されたけど、ビッグデータを活用したいが何をしていいかわからない。」 「データの企画を作るために、エンジニアと会話したい。どんな知識が必要？」 「機械学習やAIなどのデータアプリケーションを作りたいが、どこから企画を作っていいかわからない」 そんな疑問を解決するコースです。 どんな人向け？ 「データアプリケーション作成しようとしているエンジニア」 「データ分析基盤を

サポートページも出来上がりました〜 https://yk-st.github.io/bigdataplatform_and_engineering_book/

技術書の出版で実際に使った企画書

無事私の執筆した書籍の予約販売が始まりました！ 今回は実際に使った、出版をする際の企画書(本の骨組みで、本を書くかどうかを判断してもらうもの)の現物を提供していきたいと思います。 本を書いてみたいけど、、、 企画書をどの様に書いていいかわからない、、 ご興味のある方は是非チェックしてみてください！ ーーーー以下より企画書原文そのまま

[エンジニアのための]データ分析基盤入門 データ活用を促進する! プラットフォーム&データ品質の考え方　の予約販売が開始しました！

ついに技術評論社様より、 [エンジニアのための]データ分析基盤入門 データ活用を促進する! プラットフォーム&データ品質の考え方 が発売されます！ みなさまよろしくお願いいたします！ 公式の書誌情報ページ https://gihyo.jp/book/2022/978-4-297-12724-4

私の書籍が2月末日に発売される予定です。「データ基盤入門　データ活用を促進するプラットフォームの考え方（仮）」という、データ基盤を題材にした内容です。現在、献本先を考えておりまして「読んでみたい！(レビューも)」という方がいましたら@yuki_saito_enまでご連絡ください。

Udemyの受講生100名達成！ありがとうございます！

こんにちはYUKIです。 おかげさまで、Udemyの総受講者数が100名を超えました！ 2ヶ月ほどですが、たくさんの方に受講いただいて本当にうれしいです！ 作成したコースたち コースのテーマ内容と課題感私が作成しているコースは一貫してデータエンジニアリングに関する情報を発信しています。 データエンジニアリングとは、データ活用のプロセスにおいてデータを集めたり、整形したり、データの管理することです。 実際の現場では、これらのプロセスに８０％以上もの時間を使っているのが

Udemyでコースを作成するときに準備するもの

こんにちはYUKIです。 今回は、Udemyのコースを作成する時に準備しておくといいものを紹介したいと思います。 パソコンはある前提として用意するものは4つです。 専門知識 機材 報酬受け取り用の口座(Payoneer) 宣伝用のチャンネル 専門知識専門知識は、普段の仕事で得た知恵になります。 ジャンルはなんでもよく、 「ワードプレスの立て方」 「節約の方法」 「目標の決め方」 みたいにさまざまなジャンルの動画が投稿されています。 自分の趣味でも良いので、そ

データ界隈は上から、下からコモディティ化している

こんにちはYUKIです。 最近思うことがあって、ちょっとそのエントリーです。 タイトルにもある、エンジニアとかデータを活用する側(データサイエンス)のやることって段々と狭まってきていて同じようなことをやっているような気がします。 タイトルの 下側というのはデータの収集から変換処理 上側というのは、ダッシュボード作ったりモデル作ったりのアプリケーションとかいわゆる活用側 真ん中、企業固有のビジネス側とエンジニアとかの橋渡しとか、複雑怪奇なものを頑張ってシステム化する

データサイエンスのためのストリーミング前処理入門　PythonとSparkで始めるビッグデータストリーミング処理入門

かなり好評いただきました第一弾(「データサイエンスのための前処理入門PythonとSparkで学ぶビッグデータエンジニアリング(PySpark) 速習講座」)につづきまして、データ処理シリーズ第２弾をコース化いたしました！ 第一弾はバッチ処理でしたが、 今回はIoTやストリーミングといった、絶え間なく流れてくるデータをどうするのか？ というコースになっています。 データを扱う作業は(収集も活用も)、年々自動化されていますが自動化されにくいナレッジを集めたコースにしまし

お手軽にビッグデータの世界へPySparkをローカル環境で楽しむための環境構築手順を作成しました

こんにはYUKIです。 今回は様々な人がビッグデータの世界を簡単に触れられるように分散処理フレームワークであるSparkとPythonを組み合わせたPySparkの環境構築をまとめました。 setting.ipynb 上から順番に手順をこなしていくことによって、環境構築ができるようになっています。 少し玄人向けですが、環境構築から楽しめます。 今回はホストのマシンに直接インストールするタイプになっていますが、Mysqlをメタデータストアとして設定したり、分析用のログ出