記事一覧
Python3エンジニア認定データ分析試験合格体験記
2024-03-24にPython3エンジニア認定データ分析試験を受験し一発合格したので合格体験記として残しておきます。
話す内容としては以下の通りです。
試験概要
試験範囲
事前に持っておくとよい知識・資格
試験対策
教科書
模擬試験
実際の試験の感想
はじめに試験勉強を始めた(資格試験用の教科書を購入して届いた)のが3/1で受験日が3/24でした。準備期間は全部合わせて3週間ほ
Dataproc サーバレスでBigQueryのデータを加工するクイックスタート
概要PySparkを使用してBigQueryのデータを加工するバッチ処理をDataproc サーバレスで動かしたので、その時の体験記を残す。
以下の記事を実行するうえで同記事内では直接書かれていないことも含めて記載する。
事前準備VPCサブネットの作成
私はDataproc用のVPCネットワークを作成して、そこにサブネットを作成する方法を取りました。(defaultをいじりたくなかったため)
今後のSEキャリアパスについてver.2
2022年の11月18日に統計検定2級に合格したので、今年度版ということで書き直してみたいと思います。
前回の記事はこちら
■１．これまでのキャリア・１－１．職歴2021年10月現在、中小企業のSIerでSEとして4年目。
2019年7月 データ分析基盤更改PJにPGとして開発工程からリリースまで参画(10人-20人のチーム、40人程度のPJ)
2020年3月 データ分析基盤更改PJでリリース
BigQueryのオリジナルUDF一覧
概要BigQueryで作成したUDFを公開する。
日付関数LAST_SPECIFIED_DAY
CREATE FUNCTION {DATASET}.LAST_SPECIFIED_DAY(end_date DATE, specified_day INT64)RETURNS DATEAS ( ( SELECT MAX(z) FROM UNNEST(GENERATE_DATE
Dockerで自分用Pythonコンテナを作成する
概要Pythonコンテナを作成する。
その際にpython実行用のユーザとPGMを配置するディレクトリを作成する。
やったことDockerfileの作成
以下のように作成する。
FROM python:3.9WORKDIR /usr/src/appARG passwdRUN groupadd -g 61000 batchRUN useradd -u 61001 -g 61000 -m \
Raspberry Pi 4にdockerでselenium gridを入れる
概要Raspberry Pi 4(ubuntu)にdockerでselenium gridを入れたときの開発日誌。
背景appiumを使ってandroid アプリを自動で動かしたいのだが、appiumサーバ1台でエミュレータ1台の構成だと実行速度に満足ができず、並列実行を検討することになり、その仕組みとしてSelenium Gridを検討してみることにした。
方針今回はdockerを使って導入
BigQueryで分析関数を使用して自己結合を回避する
概要サイズの大きいテーブルを自己結合は一般的にSQLのアンチパターンになる。
そのため、自己結合を回避するための手段としてBigQuery(以下すべてBigQuery上での話)の分析関数を使用する。
背景業務でユーザに公開しているVIEWを参照するSQLを実行するとそこそこ時間(12分)がかかると問い合わせがあった。
VIEWをSELECT * したテーブルを作成して、VIEWの代わりにそのテー
三年目の仕事を納めてみた
今年(去年)で社会人3年目・SE3年目となりました。2021年の振り返りをします。
去年の記事はこちら。
略歴1月テレワーク(保守)
2月テレワーク(保守)
3月テレワーク(保守、就活生向けの会社説明会に参加、副業開始)
4月テレワーク(保守、就活生向けの会社説明会に参加、副業継続)
5月テレワーク(保守、就活生向けの会社説明会に参加、副業継続)
6月テレワーク(保守、自分の下にBPがつく、残
今後のSEキャリアパスについて
最近モチベーションがやや低下気味のため、直近何をやればいいか考える意味でキャリアパスを考えてみようと思いました。
■１．これまでのキャリア2021年10月現在、中小企業のSIerでSEとして3年目。
2019年7月 データ分析基盤更改PJにPGとして開発工程からリリースまで参画(10人-20人のチーム、40人程度のPJ)
2020年3月 データ分析基盤更改PJでリリースしたシステムの運用保守(5
Cloud Functions でグローバル変数は再利用される
Node.js 10で以下のようにその時の日時を取得して変数に入れるときに、この部分が実行毎に変更されない事象が起こった。
javascript自体がほとんどかけないので、コードに変なところあったら教えてください。(たぶんvarは使わない方がいい？)
const { exec } = require('child_process');require('date-utils');var dt =
二年目の仕事を納めてみた
12/25が今年の仕事納めでした。
一年間の振り返りをしてみたいと思います。
去年の記事はこちら。(身バレしたくないので有料。自己満足)
略歴
1月客先常駐(並行稼働、新環境移行作業)
2月客先常駐(並行稼働、新環境移行作業、リリース)
3月客先常駐・テレワーク(並行稼働、新環境移行作業、リリース、保守)
4月テレワーク(保守)
5月テレワーク(保守)
6月テレワーク(保守)
7月テレワーク(保
スクレイピングを学んでいるときのメモ②~robobrowser~
普通にrobobrowserをインストールすると以下の問題に直面した。
ImportError: cannot import name 'cached_property' from 'werkzeug'
どうやらwerkzeugの最新バージョンにrobobrowserは対応してないらしい。(2020.04.19時点、robobrowser==0.5.3)
というか、そもそもrobobrowse
SASで異種結合が必要ですというメッセージが出た時の対処法
SAS 異種結合でgoogle検索してもヒットしなかったので備忘録もかねて。
EGPの動作が遅いという問い合わせがあったので内容を確認し、動作が遅いクエリビルダを見つけて内容を変更しようとしたら以下のようなメッセージが出てきました。
環境：GreenPlum(DB)にSASで接続しています。
結論だけ言えば、DBに格納されているデータとSASのWORKライブラリに格納されているデータを結合さ