テンペスト

若手SE 資格はFE(2019年春合格)、AP(2019年秋合格)、Google Cl…

テンペスト

若手SE 資格はFE(2019年春合格)、AP(2019年秋合格)、Google Cloud Associate Cloud Engineer(2021年3月)、G検定(2022年3月)、統計検定2級(2022年10月) 経験言語はPython,シェルスクリプト,SAS

  • 資格試験対策

    自分で受験して合格した資格試験の合格体験記を残す。

  • Google Cloud

    Google Cloud関連の記事をまとめる

  • 目標と計画日記

    自分の目標やスキル向上計画を明確にするための日記。

  • SQL Tips

  • Python Tips

    PythonについてのTipsをまとめる。

すべてのマガジンを表示

Python3エンジニア認定データ分析試験合格体験記

2024-03-24にPython3エンジニア認定データ分析試験を受験し一発合格したので合格体験記として残しておきます。 話す内容としては以下の通りです。 試験概要 試験範囲 事前に持っておくとよい知識・資格 試験対策 教科書 模擬試験 実際の試験の感想 はじめに試験勉強を始めた(資格試験用の教科書を購入して届いた)のが3/1で受験日が3/24でした。準備期間は全部合わせて3週間ほどですが、まじめに準備した期間は10日程度です。 準備期間は個人差あると思います

テンペスト

    • Dataproc サーバレスでBigQueryのデータを加工するクイックスタート

      概要PySparkを使用してBigQueryのデータを加工するバッチ処理をDataproc サーバレスで動かしたので、その時の体験記を残す。 以下の記事を実行するうえで同記事内では直接書かれていないことも含めて記載する。 事前準備VPCサブネットの作成 私はDataproc用のVPCネットワークを作成して、そこにサブネットを作成する方法を取りました。(defaultをいじりたくなかったため) ネットワーク設定の具体的な方法は以下の記事をまねしました。 Cloud Sto

      テンペスト

      • 今後のSEキャリアパスについてver.2

        2022年の11月18日に統計検定2級に合格したので、今年度版ということで書き直してみたいと思います。 前回の記事はこちら ■１．これまでのキャリア・１－１．職歴2021年10月現在、中小企業のSIerでSEとして4年目。 2019年7月　データ分析基盤更改PJにPGとして開発工程からリリースまで参画(10人-20人のチーム、40人程度のPJ) 2020年3月　データ分析基盤更改PJでリリースしたシステムの運用保守(7人程度のチーム) 2023年の3月いっぱいで他のPJ

        テンペスト

        • BigQueryのオリジナルUDF一覧

          概要BigQueryで作成したUDFを公開する。 日付関数LAST_SPECIFIED_DAY CREATE FUNCTION {DATASET}.LAST_SPECIFIED_DAY(end_date DATE, specified_day INT64)RETURNS DATEAS ( ( SELECT MAX(z) FROM UNNEST(GENERATE_DATE_ARRAY('1970-01-01', end_date)) z WHE

          テンペスト

        Python3エンジニア認定データ分析試験合格体験記

        テンペスト

        マガジン

        • 資格試験対策
          3本
        • Google Cloud
          6本
        • 目標と計画日記
          6本
        • SQL Tips
          3本
        • 開発日誌
          3本
        • Python Tips
          7本

        記事

          Selenium Grid とPythonで並列処理テスト

          概要Selenium GridとPythonのコンテナを作成して並列実行のテストをする。 やったことDocker環境の準備 ディレクトリ構成は以下 .│ docker-compose.yml│└─python │ Dockerfile │ requirements.txt │ ├─bin │ test-serenium.py │ └─inout Dockerfile FROM python:3.9WORKDI

          テンペスト

          Selenium Grid とPythonで並列処理テスト

          テンペスト

          Dockerで自分用Pythonコンテナを作成する

          概要Pythonコンテナを作成する。 その際にpython実行用のユーザとPGMを配置するディレクトリを作成する。 やったことDockerfileの作成 以下のように作成する。 FROM python:3.9WORKDIR /usr/src/appARG passwdRUN groupadd -g 61000 batchRUN useradd -u 61001 -g 61000 -m \ -p $(perl -e 'print crypt(${passwd}, "\$

          テンペスト

          Dockerで自分用Pythonコンテナを作成する

          テンペスト

          Raspberry Pi 4にdockerでselenium gridを入れる

          概要Raspberry Pi 4(ubuntu)にdockerでselenium gridを入れたときの開発日誌。 背景appiumを使ってandroid アプリを自動で動かしたいのだが、appiumサーバ1台でエミュレータ1台の構成だと実行速度に満足ができず、並列実行を検討することになり、その仕組みとしてSelenium Gridを検討してみることにした。 方針今回はdockerを使って導入することにした。 やったこと事前調査 SeleniumHQ/docker-s

          テンペスト

          Raspberry Pi 4にdockerでselenium gridを入れる

          テンペスト

          BigQueryで分析関数を使用して自己結合を回避する

          概要サイズの大きいテーブルを自己結合は一般的にSQLのアンチパターンになる。 そのため、自己結合を回避するための手段としてBigQuery(以下すべてBigQuery上での話)の分析関数を使用する。 背景業務でユーザに公開しているVIEWを参照するSQLを実行するとそこそこ時間(12分)がかかると問い合わせがあった。 VIEWをSELECT * したテーブルを作成して、VIEWの代わりにそのテーブルを参照してSQLを実行したところ2-3分で実行できるため、VIEWをテーブル

          テンペスト

          BigQueryで分析関数を使用して自己結合を回避する

          テンペスト

          三年目の仕事を納めてみた

          今年(去年)で社会人3年目・SE3年目となりました。2021年の振り返りをします。 去年の記事はこちら。 略歴1月テレワーク(保守) 2月テレワーク(保守) 3月テレワーク(保守、就活生向けの会社説明会に参加、副業開始) 4月テレワーク(保守、就活生向けの会社説明会に参加、副業継続) 5月テレワーク(保守、就活生向けの会社説明会に参加、副業継続) 6月テレワーク(保守、自分の下にBPがつく、残業たくさん、副業継続) 7月テレワーク(保守、副業終了) 8月テレワーク(保守、

          100
          テンペスト

          三年目の仕事を納めてみた

          テンペスト

          今後のSEキャリアパスについて

          最近モチベーションがやや低下気味のため、直近何をやればいいか考える意味でキャリアパスを考えてみようと思いました。 ■１．これまでのキャリア2021年10月現在、中小企業のSIerでSEとして3年目。 2019年7月　データ分析基盤更改PJにPGとして開発工程からリリースまで参画(10人-20人のチーム、40人程度のPJ) 2020年3月　データ分析基盤更改PJでリリースしたシステムの運用保守(5人程度のチーム) 運用保守に関しては、メンバとして自社の先輩につく形で参画して

          テンペスト

          今後のSEキャリアパスについて

          テンペスト

          Cloud Functions でグローバル変数は再利用される

          Node.js 10で以下のようにその時の日時を取得して変数に入れるときに、この部分が実行毎に変更されない事象が起こった。 javascript自体がほとんどかけないので、コードに変なところあったら教えてください。(たぶんvarは使わない方がいい？) const { exec } = require('child_process');require('date-utils');var dt = new Date(new Date().toLocaleString('ja-

          テンペスト

          Cloud Functions でグローバル変数は再利用される

          テンペスト

          二年目の仕事を納めてみた

          12/25が今年の仕事納めでした。 一年間の振り返りをしてみたいと思います。 去年の記事はこちら。(身バレしたくないので有料。自己満足) 略歴 1月客先常駐(並行稼働、新環境移行作業) 2月客先常駐(並行稼働、新環境移行作業、リリース) 3月客先常駐・テレワーク(並行稼働、新環境移行作業、リリース、保守) 4月テレワーク(保守) 5月テレワーク(保守) 6月テレワーク(保守) 7月テレワーク(保守、リリース) 8月テレワーク(保守、製品障害発生、先輩やらかす) 9月テレワー

          100
          テンペスト

          二年目の仕事を納めてみた

          テンペスト

          GCPのACE資格受験を決意したので下調べをした結果をまとめる

          会社で一年の目標を決める季節になりました。目標の一項目に資格取得があって、これを決めておくと受験費とか合格時の報奨金をもらえます。以前に記事にした資格目標を読み返すとSASの資格とLPICを今年の目標にしてます。 SASの資格は新しくなったようです。 でもSASの資格はあんまりモチベーションがわかないんですよね。家で使えるわけでもなく、仕事でも今使ってるわけではないので。そういう意味ではGCPの資格とLPICの資格、上では書きませんでしたがPythonの資格は仕事でもプラ

          テンペスト

          GCPのACE資格受験を決意したので下調べをした結果をまとめる

          テンペスト

          スクレイピングを学んでいるときのメモ②~robobrowser~

          普通にrobobrowserをインストールすると以下の問題に直面した。 ImportError: cannot import name 'cached_property' from 'werkzeug' どうやらwerkzeugの最新バージョンにrobobrowserは対応してないらしい。(2020.04.19時点、robobrowser==0.5.3) というか、そもそもrobobrowserはここ5年更新されてないらしい。 今さら勉強するものでもない気がしてきた。 f

          テンペスト

          スクレイピングを学んでいるときのメモ②~robobrowser~

          テンペスト

          スクレイピングを学んでいるときのメモ①~Requests,lxml~

          最近スクレイピングを学んでいるのだが、使ったことないライブラリの使用が増えてきたので、使い方のメモを備忘録として残しておく。 ちなみに教材は以下。 増補改訂版もあるので今買うならこっち。 Requestsライブラリresponse = requests.get(url) 上記の使い方で特定のURLのResponseオブジェクトを取得できる。 Responseオブジェクトには以下の属性やメソッドがある。 import requestsresponse = reques

          テンペスト

          スクレイピングを学んでいるときのメモ①~Requests,lxml~

          テンペスト

          SASで異種結合が必要ですというメッセージが出た時の対処法

          SAS 異種結合でgoogle検索してもヒットしなかったので備忘録もかねて。 EGPの動作が遅いという問い合わせがあったので内容を確認し、動作が遅いクエリビルダを見つけて内容を変更しようとしたら以下のようなメッセージが出てきました。 環境：GreenPlum(DB)にSASで接続しています。 結論だけ言えば、DBに格納されているデータとSASのWORKライブラリに格納されているデータを結合させようとすると以上のメッセージが出るようです。出力先がWORKライブラリなのも影

          テンペスト

          SASで異種結合が必要ですというメッセージが出た時の対処法

          テンペスト