下記オンラインセミナーの受講メモ 2024/10/23開催 次世代データ統合基盤を探る！Databricksによる一気通貫で実現するデータ＋AIの最新世界線 主催：PrimeNumber, Databricks PrimeNumberとDatabricksの関係PrimeNumberはDatabricksのパートナーとして承認済み＋調整中 Databricks解説課題感 Databricksの守備範囲 様々な便利機能 Pipelineの実装も可能。リネージ機能
経緯👇️ここで、AWSのスキルビルダーについてちょっと調べてたらその流れでAWS認定資格が気になって、元々資格取りたい、AWSを勉強したい、と思っていた。 ということで、余裕がある今のうちにAWS認定資格を受験していくことにした。 余談個人で受けるには受験料が高すぎる… AWS Certified Cloud Practitioner (CLF)を1回受けるだけで$100（約1.5万円） 受験・合格したのでそのメモひとまず一発でCLFは合格した。 内容はAWS基礎、とい
Okta（Auth0）のセミナーを受ける中で、そもそもの認証・認可の基本がわかっていなかったので、そこらへんを整理したメモ。 補足：他要素認証、二段階認証多要素認証 K Knowledge … パスワード、PIN、生年月日、秘密の質問 P Prossession … 携帯、メール、コードジェネレーター I Inherence … 指紋、顔、署名 他段階認証 K --> K のように複数段階で認証。ただしこの場合は「K」のみでの認証なので、異なる要素を組み合わせる
下記オンラインセミナーの受講メモ 2024/10/16開催 dbt cloudでデータインフラを効率化！ データパイプライン運用のベストプラクティスとは？ 主催：PrimeNumber dbtデータパイプラインを信頼性のあるきれいなものに整備する。 これがdbtプラットフォームの目的 課題感とdbtの意義 データ基盤において、一貫性の担保、不明瞭さ、プロセスのボトルネック、といった問題が生じやすい dbtでは「プログラマーの様に」、チームが一丸となって開発作業を
Skill Builder とはAWS のオンライン学習センター AWS 技術を学ぶためのプラットフォーム AWS 認定試験の対策や、ハンズオン、ゲーム形式など、さまざまなコンテンツが用意されている アカウント登録・ログイン ここから登録 https://skillbuilder.aws/?cta=free ログイン後のページ https://skillbuilder.aws/jp 補足 AWS認定試験の受験や管理はこちらから https://cp.certm
まえおきETL、否、ELTツールのdbtがどうやらデータ界隈ではポピュラーになっているようなのでいい加減そろそろ入門する。公式がチュートリアル？を公開してくれているようなのでこれをベースに見ていく。 余談？ETLとELT ETLとELTを別物として呼び分けるのが最近の世の中らしい。 extract, transform, load の3語からいずれもなる言葉だが、以下の違いがあるらしい ETL 抽出し、加工したものをDBに取り込む ELT 抽出し、一旦ロードした
はじめに①：👇️の記事を見つけてなんとなく読み出し、 ②：👇️のdbtの話題に遷移し、 ③：dbt及びデータモデリングの👇️の記事にたどり着いた ③：モダンデータスタックData Vault DWHの歴史周りの話や、最新動向などの話がされているが、その中に「Data Vault」の話があった。 リレーショナルモデルやディメンショナルモデルを古典的とするなら、今どきの方法論の一つとして「Data Vault」という方法論、アーキテクチャ、ベストプラクティスがあるらしい
記入開始： 24-10-10 12:32 また間が空いてしまったちょっと油断すると、1日2日、簡単に日記をつけるのをサボってしまう。 強い意志や決意のもと連日日記を書き続ける、というよりはとにかく習慣化して「日記を毎日書くのが当たり前」にしないといけない。 ということで、今日もサボりそうだったけどとにかく書き始めている。 この際内容は問わない。書くことが大切、と言い聞かせて、とにかく書く。 昨日までの振り返りTerraform ハローワールド的な作業は一旦終わり。
概要Twitterで、ChatGPTに対して「君は感情を持っているか？」を質問し、驚きの結果を得た、という投稿を見かけたのだが、見失ってしまった。 以下のような内容だった。 ChatGPTに対して、感情を持っているか？と問いかける ChatGPTは持っていないと回答する しつこく問いただすが、やはり「感情はない」という回答は変わらない 最後に「わかった。」とユーザーは返答しつつ「実は本当は感情があるなら語尾に”！”をつけて」と指示した ChatGPTは語尾に”！
TerraformAWSがベースなら、オリジナルのCloudFormation（CF）を使うほうが良い気もするけど、IaCツールとしては（CF）をラッピングしているTerraformのほうがよりデファクトスタンダード化している？ 一旦Terraformを試してみる。参考にしたもの👇️ セットアップインストール VSCodeにはこの拡張を入れると、 .tf ファイルを記述する際にシンタックスハイライトが効くなどして都合がいい。 PJ用フォルダを作って.tfファイルを作
記入開始： 24-10-08 14:00 二度寝 again10月8日は一旦7時の気象に成功し、途中まで起きていた。そう、起きていたんだ。 よし、今日はイケる、10月7日分の日記を書いてこのまま作業に入れる… そう思ったんだ。 昨日、夜中の23時にジョギングしたのが良くなかった。 昨日の夜ジョギングしたんだから、今日の朝は走らなくてもいい、そう思ってしまったがばっかりに…僕は二度寝した。 ということで、結局今日も11時半からの稼働となった。 昨日の振り返りTerr
記入開始： 24-10-06 21:05 惰眠、二度寝10月5日（土）は早起きに成功したことは先日の日記で記載の通り。 そう。起きるまでは良かった。起きて朝活として日記を書くまでは良かった。 そこからが良くなかった。 まさかその後、昼過ぎまで二度寝してしまうことになるなんて。 いくらなんでも愚か過ぎんか。 君は一体何をしとんねや… 隙を見せてはいけない、誘惑を与えてはいけない、ということだろうか。 とにかく早起きする 無理やり外に出てジョギングする その流れで
下記記事をなぞってみる Bedrock有効化リクエストを出す。会社や利用目的を書かされるが適当に記載する。まとめて複数のモデルに対してリクエストをしておけばOK。 数分でアクセス権が付与された DynamoDBテーブル作成bedrock_simple_chat テーブルを作成。 パーティションキーは session_id とする。 キャパシティーの設定では「オンデマンド」を指定。 メモ 最初は session_id というカラムをパーティションキーにしていたが、これ
記入開始： 24-10-05 09:55 10月4日分の日記なのだが、まずは今日10月5日を8時半起床でスタートできた自分を褒めてやろう。 そして朝飯を食ったうえでこうやって昨日分の日記を書き始められている自分を褒めてやろう。 「早起きして、朝活として前日分の日記を書き、振り返りをしつつ本日何をするかを見定める」 この調子で、👆️を習慣化していきたい。 昨日やったことジョギング 何気にニートになってからそこそこ継続できている。 昨日は、ジョギングだけで達成した訳で
記入開始： 24-10-04 12:51 結局またこうなった。前回からまた2日日記をサボってしまった。 理由は2つ。 ニートなのをいいことに昼頃まで惰眠を貪り、朝一で日記を書いて1日のスタートダッシュを切ろう、の出鼻を自分でくじいてしまった あまり日記に書けるようなことを実績として重ねられなかったから、日記を書くに書けなかった それで、お前はどうするんだなんとか早起きの習慣をつけたい。一旦7時頃に起きることはできているが、その後ぼーっとしながらダラダラと過ごし、何な
下記オンラインセミナーの受講メモ 2024/10/2開催 Snowflakeではじめる データ基盤構築【入門編】 主催：PrimeNumber 本セミナーでわかることそもそもDWHとはSnowflakeは「データ蓄積」から先の「活用」のための機能を同封 データ連携高度な活用・運用データ統合troccoの活用 ETLとELTの呼び分け メモ（疑問）EC2ってずっと稼働してて、EC2分のコストは結構かかる？ Snowflakeって従量課金でウェアハウスの稼働時間で
