本記事の概要前回 Bedrock の Knowledge Bases （ナレッジベース）を作成した。 ベクトルデータベースにはAurora Serverless V2 PostgreSQL を使用した。 今回 作成したナレッジベースに対し、実際に問い合わせをしていい感じに結果が返ってくることを確認する。 やること・要素は簡潔に言うと以下の通り boto3のbedrock_agent_runtime.retrieve()を用い、キーワードで検索する boto3のbe
本記事の概要前置き AWS の Bedrock には Knowledge Bases という機能がある。 同機能を使えば手軽に RAG の仕組みを構築できる。 Bedrock 上で管理されている LLM や Embedding モデルを用いつつ、データストア（ベクトルDB）は別で準備する形となる。 そこら辺は下記でまとめてある。 上記資料に記載の事情から、ベクトルDBは OpenSearch でも Pinecone でもなく Aurora Serverless V2
下記オンラインセミナーの受講メモ 2024/11/20開催 認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー 主催：クラスメソッド, Auth0 ?CICが提供する認証プラットフォーム SSOを実現できる次世代型統合認証基盤 認証基盤の構築ではなくI/F開発 開発が早く手離れも良い 認証機能の開発にかかる工数をゼロにする、という目標を掲げる 認証・認可をサポート 認証機能として、利用者が作り込む
背景ちょっとしたことから、PostgreSQLを使いたくなった。 具体的には RAGを実装するうえで、pgvector を使いたくなった。 ※pgvector…ポスグレをベクトルDBとして扱える新機能 もう少し具体的に要件を書くと以下の通り。 RDBが使いたい （普通にシステムのバックエンドとして） お金は極力抑えたい 開発しているものはRAG機能も実装したい （のでベクトルDBがほしい） AWSで開発している （ので、AWSをベースに実装したい） ということで、
下記オンラインセミナーの受講メモ 2024/11/14開催 1時間でわかる！AWSアカウントで最初にやっておくべき設定 主催：クラスメソッド AWSで最初にやる設定ログ・モニタリング セキュリティ 契約・コスト ログ・モニタリングAWS CloudTrail AWSを「誰が」「いつ」「何に」対して「どのような」操作をしたかを記録する。 インシデント発生時のトレーサビリティや振り返り用。 不正アクセスの懸念や、メンバーの誰かかのミスした際、設定の見直しチェック
この記事はなに？存在は知っていたけどずっと放置していたので色々触ってみて、その際のメモをここに記録します。 前提として筆者はOpenAIのAPI、Docker、Git周りの知識は最低限持っている開発者です。 参考にした記事 API でAPIキー取得 AnthropicでもOpenAIでも、AWS Bedrockで利用できるモデルでもなんでもよいが、まずはDifyでモデルを利用するためにAPIキーを取得する。 OpenAIのキーを使いたい場合は👇️から取得する。 ※あら
経緯👇️下記で、初めてAWS認定資格のCLFを受けて合格した話を書いた。 引き続き、AWS認定資格の一つの Solutions Architect - Associate（通称SAA）を受けて合格した。 余談再掲：個人で受けるには受験料が高すぎる… SAAを1回受けるだけで定価$約2万円…ただし、何か一つAWS認定資格を合格すると、次の受験は半額に割引になるので、今回は半額の1万円ではあった。 受験・合格したのでそのメモSAAも一発で合格はした。 かなり幅広い範囲から出
下記オンラインセミナーの受講メモ 2024/11/06開催 データ基盤を進化させるDatabricksとdbtの実践的活用術 主催：dbt Labs, データブリックス・ジャパン, 株式会社エーピーコミュニケーションズ dbtby dbt Labs Why dbt ? これらの課題を解決するのがdbt。 dbtはエコシステムが充実。多くのシステム・サービスと結合可能 データやコンピューティングリソースはDatabricksに依存 dbtはDatabricksの
下記オンラインセミナーの受講メモ 2024/10/23開催 次世代データ統合基盤を探る！Databricksによる一気通貫で実現するデータ＋AIの最新世界線 主催：PrimeNumber, Databricks PrimeNumberとDatabricksの関係PrimeNumberはDatabricksのパートナーとして承認済み＋調整中 Databricks解説課題感 Databricksの守備範囲 様々な便利機能 Pipelineの実装も可能。リネージ機能
経緯👇️ここで、AWSのスキルビルダーについてちょっと調べてたらその流れでAWS認定資格が気になって、元々資格取りたい、AWSを勉強したい、と思っていた。 ということで、余裕がある今のうちにAWS認定資格を受験していくことにした。 余談個人で受けるには受験料が高すぎる… AWS Certified Cloud Practitioner (CLF)を1回受けるだけで$100（約1.5万円） 受験・合格したのでそのメモひとまず一発でCLFは合格した。 内容はAWS基礎、とい
Okta（Auth0）のセミナーを受ける中で、そもそもの認証・認可の基本がわかっていなかったので、そこらへんを整理したメモ。 補足：他要素認証、二段階認証多要素認証 K Knowledge … パスワード、PIN、生年月日、秘密の質問 P Prossession … 携帯、メール、コードジェネレーター I Inherence … 指紋、顔、署名 他段階認証 K --> K のように複数段階で認証。ただしこの場合は「K」のみでの認証なので、異なる要素を組み合わせる
下記オンラインセミナーの受講メモ 2024/10/16開催 dbt cloudでデータインフラを効率化！ データパイプライン運用のベストプラクティスとは？ 主催：PrimeNumber dbtデータパイプラインを信頼性のあるきれいなものに整備する。 これがdbtプラットフォームの目的 課題感とdbtの意義 データ基盤において、一貫性の担保、不明瞭さ、プロセスのボトルネック、といった問題が生じやすい dbtでは「プログラマーの様に」、チームが一丸となって開発作業を
Skill Builder とはAWS のオンライン学習センター AWS 技術を学ぶためのプラットフォーム AWS 認定試験の対策や、ハンズオン、ゲーム形式など、さまざまなコンテンツが用意されている アカウント登録・ログイン ここから登録 https://skillbuilder.aws/?cta=free ログイン後のページ https://skillbuilder.aws/jp 補足 AWS認定試験の受験や管理はこちらから https://cp.certm
まえおきETL、否、ELTツールのdbtがどうやらデータ界隈ではポピュラーになっているようなのでいい加減そろそろ入門する。公式がチュートリアル？を公開してくれているようなのでこれをベースに見ていく。 余談？ETLとELT ETLとELTを別物として呼び分けるのが最近の世の中らしい。 extract, transform, load の3語からいずれもなる言葉だが、以下の違いがあるらしい ETL 抽出し、加工したものをDBに取り込む ELT 抽出し、一旦ロードした
はじめに①：👇️の記事を見つけてなんとなく読み出し、 ②：👇️のdbtの話題に遷移し、 ③：dbt及びデータモデリングの👇️の記事にたどり着いた ③：モダンデータスタックData Vault DWHの歴史周りの話や、最新動向などの話がされているが、その中に「Data Vault」の話があった。 リレーショナルモデルやディメンショナルモデルを古典的とするなら、今どきの方法論の一つとして「Data Vault」という方法論、アーキテクチャ、ベストプラクティスがあるらしい
記入開始： 24-10-10 12:32 また間が空いてしまったちょっと油断すると、1日2日、簡単に日記をつけるのをサボってしまう。 強い意志や決意のもと連日日記を書き続ける、というよりはとにかく習慣化して「日記を毎日書くのが当たり前」にしないといけない。 ということで、今日もサボりそうだったけどとにかく書き始めている。 この際内容は問わない。書くことが大切、と言い聞かせて、とにかく書く。 昨日までの振り返りTerraform ハローワールド的な作業は一旦終わり。
