もりこ

しがないエンジニア

もりこ

しがないエンジニア

AWS Summit Japan 2024 投稿記事まとめ

もうすっかり先月になってしまいましたが、AWS Summit Japan 2024へ現地参戦してきました。インプットができる場があるってとても素晴らしいなと思いながら各セッションを拝聴していました。 前回同様、1日ずつで区切ると文字数が大変なことになるので、記事ごとに書きました。 以下にリンクを貼っておきます。 ※当方がメモした内容と理解であり、必ずしも発表者の内容と合致しているとは限りません。与太記事くらいに思ってもらえれば。 Day1「魔の川」「死の谷」を内製開発で

もりこ

    • より良い視聴体験を求めて、ニコニコ動画の配信基盤刷新の舞台裏

      2024年3月に移行完了 配信基盤とは？旧基盤の課題 2016年から運用 インフラは100％オンプレ →開発と運用で問題を抱えるようになった 開発の難しさ 動画と放送で要求が違うから有効活用ができる（と思ってた） →意図通りにいかない 複雑化してメンテが大変になった モノリシックに拍車がかかった 効率の悪化 運用の難しさ 1000台を超えるクラスター運用が難しい アプリ更新時、新旧バージョン混在でも稼働し続ける必要性 ホスト故障の対応 デプロイが難し

      もりこ

      • Elasticsearch RAG と Amazon Bedrock との連携がもたらす AI ソリューションとは？

        大規模言語モデルは推論に向く データベースではない トレーニングに依存する 最新情報や特定の情報に弱い 生成AIと利点と限界利点 人間のような処理 自然な会話や文章の作成、サンプルプログラムの作成など 限界 公開されたデータしか知らない トレーニングされた後にデータは知らない 結果にブレが有り、間違った回答も返す コストとプライバシー 非公開データへの生成AI対応方法Fine Tuning 大規模言語モデルを非公開データに対してトレーニング 時間と

        もりこ

        • Amazon EKS で構築する生成 AI モデルのワークフロー

          標準化のための多面的な投資 クラスターの管理コストが1/3に 1人の管理者が運用できるk8sクラスターが10→30に CI/CDの整備 オリジナルのCI/CDから、ArgoCDとGitOpsに移行 汎用的な仕組みにより、生成AIのワークロードにも対応 開発者体験の向上 単一のポータルでシンプルに開発と運用ができるように整備 k8sにおける機械学習 課題 依存関係の管理 リソース準備のスケーリング インテグレーション セキュリティ・コンプライアンス

          もりこ

        AWS Summit Japan 2024 投稿記事まとめ

        もりこ

          リファレンスアーキテクチャによるガバメントクラウド活用と Amazon Bedrock を活用したモダン化アプリの例

          国でモダン化を進めるための新たな取り組み クラウドスマート 迅速 IaCを使う 柔軟 必要な機能を必要なときだけ セキュア OSを意識しないで余計なセキュリティ機能が不要 コスト最適 稼働時だけ起動 自動スケール ぜひ、デジタル庁のテックブログにもあるので見てみてほしい クライド・バイ・デフォルト原則 モダン化の悩み スキル面 クラウドの技術知見不測 単純な移行だと意味がない 期間 予算要求・調達の期限までに検討しないといけねい モダン化

          もりこ

          リファレンスアーキテクチャによるガバメントクラウド活用と Amazon Bedrock を活用したモダン化アプリの例

          もりこ

          生成 AI のセキュリティ対策と責任あるAIの実現

          OWASP Top 10 for LLM Applicationsは一読するべき 分類はどのフレームワークに対応しているか AI倫理に関するリスク AIのコアディメンション=安全なAIかの指標 AIサービスカードによる透明性の向上 Amazon Bedrockのデータ保護 Bedrockで使用されるデータ サービス改善に利用されない 第三者のモデルプロパイダーに共有しない Amazon BedrockサービスとVPC間のプライベート接続ができる データは転

          もりこ

          生成 AI のセキュリティ対策と責任あるAIの実現

          もりこ

          「魔の川」「死の谷」を内製開発で越境する 〜ガス会社が挑むエネマネサービスの開発〜

          魔の川ニーズはある程度明確になっていた IoTなどでできそうだが知見がない 従来のシステム開発の課題 　内製開発に舵を切りたかった コスト 大きな投資ができない 単価が安い 社内環境 人が増えない 少ない人数で運用 スキル サーバーもVMも触ったことない ボトムアップの推進 昼休みハンズオン 外部コミュニティ ワーキングバックワーズ 死の谷詰まったところ 開発体制 PLC→MCU （マイコン） デバイスメーカーに協力してもらい、商用デバイ

          もりこ

          「魔の川」「死の谷」を内製開発で越境する 〜ガス会社が挑むエネマネサービスの開発〜

          もりこ

          Developers Summit 2024 投稿記事まとめ

          デブサミでメモしたことをつらつら書いていきます。 社外に足を向けていくことによって、新しい気づきとかプロジェクトに新しいものを落とし込むきっかけになったりするので、やめられないですね。 1日ずつで区切ると文字数が大変なことになってしまったので、記事ごとに書くことにしました。 以下にリンクを貼っておきます。 ※当方がメモした内容と理解であり、必ずしも発表者の内容と合致しているとは限りません。与太記事くらいに思ってもらえれば。 Day1A-3 エンジニアの成長とそれを支える

          もりこ

          Developers Summit 2024 投稿記事まとめ

          もりこ

          C-7 テストの完了をゴールにしない！～仮説検証を繰り返し、開発・QA・ユーザーが交流しながら開発することで見えてくる理想の姿～

          デブサミでメモしたことをつらつら書いていきます。 こんな経験ありませんか？ 　機能開発したけど、本当にユーザーの解決したいことにつながっているか分からない 機能開発の時にアウトプットを意識しがち 　アウトカムを意識するべき 本発表でお伝えしたいこと 　・「一般的なテストの完了＝ゴール」ではないことを実感してもらう 　・テストの側面から、アウトカムの獲得を試みる 　・テスト活動に用いた、アウトカムに繋がる事例を紹介する 　・QAも含めた開発チーム全体でステークスホルダー（

          もりこ

          C-7 テストの完了をゴールにしない！～仮説検証を繰り返し、開発・QA・ユーザーが交流しながら開発することで見えてくる理想の姿～

          もりこ

          C-6 開発者こそ幸せたれ！クラウドネイティブ時代の開発を支えるPlatform Engineeringのススメ

          デブサミでメモしたことをつらつら書いていきます。 なぜCloudNative？ 　ビジネス成果の向上 CloudNativeが抱える課題 　認知負荷が高まって、せっかく入れたのに足枷になっているケースが増えてきた Platform Engineeringのイメージ 開発者体験はなぜ重要なのか Internal Developer Platform 　開発者の幸せを追求する開発者向けプラットフォーム 開発者体験向上のための環境を提供する仕組み Platform E

          もりこ

          C-6 開発者こそ幸せたれ！クラウドネイティブ時代の開発を支えるPlatform Engineeringのススメ

          もりこ

          C-5 マルチモーダルRAGの社会実装への技術アプローチ

          デブサミでメモしたことをつらつら書いていきます。 MuRAG ＝ マルチモーダルRAG RAG ＝ 検索拡張生成 LLMでは足りない外部の情報などを取り組みことによってハルシネーションを抑える マルチモーダル 　複数のデータ形式が混在している 　　ドキュメント 　　写真、音声、動画・・・ MuRAG 　画像が入ることも想定している 　構成要素 　　画像の特徴量 　　テキストの特徴量 　　OCR・ドキュメントレイアウトアナリシス・テーブルtoText 　　テキストの生成

          もりこ

          C-5 マルチモーダルRAGの社会実装への技術アプローチ

          もりこ

          B-4 生成AIを搭載したプロダクト開発～少人数で爆速リリースしてわかったこと～

          デブサミでメモしたことをつらつら書いていきます。 質問は実話です 当時の原体験　Q1~Q3にどう向き合ったか Q1 まず何をしますか？（当日） 　1.前提条件整理する 　　・実現したいこと 　　　生成AIを活用して条文の修正案を提案してくれるような機能を作りたい 　　・開発〜実現まで 　　　生成AIを活用した機能を日本のプロダクトに搭載 　　　そのナレッジやコードベースを米国にプロダクトでも活かして搭載 　　　米国で開催されるグローバルイベントでお披露目して、日米同時期

          もりこ

          B-4 生成AIを搭載したプロダクト開発～少人数で爆速リリースしてわかったこと～

          もりこ

          B-3 ログと徹底的に向き合うデータドリブンなサービス運用

          デブサミでメモしたことをつらつら書いていきます。 持って帰って欲しいこと 　ログをデータドリブン開発の一部として利用できる仕組み ログ出力の基本 ログの出力形式 　・タイムスタンプ 　　ログの出力時刻 　・出力元の情報 　　ホスト名、プロセスID、スレッドID等 　・ログレベル 　　INFO、WARN、ERROR等 　・トレース識別情報 　　サービスを跨いでリスクエストを追跡するための情報 　・処理結果 　　所要時間、ステータスコード 　・詳細情報 　　バックトレース等

          もりこ

          B-3 ログと徹底的に向き合うデータドリブンなサービス運用

          もりこ

          B-2 GitHubアーキテクトが語るGitHub Copilotが生み出すAIネイティブ開発の実践と次世代エンジニアに求められる新たなスキルとは

          デブサミでメモしたことをつらつら書いていきます。 AIネイティブ開発とは 　Copilotなどを活用し、ペアプロやコードレビューなどの人間×人間でやっていたことを代替していく 生成AIのエンジニアへの普及 AIを使いこなしたエンジニアリングが生産性を高めるカギとなる AI-Nativeなエンジニアとは？ 今後「AI Nativeなエンジニア」と「非AI Nativeなエンジニア」での格差は開いていく Copilotの役割・機能 　最初はコメントアウトに記述して補完し

          もりこ

          B-2 GitHubアーキテクトが語るGitHub Copilotが生み出すAIネイティブ開発の実践と次世代エンジニアに求められる新たなスキルとは

          もりこ

          C-7 僕らは何を作ったらいいのか

          デブサミでメモしたことをつらつら書いていきます。 客寄せパンダ的SaaSを作ったけど、誰にも刺さらなかった 　理由はわからない 理由がわからないのでユーザーインタビューをしてみた 　喋る人をどうやって探そうか悩んだ 　Amazonギフトカードをばら撒く形で試してみた 　　もちろんギフトカード目当ての人もいたが、インタビューした意味がある人もいた 　意味ある人から問題・課題を知ることができた 　少しずつインタビューする人をフィルタリングをした QAの仕事をしている人たちに価

          もりこ

          C-7 僕らは何を作ったらいいのか

          もりこ

          D-6 レガシーモダナイゼーションに効く！オススメのモダン化手法3選

          デブサミでメモしたことをつらつら書いていきます。 モダナイゼーションの提案はほぼジオゲッサー 　いきなりお客さんに呼ばれてなんとかしてくださいと言われる モダナイズ（地図作り）の例 例えば、地図がないまま始めると モダナイズ対象を四象限に分けて考える ドメイン駆動設計 戦略的ドメイン駆動設計 　・企業の事業戦略に呼応したモデリング 　・ドメイン、サブドメイン 　・日本でよく言われてるのがこっち 得られること 　・全体像を全員で把握 　・分類・命名されたドメイン像

          もりこ

          D-6 レガシーモダナイゼーションに効く！オススメのモダン化手法3選

          もりこ