見出し画像

【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例 #awsAIday

2024年9月9日、生成AIの最新動向と活用事例を学べるイベント「AWS AI Day」が開催されました。会場は、生成AIの可能性に期待を寄せる多くの参加者で熱気に包まれました。

今回は、イベントの注目セッションや見どころをレポートします。

AWS AI Day

生成AIの最前線を探る: 最新事例と実践的ハンズオン

https://aws-ai-day-jp.splashthat.com/
2024 年 09 月 09 日 14:00 - 18:00 JST

会場となったザ・プリンス パークタワー東京

ボールルーム ABC

オープニングセッション:AWSの生成AI戦略と最新アップデート

オープニングセッションでは、アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャーの黒川 亮 氏が登壇。

AWSが考える生成AIのビジョンや戦略、そしてAmazon Bedrockをはじめとする生成AIサービスの最新アップデートが紹介されました。


これまで326機能をリリース。これはクラウド各社と比較しても群を抜いて多い数。


最先端のAIは、クラウド上にある。

世界最速の演算環境をクラウドで。

推論と学習で別の演算環境を用意
AWS Inferentia(インファレンシア)
Amazon EC2 で、深層学習と生成 AI 推論について最低コストで高パフォーマンスを実現


そしてサステナビリティ。

業務に効くモデルの選択、組み合わせ

Bedrockで最新リリース
Claude3.5, Stable Diffusion 3が可能に

そしてモデル評価も

RAGによるナレッジベースデーターコネクター拡張もお任せ


Knowledge Bases for Amazon Bedrock

ナレッジベース・データコネクター拡張

URLやSalesForceなど…

新しいデーターソース、コネクタが用意されています。

アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャー 黒川亮 氏は、LLMによる知識を「チーズ」に例えます。知識の「チーズの穴」を埋めるRAG以外の手法が「ファインチューニングである」としています。


そしてエージェント機能によるメモリー保持とコード解釈。

生成AI Contents Hubを公開

Generative AI Use Cases JP (略称:GenU)

特に、生成AIの先進をリードするAWSの姿勢が強調され、参加者の注目を集めました。

顧客事例講演(1):リクルート

リクルートの今年4月の新卒入社、の柴田さん中川さんによる講演。
新人が感まったくない、堂々とした生成AIプロフェッショナルによる講演でした。

顧客事例講演では、株式会社リクルートとKDDIアジャイル開発センター株式会社が登壇。

リクルートは、Amazon Bedrockを活用した入稿文章校正システムの構築事例を紹介。新人検索エンジニアがRAG(Retrieval Augmented Generation)の性能評価や改善に取り組んだノウハウを共有しました。



リクルート新卒中川さん「RAGは(構築するだけなら簡単だが)評価が大事」

わかりみです

様々な「社内規定」をテーマに事例を紹介 されました。
たとえば「『約』という表現は可能か?」 リクルートの営業さんからの過去の問い合わせメールなどを使い、RAGの中にプロンプトで「常識的に回答」を加えて実態に沿わせた回答に。 さらにここから「評価」に。 改善の方法が汎用できるのか? 方向性が正しかったのか?を評価していきます。

過去のリクルート営業さんからの質問からテストケースを作成。一方で、 回答の性能評価の難しさについても語られました。

それで大丈夫?RAGのチューニング


RAGの品質を自動評価するOSSフレームワーク「RAGAS」を使用

https://docs.ragas.io/en/stable/



RAGASの出力から。
Answer Similarity: 真の回答の類似度
Fathfulness:コンテキストにどれだけ沿っているか

今回の例だとAnswer Similarityは上がっているけどFaithfulnessが上がっている。これはハルシネーションリスクが上がっている。

真の回答には背景となる状況を考慮している そこで 事実の仮定と場合わけを追加 RAGASの導入によって改善サイクルが回るようになった 3ヶ月で40以上のサイクルを回して改善を実施した

まとめ


様式美もきっちりで
まるで新人とは思えない発表でした

ありがとうございました!

<続きます>

ツイートスレッドでの紹介はこちらから



#イベントレポート #awsAIday


この記事が気に入ったらサポートをしてみませんか?