【開催レポ】LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保-

先日 LLM in Production、第二弾！まとめていきます。
6月に初回となるLLM in Production Meetup #0 Kick Offが開催され、2か月を経ての開催となります。

"LLM in Production." と題して、LLMのプロダクション導入・サービス実装を中心に扱うコミュニティです。LLMのアプリ実装に関わる方の技術情報交換の場になればと思っております。

今回は、ベストプラクティスがなかなか見当たらない "LLMの評価・品質担保"がテーマでした。正解がない中、各社がどのように試行錯誤しながら LLMを評価し実ビジネスへの組み込みをチャレンジしているか、多くのインサイトが共有されました。

今回の記事はその開催レポを兼ねてのプレゼンテーション資料まとめです。LLM Meetup Tokyo の開催レポが良かったのでマネしています（LLM Meetup Tokyo #2 開催レポ＆LTまとめ｜mah_lab / 西見 公宏 (note.com)）

LLM Community 発足しました🌎
LLMのサービス実装に関わる方の技術情報交換の場になればと思っております！ 初回イベントは 6/26(月)19:00からPKSHAさんのオフィスで開催です📷 LayerX松本さん @y_matsuwitter Algomatic 大野さん @ono_shunsuke と豪華メンバー登場！https://t.co/xQmgk3WgR1

— Yuto (@Yuto3629938305) June 19, 2023

イベントの connpass リンクはこちら

掲載ポリシー

• LLMProdのハッシュタグで共有されたものだけ掲載します

• LT以外にも濃厚なパネルディスカッションがあったのですが、こちらはオンサイト参加者限定としてとっておきます。

メインプレゼンテーション

Azure Machine Learning Prompt flow 評価メトリクス解説（マイクロソフト 花ケ崎さん）

LLMプロダクトのロバスト性と運用（Algomatic 南里さん）

LLMOps-LLMの評価品質担保（wevnal 榎本さん）

PdMからみた品質管理の行いやすいLLMの開発テーマ選定（ナウキャスト 片山さん）

当日の様子

今回は人形町の MNTSQさんのオフィスをお借りし、開催致しました！

#LLMProd これはいいテーマ
「最後にデプロイしたプロンプトはどのように決めましたか？」 pic.twitter.com/WiHHU4yO5f

— Yuto (@Yuto3629938305) August 18, 2023

パネルはこんな感じ。いいテーマですよね。

「日本を良くするためにみんなでフルスイングする」乾杯です！#LLMProd pic.twitter.com/wJehldwouW

— MNTSQ（モンテスキュー）採用チーム (@MNTSQ_Rec) August 18, 2023

懇親会も盛り上がりました！結構熱い話もありました、、！

Twitterでの反応

参加できなかった方は、#LLMProd をチェック！

#LLMProd まとめました／LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保- https://t.co/BFlRcVGGde

— 𝙎𝙝𝙞𝙣𝙜𝙤 吉田真吾 (@yoshidashingo) August 19, 2023

纏めて頂きました！

LLMを評価するのではなく、売上が上がったとかをKPIにする #LLMProd

— NAITOH Jun (@naitoh) August 18, 2023

AIモデル評価の結果ではなく、事業KPIの達成度合いでLLMを評価してしまおう、という考え方も。おもしろい。

いやほんとに、本気でModel選定しようと思うとそれだけに注力しないとなかなかやりきれない#LLMProd

— Yuhei FUJITA (@Yuhei_FUJITA) August 18, 2023

「LLM評価ってモデル選定も含まれると思うけどそれはどうしてるんですか？」という話。

AIの変態が集まってる最高のイベントだと思うw#LLMProd

— ENOMOTO (@x1ujmtamtpjt) August 18, 2023

金曜日の夜にAIを語りに集まってくれる方々、、！

所感

LLMを利用したアプリケーションの評価、指標づくりがとても悩ましい中で各社がどういう工夫しているか根掘り葉掘り聞けた良き会でした！ありがとうございました！また次回！ #LLMProd

— 松本 勇気 | LayerXはSaaS+Fintechの会社です (@y_matsuwitter) August 18, 2023

運営メンバーのLayerX 松本さんのコメント。今回は不確実性の多いテーマ設定だったので、泥臭い話を沢山聞けた印象でした。

ではまた！