![見出し画像](https://assets.st-note.com/production/uploads/images/120003804/rectangle_large_type_2_77611350c85132e38c1f1e9d0c07919a.png?width=1200)
【開催レポ】LLM in Production Meetup #2 LLMの勘所 -コスト・精度・パフォーマンス
先日 LLM in Production、第3弾!まとめていきます。2か月おきの開催を実施しております。
"LLM in Production." と題して、LLMのプロダクション導入・サービス実装を中心に扱うコミュニティです。LLMのアプリ実装に関わる方の技術情報交換の場になればと思っております。
今回は、 "LLMの勘所 -コスト・精度・パフォーマンス-"がテーマです。プロダクションレベルのLLMソリューションが少しずつ増えてきておりますが、各社どのようにコスト見積もりをしながら精度・パフォーマンスチューニングを行っているか、多くのインサイトが共有されました。
今回の記事はその開催レポを兼ねてのプレゼンテーション資料まとめです。LLM Meetup Tokyo の開催レポが良かったのでマネしています(LLM Meetup Tokyo #2 開催レポ&LTまとめ|mah_lab / 西見 公宏 (note.com))
イベントの connpass リンクはこちら
掲載ポリシー
#LLMProdのハッシュタグで共有されたものだけ掲載します
LT以外にも濃厚なパネルディスカッションがあったのですが、こちらはオンサイト参加者限定としてとっておきます。
メインプレゼンテーション
メルカリにおけるLLMを用いたプロダクト開発(メルカリ Andre さん)
契約書プラットフォームでのRAGのタスク設計(MNTSQ 堅山さん)
マルチモーダルモデルと自動運転 車載モデルのコスト・スループット・レイテンシ(Turing 山口さん)
LLM in Production #2 Meetup 231023_AI inside(AI inside 井上さん)
当日の様子
今回はメルカリさんのオフィスをお借りし、開催致しました!
![](https://assets.st-note.com/img/1698367084396-epenEIu0TP.jpg?width=1200)
![](https://assets.st-note.com/img/1698367142900-3ufu56GMbA.jpg?width=1200)
Twitterでの反応
参加できなかった方は、#LLMProd をチェック!
#LLMProd 初めてのLLM系のイベントだったけど勉強になったしわいまつさんに初めて会えたしとてもよかった。プロダクションで動いてる例から逆算して適用するのが一番イメージ湧くかも
— ism.msi (@iSM_kit) October 23, 2023
嬉しいコメント!
パネルディスカッション。Turing社の技術投資の視点、ロジカルで納得感ある。面白いなあ #LLMProd pic.twitter.com/e1OqaE6ApU
— やおっち (@yaotti) October 23, 2023
TuringさんのユースケースにはLLM投資が必須、という話は非常に興味深かったですね。
車の制御をLLMで実現するハードルの高さよ
— daka | Microsoft | Startups (@daiki15036604) October 23, 2023
車載のエッジで動くモデルを作るには!?
#LLMProd pic.twitter.com/6rZwyG1Qji
この話
契約書、 Claude だと 100k あるので全部入るかな。
— piqcy (@icoxfog417) October 23, 2023
クックパッドさんでの事例https://t.co/ado0awDTQd
#LLMProd
イベント内のトピックきっかけで有用な資料のシェアに繋がるのいいですよね
#LLMProd マイクロソフトが支援します pic.twitter.com/KEOHfmieJD
— daka | Microsoft | Startups (@daiki15036604) October 23, 2023
LLM活用した開発したい方はぜひDMください!(宣伝)
所感
#LLMProd
— Yuto (@Yuto3629938305) October 27, 2023
コメント見返しているけど、Chat UI から脱してユーザーから見えないバックエンド処理にLLMを活用する事例も増えてきた印象。
LLMが力を発揮するのは、フロントというよりUIの裏側を如何に AI Agent なりに処理させるかな気がするので、今後はそのあたりをテーマにしたいな~
「LLMを活用したアプリケーション開発をされている方?」と質問した際に、過去回と比べて挙手が増えていたのが印象的でした。(開場の6割くらい)
ではまた!
この記事が気に入ったらサポートをしてみませんか?