4社合同のLLMイベントを開催しました
こんにちは。IVRyのAIエンジニアの町田です。
10/3(木)にLAPRAS様、Sansan様、Ubie様と合同で「各社のLLMをプロダクトに組み込む勘所」というタイトルで合同イベントを開催させていただきました。今回はそのイベントのご報告です。
開催の背景
IVRyでは従来のプッシュ型のIVRだけでなく、LLMベースの革新的な自動応答システムも開発しています。
LLMは手軽に試せるものの、システムとして本番のプロダクトに組み込むには色々と課題があります。これらを乗り越えて初めてLLMを実運用できるのではと思いますが、技術進歩が早いため試行錯誤が欠かせません。LLMの実サービスでの活用についてはまだまだ情報が足りないのが現状です。
そこでIVRy持ち前のやってみるか精神でイベント開催について各所に伺ってみたところ、LAPRAS様、Sansan様、Ubie様(ご発表順, 以降敬称略)にご参加いただけることになり、4社合同の豪華なLLMイベントを開催するに至りました。
※今回の開催にあたり、3社の皆様から大変なサポートをいただきました。本イベントは3社の皆様のご協力がなければ実現できないものでしたでした。この場をお借りしてお礼を申し上げます。
各社の勘所ご紹介
IVRy: 高いprecisionが要求されるLLMサービスのアルゴリズムデザイン
弊社IVRyからはべいえりあが登壇をさせていただきました。
IVRyではLLMベースの電話自動応答を開発していますが電話の自動応答では特にハルシネーションが課題となります。例えばなにかの予約を取るエージェントを作成してみても、予約をとってはいけない日付で予約が取れたと言ってみたり、空席があるのに満席だと返してきたりします。言い回しが自然でも、プロダクトに使えるかどうかは別物です。
そこで完全なend to endでのLLMの利用ではなく、複雑な処理をLLMに任せ、対話の制御は従来のNLP技術と組み合わせることで、安心して使えるLLMアプリケーションが開発できる旨の発表をさせていただきました。
是非、こちらからデモ番号に電話して体験してみてください。
LAPRAS: AIプロダクトがLLMで変わったこと/変わらないこと
LAPRASからは鈴木様にご登壇いただきました。(資料)
LLMの登場でAIプロダクト開発がどのように変わったかという内容のご発表でした。これまでのAI開発では、データ収集・アノテーション・トレーニングを繰り返してようやく最初のモデルができる、というような流れだったので、コストや時間の観点から取り組むべきタスクの選別が必要だったそうですが、LLMの登場でその期間が一気に短縮されたとのことです。
また、インフラ管理や料金の見積もりの手間も減ったというプロダクト開発ならではのメリットについてもお伝えいただきました。
Sansan: 働き方を変えるGPT活用事例
Sansanからは西田様にご登壇いただきました。(資料)
Sansan labsではリードタイム二週間で年間100リリースというとんでもない量とスピードで研究開発を進めているそうです。(すごい)
そんな爆速開発をされている事例として、LLMを用いた有価証券報告書の要約機能のリアルな開発の流れをご紹介いただきました。
LLMの特性を活かしながら現場に合わせて段階的に価値提供をすることで価値のあるアプリケーションの高速リリースを実現されているとのことでした。LLMは開発が早い反面、評価が難しいため、評価基準・リリース基準を一層明確にするということは大変学びになりました。
Ubie: BigQuery・LLM を活用したユーザーの検索意図分析の事例
Ubieからは風間様にご登壇いただきました。(資料)
プロダクト応用、生産性向上のためにLLMを活用されており、BigQueryのLLM機能を活用した流入キーワード分析の事例をご紹介いただきました。
私自身OpenAIのChatGPTを活用するのみにとどまっていたためBigQueryでのLLM活用は新鮮でした。現状はLLMのモデルによってタスクに多少得意不得意があることを分析し、複数のモデルを使い分け比較まで行っている点は流石でした。
おまけ: 会場の様子
今回、IVRyは会場としてオフィスとケータリングを提供させていただきました。当初30名で人数を設定していたのですが、予想を大幅に上回り、最終的に100名以上の方に参加登録をしていただけました。
今回はオフィスの広さの都合上、抽選とさせていただきましたが、ご参加いただけなかった皆様、申し訳ありませんでした。
超広いオフィスは提供できませんでしたが、自慢の音響設備は活躍しました。合間におしゃれな音楽が流れるだけでなく、発表者の声もめちゃくちゃ聞きやすかったのではないでしょうか。
まとめ
各社ともサービスの特性に応じた様々な方面でLLMをプロダクトに活用されており、学びの宝庫でした。私自身「やっぱりその辺気になるよね」というところもあれば、「そうやって解決してるんだ」というような発見もあり、大変参考になりました。
ご参加いただいた皆様からも活発なご質問を頂けまして、開催の趣旨であった「プロダクトに組み込む勘所」について学ぶ貴重な場となったのではないでしょうか。
今後もIVRyはNLP関連のイベントへ積極的に参加・開催ができればと思っており、日々LLMを使い倒していく所存です。現在、NLPエンジニアをはじめ、全職種で積極的に採用をしておりますのでLLMをプロダクトで存分に活かす経験を積みたい方は是非ご応募ください。
この記事が気に入ったらサポートをしてみませんか？