Fully Connected 2024サンフランシスコ イベントカバレージ - メルカリ Teo Narboneta Zosa様
本記事は2024年4月18日にサンフランシスコで開催されたFully Connected 2024: The Era of Generative AIのイベントカバレージです。第１弾は日本のお客様からのご登壇でメルカリのTeo Narboneta Zosa様。ご講演タイトルは「How Mercari Is Using Gen AI To Define The Future Of Japanese C2C E-Commerce（メルカリはどのように生成AIを活用し、日本のC2CのECの未来を切り拓いているのか）」です。
メルカリ様は月間アクティブユーザー数（MAU）23百万人以上を抱える日本最大のC2C e-コマースマーケットプレイスを運営されており、Fintech分野や海外展開も進められています。それらのサービスを24時間365日常に運営する中で、LLM等の生成AIの重要性は増しており、生成AI/LLM専任のチームを設立するなど、この分野への積極的な投資を進めています。
生成AIのビジネス実装を進める上では、LLMチームが社内の様々なチームと協働して取り組み、実装の計画からモデル選択、プロンプトエンジニアリング、実装と進めています。Mercari Dev Assistはその一例で、社内のWikiやGithub Issue、Slackメッセージなどを用いたRAGシステムが、社内の開発支援を行なわれています。
さらに、2023年10月に登場したメルカリAIアシストでは、出品者に商品名の改善など、より購入されやすくなるための提案をする機能が提供されています。ここでは、Nejumi LLMリーダーボードでllm-jp-eval上位（2023年12月当時）の日本語LLM（7B）をQLoRAチューニングした後にllama.cppによる量子化を行うなどローカルLLMも活用しており、BLEUスコアで評価しているとのことでした。GPT-3.5-Turboと比較しても高精度かつ14倍安価にコストを抑えられるメリットがあります。
次に購入者側にも目を向けてみましょう。ここでもLLMが積極的に活用されています。その用途の一つがシノニム拡張です。例えば、「ビトン」、「ルイヴィトン」「LOUIS VUITTON」をシノニムとして登録する必要があり、RAGを用いたシノニム生成によってこれを実現しています。なお、ここではドメイン特有のシノニムがとても重要になります。
また、イメージスコアリングも重要タスクです。検索結果画面に表示されるアイテムがクリックされるかは表示される画像が魅力的かに影響されることが大きいためです。実際、モデルによる評価スコアは、クリックされたアイテムとクリックされなかったアイテムで、その分布に統計的な差があります。
次のトピックはリランキングです。初期の検索結果を並べ替えることでより関連性の高いアイテムを最初の方のページに表示します。この際に強力なビジネスインパクトを実現するための鍵は、カスタムオフラインメトリクスの実装です。例えば、購入されなかったアイテムを除いて、購入に至ったアイテムのみを対象とすることで、実際の購買行動に基づいた推薦システムに繋がるなどが挙げられます。これらのメトリクスはWandBでロギングされ、その可視化機能によってインサイトが抽出されています。以下の例では、WandBテーブルを使い、メトリクスとその際のリランキングされたアイテム（緑: Purchased、ピンク: Liked）を、ダッシュボード上に可視化しています。
この様にメルカリでは生成AI/LLMのビジネス実装をいち早く進めていて、小さなステップを積み重ねることから、大きな成長に繋げています。彼らが大事にしていることはユーザーインパクトを第一に考え、取り組むビジネス課題に対して正しい指標をターゲットにすることだそうです。メルカリにおけるLLMの更なる活用とビジネスの飛躍から目が離せません。
W&B本社ご訪問（おまけ）
ご講演後にTeo様にはW&Bサンフランシスコ本社にお越しいただき、開発メンバーとの交流の時間を頂きました。
