『SaaS+Database』領域でのLLM活用のリアル
こんにちは。
SalesNow代表の村岡です。
SalesNow社は、BtoBセールスの負の体験を解消し、社会の生産性を劇的に向上させるべく、『SaaS + Database』を軸とした企業データベース『SalesNow（セールスナウ）』を展開しています。
そんな大規模なデータベースが絡む『SaaS+Database』領域で、実際にSalesNow社で取り組んだLLMの事例と、それによる成果について共有できればと思います。
少しでもお役に立てたら幸いです！
(感想をXでポストしてくれると嬉しいです。メンションも嬉しいです)
プロダクトについて
皆さんにスムーズにご理解いただくために、まずはSalesNowがどんなプロダクトか、なんのためのプロダクトなのかを最低限説明したいと思います。
SalesNowは「データとテクノロジーで、働き方を変革する。」を掲げ、500万社以上の企業データベースを使って、非効率でアナログな営業プロセスを根本から変える挑戦をしています。
セールス職には、アナログで非効率な仕事が沢山あります。
Salesforceの調査データによると「セールス」は営業活動以外の業務に72%も時間が取られており、業務時間の３分の１も営業活動に時間を使えていません。
そしてこの効率の悪さを、気合い, 根性, マンパワーで補う無理のある働き方がまだまだ当たり前になってしまっています。
SalesNowは、このようなセールスの働き方の現状を、「540万社以上の包括的な企業データベース」を用いてあるべき働き方に変えていくチャレンジをしています。
2024年2月現在、SalesNowが保有しているデータ量は数百億規模にものぼります。
この『データベース』を構築するプロセスにおいて、LLMを活用した業務フローを確立しました。そこに至るまでの具体的な試行錯誤をLLM活用の背景も踏まえて記載していきます。
”人の仕事をLLMに置き換える”試み
SalesNowはこれまで、自動化されたクローリングシステムと人の手による入力という2つの方法でデータを収集し、データ処理基盤を通してユーザにとって価値の高い形に加工することで、即時性が高く正確な企業データベースの提供を実現しています。 このデータ蓄積作業は非常にコストが掛かるため、コスト削減を目的としてLLMを活用した代替機能の検討を行いました。
つまり、「今まで人がやっていた仕事をLLMで置き換える」試みに挑戦しました。
LLMで置き換えた具体的な仕事内容
今回のLLM活用でやろうとしたことは、「日本の全企業の会社概要文章を作成し、SalesNow上に表示する」ことです。 日本全国には約540万社の企業があり、これらの会社概要文を人の手で作成するのは膨大なコスト(人件費)がかかります。企業情報を見ながら概要文を作成し、正しいかを別人がダブルチェックするオペレーションをLLMで代替できれば、データ作成を自動化することで大幅なコストカットが実現できます。
またSalesNowのデータ要件では、「高品質であること」が絶対的に求められます。最新のデータ、かつ、誤りが無い、意味が明瞭であるか、などを評価して高品質なデータを作る必要がありました。そのため、LLMの成果物が正しいかを確認（品質の数値化）をしながらオペレーションの評価・改善を進めていきました。
今回はLLMが出力した結果をLLMに評価させるオペレーションを組みました。 具体的にはデータベースに格納済みの企業データからLLMを用いて会社概要文を生成し、その品質をLLMに自動評価させています。
※文書生成をChatGPT、品質評価をGoogle PaLM2に置き換え
LLMの品質評価とチューニング
検証段階において、LLMが生成した会社概要文章が本当にユーザにとって高品質であるかを判断するには、人力によるチェックが必要です。
SalesNowではデータリサーチャと呼ばれるデータの調査を担当する専門職種が在籍しており、1件1件LLMの生成した会社概要文章の品質を評価していただきました。
（以下のプロンプト例は、実際に使用したものではなく概略です。）
生成プロンプト：以下の文章から第三者視点で会社概要文を生成してください。提供サービスや企業説明に重点を置き、本文中に無いものは一切使用しないでください。
評価プロンプト：企業の事業・商品・サービスが明確な場合に1点、企業情報が第三者視点で書かれている場合に1点、入力文書に会社概要と無関係な物が含まれていない場合に1点、合計3点で採点してください。また、日本語として適切ではない場合は0点としてください。
リサーチャへの依頼：出力された文章と採点を鑑みて、顧客に提示可能な情報であるか判断してください。
その上で、LLMによる評価の点数と人力での評価の点数を比較し、それぞれが一致するようにプロンプトを少しずつチューニングしていきました。
検証当初（2023/9時点）での歩留まりは下記のようになっており、LLMによる評価が最高点である3点の場合は90%以上の情報が正しいと判断されました。一見高い数値に感じるかもしれませんが、商用利用するには精度が不十分なため、精度改善を試みました。
度重なる検証・チューニングにより、現在ではLLMによる生成と評価の精度が十分に高くなってきており、評価プロセスをカットした形や、人力による正誤チェックをカットしたOperationを組むことに成功しています。
今後も生成プロンプトや評価プロンプトをチューニングすることにより、文書生成や評価の精度向上が期待できるため、今後への課題として絶賛検証中です。
※上記に記載したフローやプロセスは2023年8月時点でのものであり、本プロジェクトで最終的に採用したオペレーションは厳密には異なります。
本LLMプロジェクトの”成果”
本LLMプロジェクトでは「1,001,719社」の企業概要文作成に成功し、約3.76億円のコスト削減に成功しました。かかったLLMのAPIコストは僅か8万円で、人件費と比較すると非常に安価におさえることができました。
「削減コスト」は人力で対応した場合のコストからLLMのAPIコストを差し引いた数値になります。詳しい計算式は下記に記載しました。
■人力でやった場合のコスト
1社あたり概要分生成に10分＋評価に5分使い、時給1,500円とすると
1,001,719社×1,500円×(10分+5分)÷60分（分を時間に変換）=375,644,625
■本プロジェクトでかかったLLMのAPIコスト
API料金が$597 (≒¥89,598)
1,001,719社(1件あたり、約0.39円)
■削減コスト
削減コスト=375,644,625-89,598=375,5555,027≒3.76億円より詳しい内容については下記スライドにまとめているので興味ある方は御覧いただければと思います。
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
最後に
データ基盤の構築や、データを軸としたプロダクトづくりに興味がある方は、ご意見、ご感想等、コメントにて頂けると嬉しいです。
SalesNowの開発組織は、最新のデータベース技術を積極的に取り入れ、技術を通じてBtoBセールスの負の体験を解消し、社会の生産性を劇的に向上させることに取り組んでいます。
プロダクトの成長に伴い、データベースの中長期的な競合優位性構築や、開発プロセスの持続的な改善や組織力の向上を目指し、ソフトウェアエンジニア・データエンジニア・データサイエンティストなどを積極採用しています。
技術選定、アーキテクチャ設計、開発プロセスの改善、開発組織の強化などを担当していただき、CTO/VPoE/テックリードなどの上位ポジションに挑戦することも歓迎しています。
カジュアルにまずはお話しましょう！
====
昨年（2023年）12月14日に、Databricks様、Forkwell様、Timee様のご厚意で、「データ基盤 x LLM」勉強会の場で弊社のLLM活用事例をLTさせていただきました。この記事では、当日の登壇資料やその後に出したテックブログ「SalesNowのデータ基盤とLLM活用」と重複する箇所については一部文章を引用して記載しています。
よろしければサポートお願いします。