［生成AIの構築］プロトから本格稼働へ。成功のために企業に必要なこと（a16z、LangChain、Pinecore 3社対談）
企業への生成AIの導入が進む中、多くの初期段階の企業が抱く疑問があります。市販のソリューションを利用すべきか、それとも自社データを活用して差別化のための独自ツールを構築するのかという点です。また実際に企業が生成AIアプリケーションを構築する場合、それを成功を導くには何が必要なのか、果たしてそれは簡単なことなのか。
これら企業の生成AI活用に際して直面するであろう課題をテーマにして、a16zのサラ・ワン氏、LangChainのCEOハリソン・チェイス氏、そしてPineconeのCEOイド・リバティ氏の3人が対談し、以下に示す彼らの経験と知見が共有されたポッドキャストのコンテンツを紹介します。
企業が生成AIへの期待や誤解をどう乗り越えるか
成功した導入事例を例に、過去の生成AIの進展についての見解
今後の生成AIの展望として現在の課題やエキサイティングな領域
オリジナル・コンテンツは、以下リンクからご覧になれます。（日本語訳は参考訳です）
a16z Liveチャネルより（Original Published date : 2024/08/07 EST）
尚、当該対談に参加しているメンバーの企業については、ベンチャー・キャピタルであるa16zの説明は脇に置いておいても、LangChainとPineconeの2社については、エンタープライズ向け生成AIに携わっている読者の皆様には説明不要だと思いますが、簡単に紹介すると、両社ともに企業の選択肢の筆頭となるツール群を提供する、生成AI、特に大規模言語モデルを活用するアプリケーション・トレンドを数年に渡って牽引してきた代表的な企業になります。
LangChainは、大規模言語モデルを使用するアプリケーションを開発するためのオープンソースのオーケストレーション・フレームワークを開発・提供する企業。そして、Pineconeは、ベクトルによる高速な検索の可能なベクトルデータベースをクラウド・サービスとして提供する企業です。
企業は、これら2社の提供するツールを活用し、組織内の複数タスクをチェーン化して処理の自動化をはかったり、RAG（Retrieval-Augmented Generation：検索拡張生成）と呼ばれる企業内データを組み合わせて大規模言語モデルの知識を補完して実現する生成AIアプリケーションの開発が可能になります。
LangChain：ウェブサイト
Pinecone：ウェブサイト
尚、PineconeのCEOイド・リバティ氏は、この対談で「知識の豊かなAI（Knowledgeable AI）とは、単に知識が豊富であること以上の意味があり、それは単なるデータベースではない。情報を正しくエンコードし、正しく保存し、正しく処理し、正しく検索する必要があり、何が関連して何が関連しないかを判断しなければならない。人間の脳が行うことの50%以上がこのプロセスに関係するが、我々はそれについてほとんど知らない。」と語り、この「知識の豊かなAI」を創り上げることが彼の目標であるとしています。ベクトルデータベース・サービスで知られるPineconeですが、非常に野心的な目標を持っており、今後も楽しみです。
対談・インタビュー
［サラ・ワン］（a16z）
今日は、企業需要と将来についてお話しします。私はアンドリーセン・ホロウィッツで企業とAIの交差点でグロース投資をリードしており、今回のトピックは私にとって非常に身近で重要なものです。
今年、約70人の企業リーダーに調査を行ったところ、AIへの予算を3倍に増やしているという驚くべき回答を得られました。彼らはOpenAIだけでなく、オープンソースモデルにも着手しており、実験的なワークロードから本格的なワークロードへの移行が進んでいます。
これに伴って、新たな課題と機会が生まれており、今日、それらについて議論したいと思います。
では、まず話題の一つとして、生成AIに関する一般的な誤解や過剰な期待についてお話ししましょう。
皆さんが目にした一般的な誤解や過剰な期待にはどんなものがあるでしょうか？また、企業はそれをどう乗り越えるべきでしょうか？
［ハリソン・チェイス］（LangChain）
最初に思い浮かぶのは、生成AIでの構築が簡単だという誤解です。確かに、プロトタイプを立ち上げるのは簡単で、実際に多くの企業がそうしています。しかし、実際にそれを実用レベルのものにするのは非常に難しいことで、多くの企業や人々がつまずいているのをよく見かけます。
昨年の3月にAutoGPTやエージェントが登場したときの過熱感を思い出します。当時、エージェントと生成AIに対する関心が爆発的に高まりましたが、夏から12月にかけてその熱が少し冷めたように感じました。AutoGPTや他のプロジェクトを試した人たちは、それがすぐに魔法のように動くことを期待しましたが、実際には多くの困難なエンジニアリングが必要であることに気付きました。
今年に入ってから、あなたが言及したように、これらのエージェントや興味深いアプリケーションが企業で実際に稼働し始めているのを見ています。これは非常に興奮することですが、依然として多くの作業が必要です。
LangChainのスニペットから5行のコードで得られる一般的なソリューションだけでは、高品質な実用アプリには十分ではありません。まだ多くのエンジニアリングが必要で、魔法のように簡単にはいきません。まだまだ便利にするための仕事があります。
［サラ・ワン］
興味深いですね。
［イド・リバティ］（Pinecone）
まったく同感です。AIでは不可能なことが可能になりますが、簡単なことでも依然として難しいとよく言われており、まさにその通りです。
［サラ・ワン］
具体的な成果を構築し、提供する際にどんな課題があると感じていますか？また、その課題を克服した事例を見たことはありますか？
［イド・リバティ］
企業が何かを構築する際に成功するかどうかは、その取り組みに対するコミットメントでわかります。もし簡単だと思って「これをここに接続して、あれをここに接続して、それで完了だ」と考えているなら、決してうまくいきません。しかし、これが大きな挑戦であり、新しい技術スタックやサービス、インフラ、新しい言葉やオブジェクトや振る舞いに慣れる必要があると理解している場合、必要な人材を雇い、時間をかけ、何度か失敗する覚悟があるなら、その企業は成功するでしょう。
これは一種の高次の観点（メタポイント）ですが、成功するために具体的に何をするかではなく、成功へのコミットメントが成功するかどうかの主な指標となります。最終的には知識やデータ、モデル、LangChain、チャンク化、パーシステンスなどを実装する方法を見つけ出しますが、そのためには時間とコミットメントが必要です。
［ハリソン・チェイス］
そうですね。プロトタイプから実運用までのギャップについては、我々がたくさんのことを考える課題です。そのギャップを埋めるためにはコミットメントが必要です。また、そのギャップの大きさは、構築するアプリケーションの種類によっても異なります。いくつかのタイプのアプリケーションはすぐに動作しますが、それをスケールアップするときに課題に直面します。例えば、10個のドキュメントに対するRAGは簡単に実現できますが、何百万ものドキュメントが必要になった場合、パフォーマンスやコストの問題が出てきます。
また、他のタイプのアプリケーションでは、最初からうまく動かないこともあります。AutoGPTなどはそのままでは機能しません。ギャップを埋めるためには、制御性や観測性、テストなどを追加することが重要です。我々はこれらの機能を提供するために多くの時間を費やしており、非常に一般的で広範な仕組みをより制御可能な形で提供しています。何が必要かは、構築するアプリケーションのタイプによると思います。まず、動作するようにすること。それから、できればすべてのユーザーにサービスを提供できるように、高速で安価なものにすることです。
［サラ・ワン］
先ほどの企業調査で出てきた課題には、コントロール、カスタマイズ、コストが何度も挙がっていましたので、その点は共感できます。これは新しいスタックなので、PineconeとLangChainについて具体的に話す良いきっかけになるかもしれませんね。
まずは、イドさんから伺います。生成AIを正しく使うためには、適切なデータを利用することが重要です。顧客企業が適切なデータにアクセスし、高い精度を維持するために、どのようにしているのか教えていただけますか？
［イド・リバティ］
残念ながら、我々はまだ十分に対応できていない部分があります。本当に注力しているのは「知識の豊かなAI（Knowledgeable AI）」を作ることです。最終的には、どの言語モデルを使うかに関わらず、そのモデルはあなたの会社や契約、顧客、コードベースなどについて何も知りません。たとえモデルがどれだけ優れていても、それが何を知っているかが重要なのです。
知識のあるエージェントやチャット、アシスタントを構築しようとしている場合、それが役立つために必要なデータを見つけ出す必要があります。それを取り込む方法を考えなければならず、おそらくLangChainを使うことになるでしょう。そのデータをどのように分割し、埋め込むかなど、多くの選択肢があります。LangChainは人々の旅を通して引き込むという素晴らしい仕事をしています。Pineconeが本当に得意としているのは、それをスケールし、効率的かつ低コストで運用し、実際の運用においてシステムをスケールさせることです。
一旦その仕組みが機能し始めると、すぐに運用に移行でき、同時にスケールアップが可能になります。我々が見てきたのは、データの量が大きな違いを生むということです。10件のドキュメントを取り込んでもあまり効果はありませんが、1000件のドキュメントを取り込むと、見えないことが見えてくることがありますが、それでも驚くような瞬間はまだ見えないかもしれません。何万、何百万、時には何十億ものドキュメントを取り込むと、突然質的な変化が生じるのです。
我々は、インターネット全体をPineconeのインデックスに取り込んだ場合に何が起こるかについてのブログ記事を公開しました。非常に驚くべきことが起こり、ウェブデータに関する質問応答でもトップモデルを上回る精度を達成します。どのデータを取り込み、それをどのようにPineconeに取り込むかという全体のプロセスは非常に重要です。残念ながら、今のところ顧客にその方法を十分に教育できていません。ハリソン、あなたがそれをしているので、教えてあげてください。
［ハリソン・チェイス］
実はあなたに聞こうと思っていたんですが・・・
教育についてよく話しますが、それが非常に重要だと思う一方で、我々も十分にできていないと感じています。この分野は非常に初期段階で、進化が非常に速く、状況は急速に変化しています。最近数か月で少し落ち着いてきたように思いますが、全体としてはまだ非常に初期段階であり、教育が非常に重要です。ですので、その点についても同感で、我々もその部分をもっと改善したいと考えています。
［イド・リバティ］
ちょっとおもしろい話として、どれだけ人々がガイダンスを求めているかについて話しますが、我々のウェブサイトにはPineconeの使い方を示したノートブックやサンプルがたくさんあります。これらはAPIやSDKのチュートリアルのようなもので、データをロードしてセマンティック検索やレコメンデーションなどを行うマイクロアプリケーションのようなものです。
しかし、そのまま実運用で使っている顧客の数が驚くほど多いのです。これはアプリケーションでもオープンソースでもなく、単なる使い方ガイドでサンプルです。ちょっとおもしろい話ですが、こういう現状もあります。
［サラ・ワン］
構築するか購入するかの決断は、企業の多くの人々にとって常に重要な決断です。しかし、特にこの初期段階では、多くの人々が構築することを選んでいるのは興味深いですね。おそらく、この部屋にいる多くの人々もそうでしょう。その結果として、教育の重要性が高まっています。例えば、アンドレイ・カルパシー（Andrej Karpathy）のような人々の動画が、商品の開封動画やインターネットで人気のある他の動画よりも多くの視聴回数を獲得しているのを見ると、その学びたい、そしてこの新しい技術を実際に採用したいという欲求が強く感じられます。これは、単に購入するのではなく、自分自身で学び、採用したいという気持ちの表れだと思います。
［ハリソン・チェイス］
構築するか購入するかという点について、何を構築し、何を購入するのが合理的でしょうか。アプリケーション・ロジックのコアについては自分で所有したいものです。私は「フローエンジニアリング」という用語を使ってアプリケーションの流れを説明しますが、これはアプリケーションのビジネスロジックにとって非常に重要で、競争優位性を持つ部分です。一方、その周辺のインフラはそれほど重要ではありません。
我々は、テストやモニタリングについて考えますし、Pineconeはデータの取得などについて考えています。多くの生成AIが素晴らしいのは、これらの大規模言語モデルのロジックや推論エンジンを使って人間のプロセスを模倣し、補完し、提供できるからです。これは人々が構築し、集中すべきコア部分です。だからこそ、多くの人々がLangChainやPineconeのようなツールを使用しているのです。
しかし、すべてのウェブサイトで本当に良いチャットボットが存在しないのはそのためです。各々のウェブサイトにはそのサイトに掲載されるサービスやそのウェブサイトを説明するための異った認知アーキテクチャが必要となりますが、インフラは同じになります。今日まさにこの会話をしていたので、この点を思い出しました。
［イド・リバティ］
そのことに関する良い例はたくさんありま。よく挙げられる例ですが、たとえばドキュメントに対する質問応答だけを考えても、そのドキュメントがWikipediaの記事なのかニュースなのかで大きく異なります。ニュースの場合、1時間前のニュースが3時間前のニュースを完全に古い時代遅れのものにします。しかし、宗教的なテキストの場合、1000年前のテキストが2週間前のテキストを凌駕することがあります。
AIは時間の順序をどれだけ重要視するかを知らないですよね。ニュースが何であれ、矛盾する事実が2つある場合、どちらが優先されるのか。それはアプリケーションレベルの問題です。
これは一例に過ぎません。皆さんが構築するすべてのアプリケーションには、このような例がたくさんあり、面白いことに、Pineconeを利用している多くのサービスが存在します。
我々のドキュメント質問応答も実はPineconeを使用していますが、そのアプリケーション自体は我々が構築したものではありません。試しに構築してみましたが、あまり良い出来ではありませんでした。そこで彼らが来て、「俺たちはその周りにたくさんのものを作って、すべてのロジックやすべてを構築したんだ」と。ですから、アプリケーション・レベル、ロジック、つまり、すべてのコンポーネントを使ってどのように顧客を喜ばせるかということが、絶対に重要なのです。
［サラ・ワン］
そのことを少し広げて、ハリソンさんの指摘に関連付けてみたいと思います。インフラ層は構築を選ばない層である可能性がありますが、LangChainはAIスタックのインフラ側で重要な役割を果たしています。LangChainはどのようにして顧客が大規模言語モデルを改善するのを助けているのでしょうか？
というのも、箱から出したままのものが非常に素晴らしくても、それだけでは十分ではないというテーマにも関連していると思います。それについてもっと話を伺いたいです。そしてその後、お二人から成功した実装のインスピレーションを与えるような例もぜひ聞きたいです。
［ハリソン・チェイス］
もちろんです。LangChainはオープンソースのパッケージとしてスタートしました。最初の頃は、個々のコンポーネントやビルディングブロック、主にモデルやベクター・データベースが主な要素であり、アプリケーションを構築するための高レベルなエントリーポイントもありました。しかし、当初不足していたのは、自分自身のロジックやアプリケーションを構築するための柔軟な実行環境でした。そして、まさに今話していたように、それこそが人々が本当に所有したい部分であり、考えるべき部分です。
過去1年から1年半の間に、LangChainの進化は制御可能なオーケストレーションロジックに向かって進みました。これらのコンポーネントは維持しつつ、最初は簡単に始められる高レベルなエントリーポイントから、低レベルで高い制御性を持つフレームワークへと移行しました。たとえば、LangGraphはチェーンやエージェントを作成するときに使用します。また、プロトタイプから実運用への移行と制御性の観点では、LangSmithというプラットフォームを構築し提供しています。これは、大規模言語モデル・アプリケーションのロギング、テスト、デバッグを行うためのものです。
お気に入りのアプリケーションの一例としては、Elasticのアシスタントがあります。これはログを利用してデバッグやトラブルシューティングを支援するもので、LangGraphとLangSmithの上に構築されています。この事例が好きなのは、エージェントの基本的な事例であって、非常に制御可能で専門的なエージェントを実現しているからです。このアシスタントは2月か3月にリリースされましたが、それはちょうどいろいろなことが本格的に動き始めた時期です。これは、私たちが取り組んでいるいくつかの新しいことの高度に制御可能な側面や、スピードで反復するのに役立つデバッグやテストを完璧に活用しています。
少し長くなりましたが、これがLangChainの進化の軌跡と、これまでに行ってきたことの全体像です。すべては言語モデルをデータに接続するアプリケーションをできるだけ簡単に構築するためのものです。
［サラ・ワン］
Elasticの例は素晴らしいですね。他に成功した実装の興味深い例があれば教えてください。
［イド・リバティ］
もちろんです。大規模な顧客企業の一例として、Notionをご紹介します。Notionは会社のデータを使ったAI Q&Aを構築しています。我々もドキュメントでInkeepを使っているように、Notionのユーザーでもあります。自社の製品を使い、他の人がどう使っているのかを見るのは素晴らしいことです。
Notionを見ていて、彼らが何に取り組んでいるのかを見るのは素晴らしいです。これはハリソンが言っていたこととぴったりと合致します。最初の段階では、このシステムに正しいことを言わせる方法を見つける期間があります。それには2、3か月の実験が必要になりますが、次に「ちょっと待って、これをどれだけのユーザーに展開するんだ？どれだけのボリュームがあり、コストはどれくらいかかるんだ？セキュリティの保証はどうなっているんだ？これが動作しなくなったときに誰が夜中に対応するんだ？」という実際の運用上の問題が懸案になります。これらの問題はもはや理論的なものだけではなく、例えばコストの差が7セントと3セントの違いであれば、大きな問題になります。
このような実運用の課題に取り組むのに数か月かかりましたが、今では実際にその製品を使っています。それはとても素晴らしいことです。チームにSlackで質問することがなくなり、NotionのQ&Aで「この顧客に関して何が起こったか？XYZを伝えたか？」と聞くだけで済むようになりました。これで答えがすぐに得られ、チームメンバーを煩わせることもなくなりました。
このようにして、データに価値を加えた結果、我々のセールスチームはSalesforceのデータをNotionにロードしてアカウントに関する質問ができるようになりました。データに価値を追加したことで、今度は人々がもっとデータをプラットフォームに持ち込むようになり、そして面白いことに、それが再びPineconeに戻ってくるのです。まさに大きなフライホイールのようなものです。
［サラ・ワン］
すごいですね。2009年か2010年にマーク・アンドリーセンが「ソフトウェアが世界を飲み込んでいる（Software is eating the world）」と言ったのに対し、今は「AIがソフトウェアを飲み込んでいる」という感じですね。
Notionの例からは、なぜ彼らはAI製品を持っているAI企業なのか、と考えてしまいます。まさに既存製品をAIで強化しなければ、競争に遅れを取ってしまいますね。
［イド・リバティ］
生成AIエージェントは、もはや人々が期待するインターフェースだと思います。それは、子供たちが家の中で話しかけたり、Macの画面をスワイプしようとして「このコンピュータはどうなっているんだ？」と思うのと同じです。
［サラ・ワン］
本当にそうですね。
［イド・リバティ］
彼らは、何かに話しかけて答えを得る世界で育っています。そして、すべての画面がタッチスクリーンだと理解しています。もしタッチスクリーンでないなら、それを異常に感じる世代です。同じことがソフトウェアにも当てはまります。ソフトウェアが話しかけられたときに理解し、言葉で応答しないと、時代遅れに見えてしまいます。そういう機能がなければ、何か重要なものを見逃してしまうことになるでしょう。
［サラ・ワン］
アプリケーション構築の話に関連して、生成AIを構築する企業顧客を支援するだけでなく、成功に伴うさまざまなトレードオフを行いながら素晴らしい企業を率いているお二人に伺います。
まずはハリソンさん、LangChainについてお聞きします。LangChainは史上最も急成長したオープンソースプロジェクトの一つとして知られていますが、コミュニティの期待と企業顧客の異なるニーズとのバランスをどのように取っていますか？
［ハリソン・チェイス］
ある程度、共通のニーズは多いと思います。なぜなら、まだ非常に初期段階であり、皆がこれらのものをどう構築するかを模索しているからです。我々がしたいことの多くは、それを可能な限りサポートすることです。しかし、そのニーズが分岐したのは昨年初めの頃のことです。その時期は非常に速く物事が進んでいて、コミュニティの多くが最新の機能を早々に欲しがっていました。一方で、エンタープライズの顧客は安定性を求め、構築するものが変化しないという保証を求めていました。
昨年の春頃ですが、その時期はおそらく我々にとって最も困難な時期でした。コミュニティのニーズと企業顧客のニーズは、大きく対立していました。但し、幸いなことに、それは少しずつ楽になってきています。前述したように、最近は進行が少し遅くなっています。今年の1月にLangChainの最初のステーブル・バージョンをリリースしました。
［サラ・ワン］
日常的に考えなければならないことだと思いますが、目先の収益につながる「今、ここ」と、会社を成功に導き、「今、ここ」の先に大きなレガシーを残すための長期的なビジョン構築との間で、どのようにトレードオフのバランスをとっているのでしょうか？
［イド・リバティ］
顧客からの鋭い質問や要求がたくさんあり、それに対する簡単な解決策が求められることが多いです。先ほど、成功している人々は、どれだけプロジェクトにコミットしているかについて話しましたが、彼らからはあまりこのような要求を聞くことはありません。なぜなら、問題を自分で解決して、最終的に自分で壁にぶつかるからです。そしてそのとき、「これは本当にできないことだ」と自分自身で気づき、たとえばドキュメントを分割する方法を見つけることはできても、ベクター・データベースを構築することはできない、ということになります。私が焦点を当てているのは、その壁を打ち破ることです。
私は、適切な人材を採用し、文化を築き、壁を打ち破る能力を持った会社を作ることに注力しています。我々は製品を使いやすくすることにも取り組んでいますが、本当に難しい問題に取り組み、それを簡単にすることで問題をなくすことに焦点を当てています。
また、ユーザー・エクスペリエンスも非常に重要です。その多くは難しいことではありませんが、同時に非常に難しいことでもあります。以前、ここで誰かと「簡単」と「シンプル」の違いについて話したことがありますが、シンプルにすることは簡単ではありません。それは非常に難しいことです。我々はシンプルさに重きを置いており、時にはそれが我々の生活を困難にしますが、顧客にとっては非常に魅力的なものになります。
［サラ・ワン］
素晴らしいですね。この前にちょうど、パートナーシップの重要性について話していました。特に生成AIにおいて、適切なスタートアップや既存企業とのパートナーシップは、生成AIの進展にとって非常に重要です。もちろん、ファウンデーションモデルの面では、ハイパースケーラーがそうですし、ディストリビューションなどの面では、潜在的にあなた方もそうでしょう。
成功するパートナーシップをどう考え、どのようにして適切なパートナーを選んでいますか？また、注意すべき点は何でしょうか？
ここにハイパースケーラーの方がいらっしゃるかわかりませんが、彼らが同じツールを構築してコモディティ化しないようにするにはどうすればよいでしょうか？
［ハリソン・チェイス］
このような分野ではパートナーシップが非常に重要です。なぜなら、実用レベルのアプリケーションを構築するには多くの異なるコンポーネントが必要だからです。特に我々にとっては、モデル提供者とベクター・データベースの2つの主要なパートナーシップが必要です。
［イド・リバティ］
Pineconeに関しては？
［ハリソン・チェイス］
はい、Pineconeも含まれます。アプリケーションを構築するには、LangChainが提供するものに加えて、これらの二つが必要です。
それでは、どのパートナーと連携するかをどうやって選ぶのでしょうか？一部はコミュニティによって導かれます。多くの人がOpenAIを使用しているのを見て、OpenAIとの統合に多くの投資をしています。また、簡単に始められるものと、実運用まで対応できるものとの間にも違いがあります。例えば、NumPyのメモリ内ベクトルストアは簡単に始められますが、長期的にはお勧めしませんし、LangChainにはそのようなものはありません。それは長期的には良い道ではないからです。
LangChainの統合では、約700の異なる統合方法があります。最近特に力を入れているのは、それらの中でどれが良いと考えているか、またその背後にあるチームを信頼しているかを明確にすることです。多くの統合には専用のパートナーパッケージがあります。Pineconeはその1つです。主にモデルプロバイダーやベクター・データベースの中で20から30程度のものが含まれています。これは、他の企業のエンジニアリングチームと我々のエンジニアリングチームを統合するための試みで、成功するためには、一緒に取り組むためのストーリーが必要で、それなしでは生成AIアプリケーションを構築するのは非常に難しくなります。
［イド・リバティ］
全く同感です。顧客の声を聞き、耳を傾けることが重要です。もし顧客が他社のツールと一緒にあなたのツールを使っているなら、そのフィードバックを聞いて改善するべきです。そして、一度パートナーシップに投資すると決めたら、それを本当に良いものにすることです。常にネガティブなフィードバックを尋ねてください。私も1時間前にそれを行いました。
［ハリソン・チェイス］
Slackをチェックして、返信があるか確認しますね（笑）。
［サラ・ワン］
過去18か月の進展は驚異的に速かったですが、最近数か月では少しペースが落ちたように見えます。生成AIに関して今後どんなことに最もエキサイトしていますか？何に注目しているのですか？
［ハリソン・チェイス］
現在、特に注力しているのは「評価」と「エージェント」の2つです。評価に関しては、構築する際のギャップが現在存在しており、それに対する評価ツールをいくつか開発しています。大規模言語モデルに関するすべての新しい要素について考えるとき、評価に関しても従来の機械学習モデルやソフトウェア工学と比べて新たな点がいくつかあります。そのためのツールを構築中です。そして、エージェントについても注目しています。
コアモデルの進展が1年前に比べて少し遅くなっているのは確かだと思います。しかし、モデル周辺のシステムやエージェントのようなアプリケーションの構築に多くの努力が注がれています。これは素晴らしい前進であり、アプリケーションが増え、成功事例も増えています。この分野に非常にエキサイトしており、さらなる投資を行っています。
［イド・リバティ］
私は、知識の豊かなAI（Knowledgeable AI）を作るという我々のミッションに非常にエキサイトしています。我々はベクター・データベースだと思われていますが、それは私たちが求めるものを構築するために欠けていた主たる要素だったからです。
大規模なスケールでそれを実現することが必要ですが、それだけでは不十分です。知識豊かであることは単に知識が豊富であること以上の意味があります。
非常に知的な人物に会ったとき、我々はしばしば二つのことを混同します。ひとつはIQ、つまりどれだけ機知に富み、洞察力があり、思慮深いか。もうひとつは、どれだけ知識が豊富であり、どれだけ多くの情報を持ち、それを会話で引き出せるかということです。
これに必要なスキルのセットを考えると、それは非常に奥深いものです。単なるデータベースではありません。情報を正しくエンコードし、正しく保存し、正しく処理し、正しく検索する必要があります。何が関連していて何が関連していないかを判断しなければなりません。スタックのこの全体の部分は、コミュニティ全体がまだ十分に理解していない領域です。人間の脳が行うことの50%以上がこのプロセスに関係していますが、我々はそれについてほとんど知らないのです。それは少し怖い反面、新しい知識のフロンティアであり、とても興奮しています。これはまだ始まったばかりの非常に残された広大な領域です。
［サラ・ワン］
お二人の意見を伺うと、企業の求めているものについて共感する点があります。ハリソン、先月のディナーで評価について半分ぐらい話したことが思い出されます。プロトタイプから実運用へと進化する中で、業界全体の要求事項が変わってきています。ソフトウェア開発のアナロジーを取ると、最初は誰もDatadogを必要としませんでしたが、実際に構築したものがより多くのユーザーに触れるようになると、観測性が重要になってきました。AI開発におけるこの進化を見るのは非常に興奮することであり、まだ始まったばかりだと思います。
それでは、もう一度お二人のパネリストに大きな拍手をお願いします。
［ハリソン・チェイス］
ありがとうございました。
［イド・リバティ］
ありがとうございました。
以上です。
御礼
最後までお読み頂きまして誠に有難うございます。
役に立ちましたら、スキ、フォロー頂けると大変喜び、モチベーションにもつながりますので、是非よろしくお願いいたします。
だうじょん
免責事項
本執筆内容は、執筆者個人の備忘録を情報提供のみを目的として公開するものであり、いかなる金融商品や個別株への投資勧誘や投資手法を推奨するものではありません。また、本執筆によって提供される情報は、個々の読者の方々にとって適切であるとは限らず、またその真実性、完全性、正確性、いかなる特定の目的への適時性について保証されるものではありません。 投資を行う際は、株式への投資は大きなリスクを伴うものであることをご認識の上、読者の皆様ご自身の判断と責任で投資なされるようお願い申し上げます。
この記事が気に入ったらサポートをしてみませんか？