IroncladのCTOであるCai CoGwilt氏と信頼性の高いAIエージェントを構築する

インターネットはもうすぐ、あるいはすでに、AI が生成したコンテンツでほぼ構成されるようになると人々は話しています。契約についても同じことがすぐに当てはまると思います。L には気付かなかった能力をユーザーが示してくれるでしょう。契約交渉の相手側にいる場合、それは Iron clad によって自動的に交渉されている可能性が高いです。あなたが正しく、大きなスイングをしたり、確信を持ってその方向にできるだけ速く移動したりしなければ、あなたの隣に同じ方向を向いている、またはより速く進んでいる誰かがいるでしょう。そこで私たちは AI エージェントを使うことにしました。最初は順調に進みましたが、3 つ目の機能を追加しようとしたところ、突然、おかしくなり始めました。LLM とやり取りしているときに、ちょっと待って、向こう側には、ティアリング テストに合格しすぎて、そのせいで仕事を失う人がいるような、チューリング テストのような瞬間を経験したことがありますか。テクノロジーの真のステップチェンジ。こんにちは、私はヒューマンループの共同創設者の1人であるRZAです。今日はアイアンクラッドの創設者の1人でCTOのカイ・ゴルトが参加しています。カイ、番組に出演していただき光栄です。お招きいただきありがとうございます。皆さんが最初のアイデアから堅牢なAIシステム、さらにはエージェントに展開するまでの道のりについてお話できることをとても楽しみにしています。その道のりについて少しお話しいただけますか。最近、アン・ストリート・アイアンクラッドで9年間のキャリアを積んだと思いますが、どのような背景があるのでしょうか。私たちが現在いる初期段階のYC企業から、皆さんが今成功している企業に至るまで、どのような経緯をたどったのでしょうか。お招きいただきありがとうございます。では、最初に戻ってお話ししましょう。私はMITでコンピューターサイエンスと物理学を学び、その後、ペイラーという会社で防衛分野の仕事をしていました。ペイラーを辞めた後、仕事の観点から人々が自分の仕事にもっと集中できるように支援するソフトウェアの開発を続けることに非常に興味を持つようになりました。それが、私がリーガルテクノロジーに興味を持ち始めたきっかけです。数人の弁護士の考え方がとても気に入りました。特に契約はほぼプログラム的であり、起こりうるエッジケースを予測しようとしています。弁護士と話をすればするほど、この分野についてもっと知りたいと思うようになり、もっと弁護士を紹介してほしいと頼みました。そして、私は止まることなく、もう10年近く経ちました。これが私がこの仕事に就いた経緯です。時間があっという間に過ぎたように感じるかもしれませんが、その間のAIの変化の速度は非常に速く、皆さんは従来の機械学習手法や、最近ではLMSを早期に採用していたことを知っています。まず、どのようなことを始めたのか教えていただけますか？最近皆さんがAIを使って構築したものには、どのような機能がありますか？私が鉄壁の顧客だとしたら、それはどのようなものになるでしょうか？ええ、これを従来のAIと呼んでいるのが気に入っています。とても正しいのですが、機械学習のように、従来のAIを考えます。LLMは、gen AIまたは基礎モデルのようなものだと思います。その前にもありましたし、毎月何か新しいものが出てくるような気がします。ええ、いい言葉が見つかりません。従来のAIも何度か言いましたが、従来のAIは、少しブランド名を変えたようなものになるのではないかと思います。ええ、あなたの質問への答えは、最近、大量の新しい生成AI機能をリリースしています。ええ、最初の生成AI機能は、昨年1月にリリースまたは開始したAIアシストでした。基本的には、契約編集の支援です。弁護士として契約交渉に直面することがよくありますが、実際には、わずかな違いがあるだけで、同じ契約を何度も何度も交渉することになります。そこで、私たちがリリースしたのは、一連の機能です。契約交渉では、弁護士が自分のチームが納得できる立場を設定し、ワンクリックで生成AIが契約を事前に指定された立場に準拠するように変更します。これは1月にリリースされましたが、かなりの割合の顧客がその機能を使用して契約を自動交渉しています。そのため、契約交渉の相手側にいる場合は、自動的に交渉されている可能性が高いです。Aaron CladによるOn The Other Side、そしてさらに最近では、AIエージェントの領域を深く掘り下げて、この最初のアシスタントレビューで、エンドユーザーにとって実際にどのように見えるかを調べました。私は弁護士で、契約書を持っています。AIとどのようにやり取りするのでしょうか。一度事前設定してボタンを押すだけですか。それともチャットのようなインターフェースですか。UIは何ですか。このUIは、Google Docsのようなドキュメントエディターのようなものです。ドキュメントが片側にあって、サイドパネルにプレイブックと呼ばれるものがあり、プレイブックは契約の何が間違っているか、何が間違っているかを教えてくれます。そして、エディターで直接契約を編集するか、この特定のスタンスを修正するように指示するボタンをクリックすると、突然すべてが自動的に更新され、すべてが実行されます。AIプレイブックとAIアシスト機能は本当に素晴らしいと思います。これは、先ほど話した従来のAIと生成AIを使用しており、従来のAIの最高のものを組み合わせて、部分の合計よりも優れたものを作ろうとしているのです。ジェネレーティブ AI の次に何が来るかという最高のもの、そしてその約束を提供するために、もう少しダブルクリックして、従来の部分とジェネレーティブ部分とのバランスはどうなっているのでしょうか。従来の部分は何をしているのか、ジェネレーティブ部分は何をしているのか。従来の部分は、問題を見つけるようなものです。つまり、法的契約でどのような位置付けをしたいかを設定します。社内で従来の技術を使用してトレーニングした従来の AI モデルが多数あり、精度レベルが非常によくわかっています。信頼スコアなどがあり、ジェネレーティブ AI でも類似点を見つけ始めていますが、まだ完全にはできていません。従来のモデルは、プレイブックに準拠しているという確信に基づいて、物事を認識しているようなものです。一方、ジェネレーティブ AI は、テキストを変更して準拠させるという創造的なタスク以上のものを実行します。これは、従来のモデルによって再びチェックされ、実際に私たちが考えていたとおりであることを確認します。興味深いのは、ハイブリッドな分類器生成システムで、信頼性を確保します。とても興味深いですね。2年前にこのようなシステムを構築することはどれほど可能だったでしょうか。その質問の答えはわかっていると思います。答えを先に述べておきます。私が質問する理由は、おそらくこの分野にあまり詳しくない人のために、何が変わったのか、なぜ今これが可能で、2年前には不可能だったのか、ということです。ああ、そうですね。質問をまとめてくれてありがとうございます。2年前には絶対に考えられなかったことです。私たちは実際にIroncladを立ち上げました。Ironcladの名前は元々Ironclad doaiで、AIが法務業務のやり方を変え、3、4年後にはそうなるだろうという予感がしていました。だから今から構築を開始し、基礎を築きます。3、4年後にはAIが自然言語処理を始め、NLPが新境地を拓くでしょう。10年後には我々は正しかったのですが、そうではありません、我々は長い間その基礎を築いてきました。AIは、2017年にFast Textか何かでどんどん有望性を示し、それが人気になり始め、その後Transformers、そして突然LLMやGenerativeが登場しました。しかし、2年前、我々はこれらの従来の技術のいくつかを契約交渉の問題を解決するために利用しようとしていました。それは2022年の8月だったと思います。それはChat GPTが登場する前のことでした。その8月のChat GPTは11月か12月だったと思います。ええ、8月22日だったと思います。9月22日、法務エンジニアリングチームの誰かが私のところに来て、GPT3をチェックしてみてくれと言いました。前回チェックしたときとは明らかに違います。あなたと私がこの件について初めて話したときもそうでした。ええ、ええ、ええ、あなたがHuman Loopをその方向に素早く転換したことにとても感銘を受けました。後から考えると、それは非常に先見の明があったと思いますが、とにかく、ええ、それで私たちの法務エンジニアの1人が来て、GPT3をチェックしてみてくれと言いました。私たちの法務エンジニアリングチーム全体がお互いに見せ合っていて、その技術に本当に感銘を受けていました。私たちの法務エンジニアリングチームは、基本的に元弁護士、元プログラマー、元コンサルタントだった人たちで構成されているチームで、お客様が私たちの技術を他の技術と統合するのを手伝っています。彼らは、これは本当に素晴らしい技術だと言うと、私は「よし、これをチェックしてみよう」と思いました。それで私はそれを見てみました。実際にとてもクレイジーなことをしていて、すでに取り組み始めていたこの製品、Playbookの交渉機能でテストしたところ、よし、トップの質問だと思いました。ベータ版の顧客がこの機能について抱いている印象は、「素晴らしい。問題が認識されたので、単純なものを修正するだけでいいのではないか」というものでした。私は「いやいや、これは10年先の話だ」と思っていましたが、突然、オープンAIプレイグラウンドで目の前で何かが起こっているようでした。これは本当に驚きでした。私たち全員が、お気に入りの問題の1つ、おそらく数年前に試したこと、または私の場合は博士論文全体を読んだ問題を取り上げて、それをGPT 3で実行し、初めて動作するのを見たという話は、AIの外にいる人なら誰でも知っていると思います。家族に初めてGPTを見せたとき、少し早かったので、基本的に「それで、何が気に入ったのか」という感じでした。前日には最先端の技術が何なのか知らなかったので、感心しませんでしたが、確かにあなたのバージョンを聞くのは興味深いです。私にとっても、確かに「なるほど」という瞬間、つまり「電球が点灯した」という瞬間があったと思います。最初の会話からですか？質問してもいいですか？チューリングテストのような瞬間をシェアしたいのですが、LLMとやり取りしているときに、ちょっと待って、向こう側には誰かがいるような気分になったことがありますか？そういう瞬間を経験したことがありますか？私は経験していませんが、実際に大規模なツーリングテストを実行しようとしているWebサイトがあり、番組のメモのために掘り出せるかどうか確認します。今は名前を思い出せませんが、ログオンして基本的に競争ゲームをプレイし、各ラウンドでゲームのゲイルが1分以内に、話している相手がAIかどうかがわかります。また、他の誰かとペアになっている時間のほんの一部でわかります。プロンプトエンジニアリングに十分長けている人であれば、たとえば、あなたや私のように、おそらく週に何時間もこれに取り組んでいる人であれば、どのような障害モードがあるのか​​がわかるので、比較的早く見つけることができます。私はいつも、2つの非常に大きな数を掛け合わせるように頼んでいますが、そう、大きな数を掛け合わせましょう、といった非常に明確なこと以外は、難しいです。実際、チャティPTが登場する直前に、APIをいじっていて、同じテストケースを何度も繰り返し使用し、UIを接続していましたが、ユニットテストを書いていませんでした。あまり得意ではないので、同じAPIリクエストを何度も送信していました。カリフォルニア州の統治法を変更そして、ある時、この会社で誰かが気にかけてくれるだろうかと、私はただ、オーマイゴッド、Open AIの誰か、私の友人の1人が私のAPIリクエストを監視していて、私をからかっていると思ったのですが、明らかにそうではありませんでした。私はただ温度を200度か何かに設定していただけです。でも、それが私のツーリングテストの瞬間でした。文字通り、夜遅くだったので、適切に考えていなかったかもしれませんが、私は文字通り、別の人間と話しているのか、人間がこのAPIリクエストを傍受して私をからかっているのかと思いました。ええ、そして、そのような瞬間がますます頻繁に起こっているのは驚くべきことです。この最初のバージョンは、ブレイク・ル・モインが、Lambdaが知覚を持っているか何かであると確信していたためにGoogleを辞職したときだったと思います。テアリングテストに合格しすぎて、人々が職を失うのは、テクノロジーの真の進歩です。しかし、アイアンフラットに戻って、次の質問は、法律上のエンジニアリングチームがやって来て、素晴らしいデモを見せてくれました。私たち全員が、最初のフライトの瞬間のような感覚を味わいました。これは本当にすごいと思った時から、実際に何かがリリースされるまでにどれくらいかかりましたか？それは、本番環境のユーザー向けの条項を書き換えるものです。そのジャーニーはどんな感じでしたか？8月22日だったと思います。9月22日だったと思います。法務エンジニアリングチームの誰かが私のところに来て、GPT3をチェックする必要があると言いました。前回チェックしたときとは明らかに違います。ジャーニーはそれほどクレイジーではなかったと思います。8月にAPIをいじり始めました。GPTの指示が出たのが8月だったかもしれません。GPTの指示の後、突然、はるかにこれがいかに強力であるかを理解するのがずっと簡単になりました。12月までに、数人のお客様が便利に使用していました。Open AIは当社のお客様の1社なので、おそらくかなり好意的に反応してくれるだろうと考え、アルファまたはベータプログラムに参加させました。8月から12月にかけて、APIがこの技術を使用して実際のエンドユーザーに何かできることを最初に発見してから、4月まで一般公開しませんでしたが、それにはさまざまな理由があります。最初のMVPバージョンは、最初にお話しした製品と同じだったのでしょうか、それとも最初はもっと小さなものだったのでしょうか。そうですね、ご存知のように、ソフトウェアには多くの反復作業が伴います。そのため、このソリューションが解決する問題ステートメントと概要の説明は、昨年の4月から今日まで同じだと思いますが、これをより使いやすく、より強力にするために多くの作業が行われてきました。ユーザーがAIの応答方法などを制御できるようにしたり、AIを調整してより良い応答を導き出したりできるようにしたりしました。弁護士の反応 弁護士が初めてこれを使用したとき、彼らはどのように反応しますか。私は、さまざまな反応を見てきました。これは素晴らしい、あらゆることに使用し、文字通り交渉に使用します。私たちが測定したある大手顧客は、かなりの量の契約の交渉にこれを使用したと思います。一方、交渉中のすべての契約が現在 AI によって交渉または作成されていると聞きました。ええ、ええ、インターネットはすぐに、またはすでに AI によって生成されたコンテンツで構成されるようになると人々は話しています。契約についても同じことがすぐに当てはまると思いますが、反対の反応も見ました。「絶対に使用しません」。ええ、私が話したある人は、すべてを一挙にまとめた素晴らしい反応をしました。彼は、私の記憶が正しければ、四半期末以外はこの AI 交渉機能を使用することはありません。その後はずっと使用します。実際、これはおそらくほとんどの人の気持ちを要約したものだと思いますが、最近のAI製品に対する人々の反応には幅広いスペクトルがあると思います。アーリーアダプターからレイトアダプター、アーリーマジョリティのベルカーブのようなものが毎日のように現れていると思います。Ironcladのアーリーマジョリティのアーリーアダプター側のユーザーは、Ironclad AIを私が考えもしなかった用途に使用していると私に話してくれます。そして、いや、全部オフにしてください、つまり、AIを完全にオフにできるトグルがあることを確認してください、私たちの会社ではそうです、つまり、それはちょっと興味があるのですが、これは明らかに AI を導入する上で最も繊細な業界の 1 つです。人々は契約について非常に敏感で、人々が自分のデータを使ってトレーニングすることを心配し、間違いを心配します。リスクがかなり高い場合が多いので、実際には法的な契約は人々にこれを信頼してもらうための後回しにすべき場所の 1 つだと思われるかもしれません。皆さんはそれをどのように克服しましたか。すべての業界で顧客の信頼を勝ち取り、AI がこれらの情報を生成するという考えに顧客を納得させる必要があると思います。ええ、ここで役立ったのは、生成 AI を使用した最初の製品のリリースについて非常に慎重に検討したことだと思います。この AI 交渉機能を実装した方法は非常にユーザー中心でした。ユーザーは契約の背後にある理由を AI が理解できます。そして、ユーザーには AI が行った変更を確認するための非常に使い慣れた UI が提供されます。すべての弁護士は Microsoft Word の変更履歴に精通しているので、そのインターフェイスに直接それを配置しました。これはある程度役立ちました。最初にユーザーとの信頼関係を育むことが、リーガルテクノロジーや一般の先駆者になる助けになったと私は考えています。なぜなら、突然、みんながジェネレーティブAIは役に立たないと言うようになったからです。でも、Ironcladには、それを使って素晴らしいことをしている顧客がたくさんいて、それを信頼する十分な理由があります。そして、私たちが公開しているデモビデオなどを見ると、ジェネレーティブAIが常に正しいとは限らないとしても、人間によるレビューステップがあり、AIと人間がそれぞれ人間やAIよりも優れていることがはっきりとわかります。これは確かに役立ちました。もう1つ役に立ったのは、法の分野が、大規模な言語モデルができることのちょうど交差点にあることです。つまり、モデルの能力が非常に強力であると同時に、リスクが非常に高く、信頼を得るのが難しいことが多いため、一種のバランスがあります。そうそう、そうそう、ジェネレーティブAIが法務分野で採用されたことで、興味深いことに、そしておそらく歴史上初めて、弁護士が新しい技術の採用の最前線、それは興味深いですね。そこから何か一般化できる教訓はあると思いますか？例えば、私がプロダクトリーダーで、これらの製品の1つを設計しようとしていて、ユーザーがそれを信頼するようにしようとしているとしたら、その可能性を最大化するために、どのようなことを考え、どのように設計するかなどです。ええ、もちろん、UI作業は山ほどあると思いますし、新しいインタラクションパターンも登場し始めています。おそらく、私たちが学ぶべき教訓でしょう。ジェネレーティブ AI で新しい業界に進出する上での一般的な教訓は、人々が使い慣れているフォーム ファクターにそれを組み込むことです。この分野の専門家も使い慣れています。Microsoft Word と互換性のあるブラウザーベースのエディターを構築したので、ジェネレーティブ AI をその形式に組み込むのはごく自然なことでした。しかし、言うまでもなく、私たちは何年もかけてこれを構築してきました。ユーザーがシステムを操作するときに親しみを感じてもらうためです。そのため、その上に構築することで、ジェネレーティブ AI をユーザーにとって馴染みのあるインタラクション パターンに組み込むことができました。とはいえ、Cloud 3 がリリースされ、そこにどのような機能があるかがわかり始めています。GPT 5 がどうなるかは誰にもわかりません。Google には Gemini があります。Ultra です。私たちはまだアクセスしていません。そのため、人間による監視がどの程度必要になるのか疑問に思っていますが、現時点では、利用可能なすべての Frontier モデルで、このようなインタラクション パターンと親しみやすさは、ユーザーが初めてこのクールな機能を体験するときに提供することが非常に重要だと思います。モデルがどれだけ良くなるかという質問はこれで終わりですが、顧客への影響や弁護士にとっての製品がどのようなものであるかについての背景は非常に役立つと思います。ここで少しマニアックな話をしたいと思います。エンジニアリングの詳細やこれを構築したチーム、そして皆さんがそこに到達した経緯についてお話ししたいと思います。最初の質問は、これまでの道のりでどんな課題があったかということです。驚くほど難しかったこと、簡単だったことなど。皆さんが構築した内部ツールについてたくさんお話ししたいと思います。その点に至った経緯や動機についてお聞きしたいです。実際、AIアシストの最初のバージョンをリリースした後、これらの機能についてより広い視野で考え始めました。Lang Chainのブログ投稿にとても刺激を受けました。Lang Chainのドキュメントブログ投稿とのチャットを覚えているでしょうか。PDFは、しばらくの間、一種の巨大な波のようなもので、誰もが何らかの形でドキュメントと対話していました。はい、RGはリリースから数か月後にカムバックしたように感じます。ベクターデータベースやデータベース会社はRのようなものですが、私たちはそれを見てきました。知らない人のために、RAGについて簡単に説明していただけますか？はい、RAGまたは検索拡張生成は、大量のテキストを入力して、大規模な言語モデルでは処理できないような技術です。そして、埋め込みを使用して最も関連性の高いコンテキストを引き出し、それをLLMに渡して、そのコンテキストに基づいて質問に答えます。LLM のコンテキスト ウィンドウを拡張すると言われているのを聞いたことがありますが、これはウィンドウにとってますます必要性が低くなっているかもしれません。検索と生成のパープレキシティの組み合わせは、プロトタイプの典型的な例のようなものです。しかし、そのラグ システムは皆さんには機能しなかったかもしれませんが、実際にはうまく機能しました。つまり、実際にラグを見て、ラグは素晴らしいソリューションであり、それを中心に構築されている多くのソリューションを見て、これはお客様にとって素晴らしいものになると思いました。そこで、RG を構築するのではなく、さらに先に進みましょう。React の論文と、LMS がツールの使用を学習できるというアイデアにも触発され、RG に取り組む代わりに AI エージェントに取り組み始めました。そして、Le はずっと進んでいきました。ええ、より繊細な環境やよりエンタープライズな環境でこれを構築する場合、すぐにリリースすることはできません。そこで、次の機能をリリースすることを決定したときに、世界中の人々が私たちと一緒にいてくれるように、もう一歩先に進むにはどうしたらよいかを考えました。 3か月先ではなく、AIエージェントを使うことにしました。最初は順調に進みました。会話型インターフェース、チャットインターフェースを構築し、Reactを使ってAPI呼び出しを行い、エラーがあったら再試行するといったことをしていました。その後、3つ目の機能を追加しようとしたところ、突然おかしくなり始めました。何が起こっているのか分からず、ログやコンソールログのページを見つめていました。複雑さの壁にぶつかり、プロジェクトを諦めることにしました。それで終わりにしようとしていました。IroncladにはもうAIエージェントは必要ないと思っていましたが、その前に、どのように解決したか、現時点で誰が取り組んでいたかを教えてください。このプロジェクトには何人いるのか、CTOとして個人的に、またはこのプロジェクトに深く関わっている人なのか、それ自体興味深いのですが、一緒にいたのは誰で、チームの規模はどのくらいでしたか。その時点でのチームは2人だけでした。私とAndyだけでした。 AIによる交渉支援機能は、5人から6人ほどの素晴らしいチームによって処理されていました。そのチームの構成はどのようなものですか？伝統的なMLチームですか？もっとジェネラリストなソフトウェアエンジニアですか？従来のチームに誰が参加したのですか？従来のチームにしましょう。AIプラットフォームチームの誰かがこれに深く関わっていました。これは従来のAIとジェネレーティブAIを組み合わせたものだったからです。そして素晴らしいプロダクトマネージャーのジェン、素晴らしいプロダクトデザイナーのアンジェラ、そして3人、私の記憶が正しければキャサリン・ウルフィーとソックだったと思います。つまり、交渉側には6人ほどが働いていました。素晴らしいですね。すみません中断 チームの構成と、彼らがどのように進化しているかについて、いつも興味があります。その話に戻ることもできますが、あなたは諦めようとしていたところ、アンディがやって来て、アンディはプロジェクトを開始し、月曜日に私のところに来て、いいですよ、この方向で止めると言ったのは知っていますが、聞いてください、週末に構築した新しいシステムリベットにすべてをリファクタリングしました。これはビジュアルプログラミング環境です。ビジュアルプログラミングについてはよくわかりません。いくつか試したことがありますが、かっこいいと思います。でも、最初にあなたに言われたときの反応は同じでした。ビジュアルプログラミングは本当に違う、明らかに以前にも試されたことがあるし、あなたが最初ではない、なぜ今回は違うのか、なぜ今がビジュアルプログラミングの時期なのか、誰かが私に本当に良い理由を教えてくれました。リベットコミュニティの誰かが、このような類似点がたくさんあるという投稿をしていましたが、私の推測では、それは LLM のようなものだと思います。ステートレスで関数的なデータフローは、1つからいくつかを経て、One Directionから数回の反復を経て、最終的に異なる方法で変換されます。そのため、その変換を確認できるのは、実際には非常に便利です。申し訳ありませんが、私たちは皆、関数型プログラミングが好きだと言うつもりでしたが、それはおそらく適切な発言ではないと思います。私たちの多くは関数型プログラミングが好きですが、少なくとも私はそう感じています。YCの聴衆は、少し議論を巻き起こすかもしれません。そうですね、次にvimとemacを持ち出します。そうですね、私を含め、多くの人が関数型プログラミングを好むと思います。しかし、関数型プログラミングのデバッグは非常に難しいと思います。特に、言語は関数型プログラミング用に設計されておらず、基本的にllmで同じ問題に遭遇しました。2つ以上のllm呼び出しを連鎖すると、突然、どのプロンプトが間違っているのか、どのllm呼び出しが物事を混乱させているのかがわかります。そのため、実際にそれを視覚化して、リモートデバッガー、Rivetのリモートデバッガーを実際のエージェントシステムに接続できるようになりました。ああ、ここがすごく間違っているところだと突き止めることができました。そういう思考の連鎖が、APIへの狂ったような混乱した呼び出しを引き起こしているのです。それでメインスレッドに戻ると、Andyがビジュアルプログラミング環境のRivetを持ってきて、プロジェクトを諦めないで、次に何が起こったかということです。次に何が起こったかは、Andyが行ったリファクタリングを見て、Rivetを使ったことがなかったのですが、よし、やってみようと思い、1週間前に本当に頭を悩ませたこと、つまりエージェントにもう1つスキルを追加することを試してみたところ、なんと、実際、それを行うのはとても簡単でした。その後、構築が非常に困難だったスキルの 1 つに取り掛かり、特に高速化を試みていくつかの変更を加え始めました。突然、物事がうまく進み始めました。ああ、今、そのスキルを追加することでルーティング ロジックを台無しにした理由がわかりました。これは GPT 関数の前のことです。何かを高速化しようとしていたとき、高速思考法と低速思考法の観点から並列トラックを作成するというアイデアがありました。高速トラックと低速トラックが同時に発生しているのを視覚的に確認でき、それをまとめるのは、以前にコードで試したことがあったので、思っていたよりもはるかに簡単でした。次の 1 週間の経験から、これは本当にゲームチェンジャーであり、AI エージェントを実際に展開して開発をはるかに迅速に行うのに役立つことがわかりました。その後、おそらく 1 週間か 2 週間後に、最終的にはこれをオープン ソースにして他の人にも役立つようにしたいと考えました。次の質問は、なぜ社内で構築することを選択したのかということです。ますます大きな市場が生まれ、人々が LLM を使って構築するのを支援するさまざまな種類のツールが登場しています。評価の迅速な管理には私たちがいますが、フローベースのツールは数多くあります。Rivet のようなものは世の中にたくさんあります。1 つの質問は、なぜ社内で構築することを選んだのか、コア コンピテンシーではないのか、というものです。2 つ目は、おそらくこの 2 つは関連していて、なぜオープンソースにするのかということです。ええ、この質問には 2 つの答えがあります。1 つ目は、社内でオープンソース化について話していたときに私たちが行った売り込みは、正直なところマーケティングでした。Rivet をオープンソース化することで、少なくとも Ironclad が AI に関する会話に参加できると感じました。実際にそのようにはなったようですが、2 つ目の目標もありました。それは、このオープンソース化が成功すれば、コミュニティで AI エージェントに関する会話を加速させることができるということです。少なくとも、私たちがこれに取り組み始めたときは、人々は「これは絶対にうまくいかない、Dock で RA と Q&A をすればいい」と言い始めていたと思います。その一環として、私たちはライブラリの中立性という点で、スイスと呼ばれるオープンソースを作成することに興奮していました。なぜなら、私たちが観察していたのは、多くのスタートアップが独自のインフラストラクチャでLLMエコシステムを獲得しようとしていることでしたが、私たちにとってはそれは不可能でした。5人か6人のスタートアップのインフラストラクチャを介して顧客のデータを実行することは適切ではありませんでした。私たちがそれを実行できるかどうか尋ねたら、私たちの最大の顧客は私たちをその場で笑うでしょう。そのため、インフラストラクチャを仮想的に実行する代わりに、オープンソースの代替手段としてRivetを設定したいと考えました。いくつかの小規模なスタートアップのサーバーは、小規模なスタートアップに反対しているわけではありません。むしろ、遅れをとりたくないのです。SA​​S の新興企業として、業界が他のエンタープライズ SAS 企業や自分たちが最先端の生成 AI 機能の Frontier を立ち上げることができる方向に進み始めたことを確認したかったのです。これが、Rivet を中立的な代替手段にしようとしたもう 1 つの理由です。これが、さまざまな LLM プロバイダーやツール プロバイダーが非常に簡単にプラグインできるように、プラグイン、非常に豊富なプラグイン システムを開発する理由の 1 つです。印象に残ったのは、TypeScript をすぐに選択したことです。LLM 分野の初期のツールの多くは Python ベースだったと思いますが、これは AI システムを構築する人のタイプが変化したことを示していると思いますか、それとも私が深読みしすぎているのでしょうか。TypeScript について指摘するのは正しいです。Rivet は TypeScript ネイティブで、TypeScript エコシステム システムのユーザーにとって非常にうまく機能します。 Pythonに対する反発は、おそらく、Enterprise SASで生成AIが機能するようにしたかったのと似ているかもしれません。生成AIがTypescriptでうまく機能するようにしたかったのです。IronCloudはTypescriptショップであり、私たちは長い間Typescriptショップであり、Typescptコミュニティはかなり大きく、Rivetをリリースしたとき、LLMスペースにTypescriptエコシステムが欠けていることに正直驚きました。驚くほど多くのものをゼロから構築する必要がありました。Pythonでは、誰もがどれが最適か同意する既製のモジュールのようなもので、そこで少し実験する必要がありました。最近は少し良くなってきていると思いますが、時間がかかりました。ええ、私のちょっとした理論は、MLと私たちが呼んでいる従来のAIは、ご存知のようにかなり数学的で、これらの自動差分ライブラリ、Tensorflow、PyTorch、その他、NumPyなどに依存していたため、Pythonが機械学習などの支配的な言語になり、LLMは変わったと思います。 AIを使って構築できるし、アクセスも民主化されるので、皆さんがTypeScriptで構築しているのを見ました。これは、数学の学位を取ったMLエンジニアだけでなく、興味のあるジェネラリストエンジニアにも適しており、非常に洗練されたAI製品を構築できることを示しています。はい、それはさらに良い論文です。あなたの答えでいきましょう。はい、それは本当です。TypeScriptは開発エコシステム全体で興味深いものだと思います。同型コードを構築できるため、サーバー側とクライアント側で同じ言語を使用できるのは楽しいですが、実際にはエンジニアリングチームが簡単に使いこなせるようにするだけだと思います。従来は分離されていたスタックのサイズはどちらもゲームチェンジャーであり、TypeScript を LLM スタックにも取り入れることで、サーバー側、クライアント側、LLM 側の 3 つの側面すべてで操作するユーザーを再び迎えることができるようになることは、新しいインタラクション パターンと快適なユーザー エクスペリエンスを生み出すという点で、一種のゲームチェンジャーです。他にもいくつかお聞きしたいトピックがありますが、Rivet の話に移る前に、Riet の使用を検討しているユーザーと、詳細を知りたい人のために 10 秒ほど説明していただけますか。はい、ありがとうございます。Riet はビジュアル AI プログラミング言語で、詳細については ret をご覧ください。Ironclad アプリ。com にはドキュメントとチュートリアルのサイトがあります。また、コミュニティのメンバーが素晴らしいチュートリアル動画を作成しています。これらの動画では、Rivet の使い方と TypeScript アプリケーションへの統合方法を紹介するとともに、LLM の使い方に関する新しいクールなテクニックも紹介されています。素晴らしいです。これは、次に私がお聞きしたいことにつながります。Rivet によって Ironclad で実現されたのは、エージェントの構築でした。最近、AI 開発の新しいルールについての記事をいくつか書いたと思いますが、その 1 つは、エージェントが未来であるというものでした。これは、一部の聴衆の間では他の聴衆よりも物議を醸していると思います。エージェントに全面的に賛成する人もいれば、本番環境では信頼できないと考える人もいます。モデルを複数回呼び出すため、コストの問題があります。モデルが何回呼び出されるかわからないと、レイテンシの問題があります。エージェントを妨げているのは何か、なぜそれほど強気なのか、弱気な人たちは何を間違えているのか、つまり、私の考えでは、エージェントは、LMS がテキストを読んだり書いたりできるだけでなく、それについて推論することもできるという考えに基づいています。もしそれを信じるなら、エージェントに強気になる必要があると思います。なぜなら、読み書きや推論は、人間が他の種よりも優位であると主張するコアスキルのようなものだからです。ああ、ツールの使用ですね。もちろん、ツールの使用については忘れていましたが、これもエージェントの一部です。ですから、実際に LMS がツールを使用して、その使用方法について推論しているのを見ているという前提を受け入れるなら、それらが大きな問題であるという前提を受け入れる必要があると思います。II GU は非常に未来的に見えるかもしれませんが、皆さん、この分野で Ironclad が特別なのは、エージェントが実稼働していることだと思います。これは、未来的に見えるだけでなく、実際に機能するようにしています。他の人がそこで失敗していると思う理由や、人々が間違っていると思うことは何ですか。思い出させる必要はないと思いますが、他の人のツイートでいくつかのことを見たことがあるような気がします。例えば、チャットGPTと呼ばれる、誰でも利用できるエージェントベースのアプリケーションがあり、多くの人が使用しています。誰と話していたか忘れましたが、AIエージェントが実際に使用可能になるのはいつなのか、チャットGPTにログインしてエージェントを使用できるなど、いくつかのツイートを見ていました。確かに、エージェントがどれだけ優れているかの基準は変動しており、私たちは限界に挑戦していますが、私の観点からは、エージェントがいつ準備されるのか、いつになるのかという問題ではないと思います。エージェントの時代がやってきました。それは、エージェントが現在どの程度の能力を持っているか、今日のフロンティアモデルでエージェントをどこまで押し進めることができるか、そして、明日のフロンティアモデルでエージェントをどこまで押し進めることができるかという問題です。もう 1 つのヒントは、通常よりも極端な方法で早期に頻繁にリリースすることです。なぜそれが LMS に特に当てはまるのか、ちょっと興味がありました。ご存知のように、ソフトウェア開発ではこれが最大限でした。ここで何が違うのか、ここで何が違うのか、誰もこれらの仕組みについて直感を持っていないということです。おそらく、より広いメタポイントは、私たちがオープンソースで開発している理由のもう 1 つだと思います。私が LLM での作業についてこれほど多く書いている理由の 1 つは、私たちが現在作業を共有して、LLM で生成 AI 開発がどこまで進むことができるかを推進することが非常に重要だと考えているからです。最新の技術や、どの LLM プロバイダーが専門家の組み合わせを使用しているか、専門家の組み合わせが一体何であるかなど、すべてを知るプレッシャーがあると思います。すべてを知るプレッシャーがあるようですが、真実は、まあ、私はあなたの代わりに話すつもりはありませんが、真実は誰もここで何が起こっているのかを本当に知らないということです。誰も私たちがどこにいるのか、今日の状態はどのようなもので、これらのものが実際にどのように機能しているのか、そして間違いなく明日どこに向かうのか、何ができるのかを完全に理解していません。オープンEYの人々が、次のモデルが何ができるのかなどについてお互いに賭けをしているという話を聞いたことがあります。それで、あなたの質問に戻りますが、それが、本当に早く頻繁にリリースすることが特にLLMの設定で当てはまる理由の一部だと思います。なぜなら、これがどのように機能するのか、ユーザーがそれとどのようにやり取りするのかがまったくわからないからです。そのため、ユーザーとのやり取りがなければ、おそらくかなりクールな楽しい小さなデモのようなものがありますが、ユーザーであるあなた以外の誰にとってもあまりうまく機能しない可能性があります。したがって、早期にリリースしてユーザーからのフィードバックを集め、それがどれだけうまく機能しているかの評価データを収集し、この反復ループを実行することで、それが実現できると言っても過言ではないと思います。何度も繰り返すことで、信頼できるAIアプリケーションが実現します。確かにそうですが、実際には信頼できるAIアプリケーション以上のものです。ユーザーは、Lに備わっているとは思わなかった機能を見せてくれます。私のお気に入りの例は、契約交渉の面に戻ると、私たちが設定したこの契約編集UIの使い方をユーザーに尋ねたところ、彼はそれをハイライトして、その条項で気に入らない点のリストを要求したいと言いました。UIはそれを言わず、UIはこれをどのように変更したいのかと尋ね、彼は先に進んでいました。まったく違う使い方をすると、彼が非常に重要なユースケースを明らかにし、私たちが知らなかったであろう多くのメリットを享受していることが分かりました。また、会話エージェントのユーザーが日本語のインターフェースを使用していることで、さらにクレイジーなことが起こっています。私たちは日本語でコミュニケーションできるように設定していませんでしたが、日本語で対話することを好むユーザーが数人いて、彼らにとっては素晴らしいことです。つまり、ユーザーから多くのことを学び、新しいユースケースを思いついたり、ユーザーが新しいユースケースを思いついたりできるのです。これは本当に魅力的で、非生成的AIソフトウェアのような従来のソフトウェアでも同様のことが起こりますが、生成的AIが加わるとそれほど驚くことではありません。非常に驚くべき結果がすぐに得られます。H 他にも聞きたい質問はたくさんありますが、時間が迫っているので、いくつか簡単に終わらせて、将来また参加してもらえるかもしれません。ここでは 2 時間にわたる質問がありますが、私たちが少し避けてきたことの 1 つは、オープン AI 内での賭けについてお話しいただいたことや、Claude が最近発表したクラウド 3 についてです。0モデルでは、GPT 5はどのようなものになると思いますか？期待は過大評価されていると思いますか、過小評価されていると思いますか？私たちはAGIに近づいていると思いますか？私たちはどこに向かっていると思いますか？物事がどれだけ早く変化するかについてのあなたの個人的な賭けは何ですか？私の個人的な賭けは、物事はかなり早く変化するということです。GPT 5はどうなるか想像するのは難しいですが、ますます人間の監視が減り、ますます素晴らしいことが行われるようになると思います。私たちはAGIを実現しますか？いいえ、そうは思いません。なぜなら、人間がAGIのゴールポストを常に動かすと思うので、実際に人類を支配するまで私たちが構築するシステムは私たちにとってAGIと見なされません。深く掘り下げるには後で飲み物を飲まなければなりませんが、あなたの業界に具体的にどのような影響があると思いますか？たとえば、今日、ある会社の契約の50％がアイアンクラッドのAIシステムによってレビューされているとしたら、GPT 5ではさらに人間のレビューが必要なくなり、より多くのことができるようになります。顧客にとって、それは法務業務の様相を完全に変えると思いますし、顧客やユーザーが日々行っていることも変わると思います。私のAIがAIと交渉したり、何が起こるのか、などと言っているだけです。ええ、まだそんなことは起きていません。実際に調べる必要はないと思います。彼が2つの自動交渉契約を結んだことがあるかどうか。もしそれが本当なら、番組のメモに追加します。Ironcladの顧客2社が基本的にAISを対決させたことがあるかどうか知りたいです。調べてみます。パーセンテージからすると、今頃そうなっている可能性が高いと思います。調べてみます。でも、法務業務の将来やAIの影響という点では、契約の取り方や法務業務の取り方を根本的に変えることになると思います。でも、2年後には法務の仕事の44%がなくなるという統計があったような話もあると思いますが、私はそれが現実だとは思いません。それは真実になると思います。なぜなら、私たちが最終的に持っているのは、一種の能力の軍拡競争のようなもので、法務の仕事はしばしば2つの側面があり、誰かが防御し、誰かが最終的に訴訟に至ります。そのため、現在多くの法務チームが仕事を優先し、何がうまくいかないか、どのように会社を保護するかに焦点を当てており、うまくいかないかもしれないが、非常に起こりそうにないロングテールのようなことに焦点を当てる必要がないと思います。一方、企業に対して行動を起こそうとしている人々は、最も可能性の高いものを追いかけようとしていますが、必ずしもロングテールを見つけるわけではありません。そのため、法務の世界で生成AIによって何が起こるかは、それが両側に力を与えることだと思います。欠点を見つけ、欠点の所在を突き止めようとしている人々に力を与え、そのロングテールを非常に効果的に調査できるようにします。そして、エンティティを欠点から守ろうとしている人々は、そのロングテールに焦点を当て、実際にそのロングテールを解決する必要があります。それを実現する唯一の方法は、ジェネレーティブAIを使用することです。そのため、少し循環的になると思います。これは、人類全体にとって、社会として物事がどのように機能するかということにもつながると思います。人間社会として、ジェネレーティブAIでは難しい作業に価値を置き始め、ジェネレーティブAIで簡単に実行できる作業に価値を置き始めるでしょう。私たちは、人工知能よりも人間の知能が優位であると主張し続けるでしょう。それが本当かどうかはわかりませんが、ある観点からはおそらく本当です。そして、締めくくりの前の最後の質問ですが、あなたはGenを最も早く採用した企業の1つだと思います。ある意味では、それを使って便利な製品を作る最も成功した企業の1つであり、他の企業への道を切り開いてきました。今日、AIの旅を始める企業のCTOまたは製品リーダーに、どのようなアドバイスをしますか？早い段階でどのようなことを検討すべきか、成功の可能性を最大化するにはどうすればよいかなど。今日、AIを始めたばかりの企業の場合、おそらく何かに本当に大きな賭けをすることを検討するでしょう。非常に多くの人が、破壊的なテクノロジーとして生成AIに群がっているため、ゆっくりと方向を決めてそこにたどり着く時間はあまりありません。本当にコミットして、これが道だと言う必要があると思います。なぜなら、もしあなたが間違っていたら、申し訳ありませんが、数年後にもう一度やり直してください。しかし、あなたが正しいのに、大きな賭けをしなかったり、確信を持ってその方向にできるだけ速く動かなかったりすると、あなたの隣に同じ方向を向いている人や、その方向を見つけている人がいて、間違っているよりもずっと悪いです。正しいが、正しいという確信が十分でなかったら、私たちは深いところまで行きました。最後に、私たちとチャットする時間を割いてくれたことに心から感謝したいと思います。本当に興味深い会話でした。もっと話したい話題がたくさんありました。時間を割いていただいて本当に感謝しています。本当にありがとうございました。そうですね、いつもあなたとの会話を楽しんでいます、ルーサ。番組に出演させていただきありがとうございました。光栄です。