Generative AI Tech Stack（生成AIテックスタック）

はじめに

昨年は生成AI（Generative AI, Gen AI等ともいう）が注目を集めた1年だった。2023年のウェブ解析士協会が発表した「SNS流行語ランキング」では、1位に「ChatGPT・生成AI」が、2023ユーキャン新語・流行語大賞ではTop10に「生成AI」が選ばれた。

改めて生成AIのブームを支える企業・スタートアップについて、振り返ってみたいと思う。また、今回は生成AIを取り巻くエコシステム及びプレイヤーを掴むために、生成AIのバリューチェーンを調査したい。

Generative AI Tech Stack created by Madrona Ventures

すでに先人が素晴らしいレポートを発表しており、その中でも、Madrona VenturesがまとめているGenerative AI Tech Stackが包括的にバリューチェーンを表現していたため、そちらの中身を勉強する形で理解を深めたい。

The Generative AI Stack created by Madrona Ventures

まず前段として、Madrona Venturesについて見ていく。
Madrona Venturesは、シアトルに拠点を置くベンチャーキャピタルで、1995年から西海外を中心に投資を行っており、Amazon, Smartsheet, Snowflakeなどの企業をバックアップしたVCだ。

この記事を書いたPalak Goel氏は、元はMicrosoftのプロダクトマネージャーとしてOutlook、Microsoft Edge、Microsoft Teams、Windows、Visual Studio、Bingなど幅広いプロダクトに携わっており、直近のプロジェクトはMicrosoft Turingという基盤モデルの構築とMicrosoft製品への適用とのことで、本当のプロフェッショナルだ。投資家としては、AI/MLを活用したアプリケーション、オープンソースプロジェクト、クラウド、データインフラ関連が興味領域だ。

そんなPalak Goel氏がまとめた、Generative AI Tech Stackについて見ていく。

Generative AI Tech Stackの詳細

本生成AIの技術スタックは、以下のようなレイヤーから構成されている。

• アプリケーション

• アプリケーションフレームワーク

• モデル

• データ

• 評価

• デプロイ

それでは、各レイヤー毎の役割及びスタートアップについて見ていく。

アプリケーション

コンテンツ生成や意味検索、エージェント等、ユーザに近く馴染みがあるサービスが多い。日本ではアニメ制作向け生成AIを提供するスタートアップ(Kaka Creation, G-VISなど)が出てきており、それらのサービスもここに含まれる。

アプリケーションフレームワーク

生成AIのシンプルかつ高速化するためのフレームワークである。オープンソースのフレームワークとしてLangChainがよく利用されている。

モデル

モデルのセクションでは、基盤モデルとホスティングサービス、独自モデル開発PL３つの機能で構成される。基盤モデルは、所謂GPT-4やStable Diffusionなど、生成AIのコアとして推論を実行することができる。オープンソースモデルは、ホスティングサービスにて、共有・ダウンロード・利用することができる。一度は聞いたことがあるかもしれない、最も勢いのあるサービスのひとつがHugging Faceだ。最後にこられオープンソースのモデルをカスタマイズして独自モデルの構築を助けるサービスもいくつか存在しており、2023年7月にDatabricksが買収を発表したMosaicMLが有名だろう。

データ

データのセクションでは、データローダー、ベクトルデータベース、コンテキストウインドウの３つの機能で構成される。データローダーは、ETL Pipelineを提供し、企業が保有しているPDFやパワーポイントの様な非構造化データをAIのデータセットとして価値化する。Unstructured.io、その他Notionの様なデータの活用をサポートするツールが挙げられる。また、データそのものはHugging Faceでも入手することができる。
ベクトルデータベースは、最も注目されておりホットなスタートアップセクターのひとつだろう。生成AIの様に非構造化データに対して、モデルを構築する場合、得てしてデータをベクトル化して扱う必要が出てくる。そのベクトルをそのまま保存することで、効果的に検索、活用ができるようになる。
検索拡張生成(RAG)という手法では、LLMのファインチューニングを必要とせず、独自データをプロンプトに組み込み、回答に反映させる。LangChainやLlamaIndexはコンテキストウインドウからそのデータを組み込むことをサポートする。RAGに用いる独自データはベクトル化された状態で保持されることが多く、先のベクトルデータベースが活用される。

評価プラットフォーム

大規模言語モデル（LLM）は、さまざまなタスクで高いパフォーマンスを発揮するが、モデルのパフォーマンス、推論コスト、遅延の間のトレードオフが存在する。、プロンプト エンジニアリング、実験、可観測性の3つの方法で、このトレードオフを最適化することができる。

プロンプトエンジニアリングは、LLMの出力を制御するためのプロンプトの作成と最適化のプロセスであり、開発者は、ノーコード/ローコードツールを使用して、プロンプトを反復処理し、さまざまな出力を確認することができる。
MLエンジニアはツールを使うことで、プロンプト、ファインチューニング、モデル自体の実験を行うことができる。実験用モデルはステージング環境で人手のラベル付け、ベンチマークデータセット、LLMを使って評価できる。一方、商用環境でのデータドリブンな実験と高速イテレーションが競争力を持たせるために重要であり、Statsig等を利用することで実現できる。
商用環境にアプリケーションをデプロイした後、モデルのパフォーマンス、コスト、レイテンシ、動作を長期にわたってモニタリングする必要がある。特にモデル出力の品質、悪意のある使用パターンからの保護は、責任あるAI開発の観点から、重要な課題である。図には含まれないが、日本ではRobust Intelligenceがモニタリングプラットフォーム開発者として知られている。

デプロイ

最後はモデルの商用環境へのデプロイを支援するツールだ。Gradioのような一般的なフレームワークが利用できる。またFixieを利用してAIエージェントの共有という方法も利用できる。

以上が、生成型AIの技術スタックの概要である。この下のハードレイヤーにチップのNvidia, ARM, GoogleのTPUがあり、インフラとしてのクラウドサービスのAWS, Azure, GCPが支える構図といえるだろう。

最後に

今回紹介したサービスをウォッチすることで、生成型AIの可能性や課題、トレンドへの理解を深めていきたい。次は日本の生成AIを取り巻くスタートアップシーンを掘っていきたい。