OpenAIの 新モデルの追加 と APIの更新
2024年1月25日に発表された、OpenAIの 新モデルの追加 と APIの更新 についてまとめました。
1. OpenAIの 新モデルの追加 と APIの更新
2024年1月25日、OpenAIの 新モデルの追加 と APIの更新 が発表されました。
・新しいEmbeddingモデルの追加
・GPT-4 Turbo Previewの更新
・GPT-3.5 Turboの更新
・モデレーションモデルの更新
・APIキーの管理方法の改善
2. 新しいEmbeddingモデルの追加
2-1. 新しいEmbeddingモデル
2つの新しい「Embeddingモデル」を追加します。
・text-embedding-3-small : 小型で高効率
・text-embedding-3-large : 大規模で高性能
「Embedding」は、自然言語やコードなどのコンテンツ内の概念を表す一連の数字です。「Embedding」により、機械学習モデルやその他のアルゴリズムがコンテンツ間の関係を理解し、クラスタリングや取得などのタスクを実行することが容易になります。これらは、「ChatGPT」と「Assistant API」の両方での知識検索などのアプリケーションや、多くのRAG (検索拡張生成) を強化します。
2-2. text-embedding-3-small
「text-embedding-3-small」は、新しい高効率な「Embeddingモデル」であり、2022年12月にリリースされた前モデルの「text-embedding-ada-002」に比べて大幅にアップグレードしています。
・パフォーマンス
「text-embedding-3-small」は「text-embedding-ada-002」と比較すると、一般的に使用される多言語検索ベンチマーク (MIRACL) の平均スコアは 31.4% から 44.0% に増加し、英語タスクのベンチマーク (MTEB) は 61.0% から 62.3% に増加しました。
・価格
「text-embedding-3-small」 の価格は「text-embedding-ada-002」と比べて5倍に引き下げられ、1,000 トークンあたりの価格が 0.0001 ドルから 0.00002 ドルになりました。
2-3. text-embedding-3-large
「text-embedding-3-large」は、より大きな埋め込みモデルで、最大3072次元のEmbeddingを作成します。
・パフォーマンス
「text-embedding-3-large」は「text-embedding-ada-002」と比較すると、MIRACLでは平均スコアが 31.4% から 54.9% に増加し、MTEBでは平均スコアが 61.0% から 64.6% に増加しました。
・価格
「text-embedding-3-large」の価格は、0.00013 ドル / 1,000 トークンです。
新しい「Embeddingモデル」について詳しくは、「Embeddings guide」を参照してください。
2-4. 短縮Embeddingのネイティブサポート
より大きなEmbeddingを使用する (RetrievalのためにVector Storeに保存するなど) と、一般に、より小さなEmbeddingを使用する場合よりもコストが高くなり、より多くのコンピューティング、メモリ、ストレージを消費します。
新しいEmbeddingモデルは両方とも、開発者がEmbeddingの使用にかかるパフォーマンスとコストをトレードオフできる手法を使用して学習されました。 具体的には、開発者は、「dimensions」パラメータを渡すことで、Embeddigがその概念を失うことなく、Embeddingを短縮する (つまり、シーケンスの末尾からいくつかの数値を削除する) ことができます。 たとえば、MTEBベンチマークでは、「text-embedding-3-large」埋め込みは256のサイズに短縮できますが、短縮されていないサイズ1536の「text-embedding-ada-002」埋め込みよりもパフォーマンスが優れています。
これにより、非常に柔軟な使用が可能になります。たとえば、最大1024 次元の長さのEmbeddingのみをサポートするVector Storeを使用する場合、開発者は引き続き最適な埋め込みモデル「text-embedding-3-large」を使用し、「dimensions」パラメータの値 1024 を指定できます。Embeddingは 3072 次元から減少し、ベクトルサイズが小さくなる代わりにある程度の精度が犠牲になります。
3. GPT-3.5 Turboの更新
来週、新しいGPT-3.5 Turboモデル「gpt-3.5-turbo-0125」を発表します。新しいモデルの入力価格は 50% 引き下げられて $0.0005 /1K トークン、出力価格は 25% 引き下げられて $0.0015 /1K トークンになります。 このモデルには、要求された形式での応答精度の向上や、英語以外の言語の「Function Calling」でテキストエンコードの問題を引き起こした不具合の修正など、さまざまな改善も加えられています。
固定された「gpt-3.5-turbo」 エイリアスを使用している場合、このモデルのリリースから 2 週間後に「gpt-3.5-turbo-0613」から「gpt-3.5-turbo-0125」 に自動的にアップグレードされます。
4. GPT-4 Turbo Previewの更新
本日、新しいGPT-4 Turbo Previewモデル「gpt-4-0125-preview」をリリースします。このモデルは、以前のpreviewモデルよりもコード生成などのタスクをより徹底的に完了し、モデルがタスクを完了しない「怠惰」のケースを減らすことを目的としています。新しいモデルには、英語以外のUTF-8に影響を与えるバグの修正も含まれています。
新しい 「GPT-4 Turbo Preview」に自動的にアップグレードしたい人のために、新しい「gpt-4-turbo-preview」エイリアスも導入しています。これは常に最新の「GPT-4 Turbo Preview」モデルを指します。
今後数か月以内に「GPT-4 Turbo」を一般公開する予定です。
5. モデレーションモデルの更新
これまでで最も堅牢なモデレーションモデルである「text-moderation-007」をリリースします。「text-moderation-latest」および「text-moderation-stable」エイリアスが、それを指すように更新されました。
安全なAIシステムの構築について詳しくは、「safety best practices guide」を参照してください。
6. APIキーの管理方法の改善
開発者がAPI キーの使用状況をより詳細に把握し、制御できるようにするため、APIキーの管理方法の改善を開始しました。
開発者はAPI キーページからAPI キーに権限を割り当てることができるようになりました。 たとえば、内部追跡ダッシュボードを強化するためにキーに読み取り専用アクセスを割り当てたり、特定のエンドポイントへのアクセスのみに制限したりすることができます。
使用状況ダッシュボードと使用状況エクスポート機能は、追跡を有効にした後、API キーレベルでメトリクスを公開するようになりました。これにより、それぞれに個別のAPI キーを用意するだけで、機能、チーム、製品、またはプロジェクトレベルごとの使用状況を表示できるようになります。
今後数か月間で、特に大規模組織において、開発者がAPIの使用状況を確認し、APIキーを管理できる機能をさらに改善する予定です。