AI関連拡張子

ChatGPTに教えてもらったAIモデル関連の拡張子一覧です。
合っているかどうかはわかりません。


TensorFlow

1. .pb (SavedModel 形式)

   • 主催者: Google

   • 由来: Protocol Buffers（protobuf）から名前が取られています。

   • 特性: アーキテクチャと重みを一緒に保存し、TensorFlow Servingで簡単にデプロイできる。

   • 関連ライブラリ: TensorFlow, TensorFlow Lite

   • 特徴: バージョン管理が可能で、多くの異なるAPIに対応しています。

2. .ckpt (チェックポイントファイル)

   • 主催者: Google

   • 由来: "Checkpoint"から。

   • 特性: トレーニング途中のモデルの状態を保存。

   • 関連ライブラリ: TensorFlow

   • 特徴: ファイルが二つ生成されることが多く（データファイルとインデックスファイル）、状態を後で復元してトレーニングを再開できる。

PyTorch

1. .pth or .pt (PyTorch セーブファイル)

   • 主催者: Facebook

   • 由来: PyTorch ("PyTorch"の略)。

   • 特性: モデルのパラメータだけでなく、オプティマイザの状態も保存可能。

   • 関連ライブラリ: PyTorch

   • 特徴: Pythonのpickleモジュールを用いてシリアライズされる。

Keras

1. .h5 (HDF5 形式)

   • 主催者: HDF Group

   • 由来: Hierarchical Data Format version 5。

   • 特性: 多次元配列データを効率よく保存できる。

   • 関連ライブラリ: Keras, h5py

   • 特徴: アーキテクチャと重みを一緒に保存する。

ONNX

1. .onnx (ONNX 形式)

   • 主催者: MicrosoftとFacebookの共同プロジェクト。

   • 由来: Open Neural Networks Exchange。

   • 特性: フレームワークに依存しない。

   • 関連ライブラリ: ONNX Runtime, PyTorch, TensorFlow, etc.

   • 特徴: 異なるフレームワーク間でのモデルの移植が容易。

Safetensors

1. .safetensors

   • 主催者: HuggingFace

   • 由来: "Safetensors"は、安全性に重点を置いたテンソル形式であることから。

   • 特性: 高い読み込み速度と安全性。

   • 関連ライブラリ: HuggingFace Transformers

   • 特徴: 悪意のあるコードの実行リスクが低い。

GGML

1. 特定なし

   • 主催者: Georgi Gerganov

   • 由来: 開発者のGeorgi Gerganovのイニシャルから。

   • 特性: 大規模言語モデルをローカルで扱い、低レベルの機械学習プリミティブ（テンソル型など）を定義。

   • 関連ライブラリ: llama.cpp, whisper.cpp

   • 特徴: GPUなしでチャットAIを動作させることができる。16ビット浮動小数点数と整数量子化（4ビット、5ビット、8ビットなど）をサポート。

GGUF

1. 特定なし

   • 主催者: 特定されていない（Georgi Gerganovに関連する可能性）

   • 由来: GGUFの正確な由来は不明。

   • 特性: ローカルで大規模言語モデル（LLM）を動作させ、特にストーリーテリングに適している。

   • 関連ライブラリ: ctransformers

   • 特徴: ファイルサイズが非常に大きい（20GB）であり、T4のVRAM 15GBに収まるようにGPUオフロードの調整が必要。