AI関連拡張子

littlebuddha

ChatGPTに教えてもらったAIモデル関連の拡張子一覧です。
合っているかどうかはわかりません。


TensorFlow

  1. .pb (SavedModel 形式)

    • 主催者: Google

    • 由来: Protocol Buffers（protobuf）から名前が取られています。

    • 特性: アーキテクチャと重みを一緒に保存し、TensorFlow Servingで簡単にデプロイできる。

    • 関連ライブラリ: TensorFlow, TensorFlow Lite

    • 特徴: バージョン管理が可能で、多くの異なるAPIに対応しています。

  2. .ckpt (チェックポイントファイル)

    • 主催者: Google

    • 由来: "Checkpoint"から。

    • 特性: トレーニング途中のモデルの状態を保存。

    • 関連ライブラリ: TensorFlow

    • 特徴: ファイルが二つ生成されることが多く（データファイルとインデックスファイル）、状態を後で復元してトレーニングを再開できる。

PyTorch

  1. .pth or .pt (PyTorch セーブファイル)

    • 主催者: Facebook

    • 由来: PyTorch ("PyTorch"の略)。

    • 特性: モデルのパラメータだけでなく、オプティマイザの状態も保存可能。

    • 関連ライブラリ: PyTorch

    • 特徴: Pythonのpickleモジュールを用いてシリアライズされる。

Keras

  1. .h5 (HDF5 形式)

    • 主催者: HDF Group

    • 由来: Hierarchical Data Format version 5。

    • 特性: 多次元配列データを効率よく保存できる。

    • 関連ライブラリ: Keras, h5py

    • 特徴: アーキテクチャと重みを一緒に保存する。

ONNX

  1. .onnx (ONNX 形式)

    • 主催者: MicrosoftとFacebookの共同プロジェクト。

    • 由来: Open Neural Networks Exchange。

    • 特性: フレームワークに依存しない。

    • 関連ライブラリ: ONNX Runtime, PyTorch, TensorFlow, etc.

    • 特徴: 異なるフレームワーク間でのモデルの移植が容易。

Safetensors

  1. .safetensors

    • 主催者: HuggingFace

    • 由来: "Safetensors"は、安全性に重点を置いたテンソル形式であることから。

    • 特性: 高い読み込み速度と安全性。

    • 関連ライブラリ: HuggingFace Transformers

    • 特徴: 悪意のあるコードの実行リスクが低い。

GGML

  1. 特定なし

    • 主催者: Georgi Gerganov

    • 由来: 開発者のGeorgi Gerganovのイニシャルから。

    • 特性: 大規模言語モデルをローカルで扱い、低レベルの機械学習プリミティブ（テンソル型など）を定義。

    • 関連ライブラリ: llama.cpp, whisper.cpp

    • 特徴: GPUなしでチャットAIを動作させることができる。16ビット浮動小数点数と整数量子化（4ビット、5ビット、8ビットなど）をサポート。

GGUF

  1. 特定なし

    • 主催者: 特定されていない（Georgi Gerganovに関連する可能性）

    • 由来: GGUFの正確な由来は不明。

    • 特性: ローカルで大規模言語モデル（LLM）を動作させ、特にストーリーテリングに適している。

    • 関連ライブラリ: ctransformers

    • 特徴: ファイルサイズが非常に大きい（20GB）であり、T4のVRAM 15GBに収まるようにGPUオフロードの調整が必要。

いいなと思ったら応援しよう！