Hugging Faceへのモデルのアップロード

未来の私のために、備忘録。

1. ログイン

アクセストークンの払い出し。書き込み（Write）権限を付与を忘れずに。

https://huggingface.co/settings/tokens

cliコマンドからログインします。

huggingface-cli login

 Token: と表示されます。

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    To login, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Token:

払い出したアクセストークンをコピペします。

Add token as git credential? (Y/n)
Token is valid (permission: write).
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /path/to/.cache/huggingface/token
Login successful

2. リポジトリの作成

アップロードする先を作成します。

https://huggingface.co/new

Model nameとLisenceを入力したら、Create modelボタンを押下します。

3. モデルのアップロード

gitコマンドでアップロードします。
まずは、git cloneしましょう。

git lfs install
git clone https://huggingface.co/<Owner>/<Model name>

クローン直後は、こんな感じです。

$ ls -al
total 20
drwxrwxr-x 3 user user 4096  1月 29 12:42 .
drwxrwxr-x 3 user user 4096  1月 29 12:41 ..
drwxrwxr-x 8 user user 4096  1月 29 12:41 .git
-rw-rw-r-- 1 user user 1519  1月 29 12:41 .gitattributes
-rw-rw-r-- 1 user user  487  1月 29 12:42 README.md
$

ここにアップロードしたいモデルを移動します。

$ ls -al
total 25424020
drwxrwxr-x 3 user user       4096  1月 29 12:43 .
drwxrwxr-x 3 user user       4096  1月 29 12:41 ..
-rw-rw-r-- 1 user user        779  1月 28 01:04 config.json
drwxrwxr-x 8 user user       4096  1月 29 12:41 .git
-rw-rw-r-- 1 user user       1519  1月 29 12:41 .gitattributes
-rw-rw-r-- 1 user user       1626  1月 28 01:04 mergekit_config.yml
-rw-rw-r-- 1 user user 9948687888  1月 28 01:03 model-00001-of-00003.safetensors
-rw-rw-r-- 1 user user 9904123616  1月 28 01:04 model-00002-of-00003.safetensors
-rw-rw-r-- 1 user user 6178959040  1月 28 01:04 model-00003-of-00003.safetensors
-rw-rw-r-- 1 user user      28425  1月 28 01:04 model.safetensors.index.json
-rw-rw-r-- 1 user user       2314  1月 28 01:04 README.md
-rw-rw-r-- 1 user user        552  1月 28 01:04 special_tokens_map.json
-rw-rw-r-- 1 user user        937  1月 28 01:04 tokenizer_config.json
-rw-rw-r-- 1 user user    1842767  1月 28 01:04 tokenizer.json
-rw-rw-r-- 1 user user     499723  1月 28 01:04 tokenizer.model
$

以下のコマンドでカレントディレクトリのリポジトリのLFSを有効にします。

huggingface-cli lfs-enable-largefiles .

git addして追加。

git add .

git statusで確認。

$ git status
On branch main
Your branch is up to date with 'origin/main'.

Changes to be committed:
  (use "git restore --staged <file>..." to unstage)
        modified:   README.md
        new file:   config.json
        new file:   mergekit_config.yml
        new file:   model-00001-of-00003.safetensors
        new file:   model-00002-of-00003.safetensors
        new file:   model-00003-of-00003.safetensors
        new file:   model.safetensors.index.json
        new file:   special_tokens_map.json
        new file:   tokenizer.json
        new file:   tokenizer.model
        new file:   tokenizer_config.json

$

git commit。

git commit -m "First model version"

（注）git config して email, nameを設定しておいてくださいね。commit時にエラーになりますから。

  git config --global user.email "you@example.com"
  git config --global user.name "Your Name"

最後に、git push

git push