Hugging Faceへのモデルのアップロード
未来の私のために、備忘録。
1. ログイン
アクセストークンの払い出し。書き込み(Write)権限を付与を忘れずに。
https://huggingface.co/settings/tokens
cliコマンドからログインします。
huggingface-cli login
Token: と表示されます。
_| _| _| _| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _|_|_|_| _|_| _|_|_| _|_|_|_|
_| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _|
_|_|_|_| _| _| _| _|_| _| _|_| _| _| _| _| _| _|_| _|_|_| _|_|_|_| _| _|_|_|
_| _| _| _| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _|
_| _| _|_| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _| _| _| _|_|_| _|_|_|_|
To login, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Token:
払い出したアクセストークンをコピペします。
Add token as git credential? (Y/n)
Token is valid (permission: write).
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /path/to/.cache/huggingface/token
Login successful
2. リポジトリの作成
アップロードする先を作成します。
Model nameとLisenceを入力したら、Create modelボタンを押下します。
3. モデルのアップロード
gitコマンドでアップロードします。
まずは、git cloneしましょう。
git lfs install
git clone https://huggingface.co/<Owner>/<Model name>
クローン直後は、こんな感じです。
$ ls -al
total 20
drwxrwxr-x 3 user user 4096 1月 29 12:42 .
drwxrwxr-x 3 user user 4096 1月 29 12:41 ..
drwxrwxr-x 8 user user 4096 1月 29 12:41 .git
-rw-rw-r-- 1 user user 1519 1月 29 12:41 .gitattributes
-rw-rw-r-- 1 user user 487 1月 29 12:42 README.md
$
ここにアップロードしたいモデルを移動します。
$ ls -al
total 25424020
drwxrwxr-x 3 user user 4096 1月 29 12:43 .
drwxrwxr-x 3 user user 4096 1月 29 12:41 ..
-rw-rw-r-- 1 user user 779 1月 28 01:04 config.json
drwxrwxr-x 8 user user 4096 1月 29 12:41 .git
-rw-rw-r-- 1 user user 1519 1月 29 12:41 .gitattributes
-rw-rw-r-- 1 user user 1626 1月 28 01:04 mergekit_config.yml
-rw-rw-r-- 1 user user 9948687888 1月 28 01:03 model-00001-of-00003.safetensors
-rw-rw-r-- 1 user user 9904123616 1月 28 01:04 model-00002-of-00003.safetensors
-rw-rw-r-- 1 user user 6178959040 1月 28 01:04 model-00003-of-00003.safetensors
-rw-rw-r-- 1 user user 28425 1月 28 01:04 model.safetensors.index.json
-rw-rw-r-- 1 user user 2314 1月 28 01:04 README.md
-rw-rw-r-- 1 user user 552 1月 28 01:04 special_tokens_map.json
-rw-rw-r-- 1 user user 937 1月 28 01:04 tokenizer_config.json
-rw-rw-r-- 1 user user 1842767 1月 28 01:04 tokenizer.json
-rw-rw-r-- 1 user user 499723 1月 28 01:04 tokenizer.model
$
以下のコマンドでカレントディレクトリのリポジトリのLFSを有効にします。
huggingface-cli lfs-enable-largefiles .
git addして追加。
git add .
git statusで確認。
$ git status
On branch main
Your branch is up to date with 'origin/main'.
Changes to be committed:
(use "git restore --staged <file>..." to unstage)
modified: README.md
new file: config.json
new file: mergekit_config.yml
new file: model-00001-of-00003.safetensors
new file: model-00002-of-00003.safetensors
new file: model-00003-of-00003.safetensors
new file: model.safetensors.index.json
new file: special_tokens_map.json
new file: tokenizer.json
new file: tokenizer.model
new file: tokenizer_config.json
$
git commit。
git commit -m "First model version"
(注)git config して email, nameを設定しておいてくださいね。commit時にエラーになりますから。
git config --global user.email "you@example.com"
git config --global user.name "Your Name"
最後に、git push
git push
この記事が気に入ったらサポートをしてみませんか?