![見出し画像](https://assets.st-note.com/production/uploads/images/122964986/rectangle_large_type_2_28f55b96415829b00d5df524f3205b5a.png?width=800)
ローカルLLM のリリース年表
主な「ローカルLLM」のリリース年表をまとめました。
2022年
11月30日 OpenAI - ChatGPT リリース
2023年
2月24日 LLaMA
7B、13B、33B、65B を研究者向けの限定リリース。
3月13日 Alpaca
Instructionデータセットによる学習効果が注目される。
3月14日 OpenAI - GPT-4 リリース
3月19日 Llama.cpp
Llamaの高速推論が注目される。
3月20日 Alpaca-LoRA
LoRAでのInstructionデータセットによる学習効果が注目される。
3月30日 Vicuna
ShareGPT (ChatGPTログ) による学習効果が注目される。
4月17日 RedPajama-Data-1T
オープンなLlamaを実装するため大規模データセットが作成される。
5月15日 RWKV-Raven
・RWKV/rwkv-raven-14b
・RWKV/rwkv-raven-7b
・RWKV/rwkv-raven-3b
・RWKV/rwkv-raven-1b5
・RWKV/rwkv-4-14b-pile
・RWKV/rwkv-4-7b-pile
・RWKV/rwkv-4-3b-pile
・RWKV/rwkv-4-1b5-pile
・RWKV/rwkv-4-430m-pile
・RWKV/rwkv-4-169m-pile
5月17日 Rinna-3.6B
・rinna/japanese-gpt-neox-3.6b
・rinna/japanese-gpt-neox-3.6b-instruction-sft
5月18日 OpenCALM
・cyberagent/open-calm-7b
・cyberagent/open-calm-3b
・cyberagent/open-calm-1b
・cyberagent/open-calm-large
・cyberagent/open-calm-small
・cyberagent/open-calm-medium
5月31日 Rinna-3.6B-instruction-ppo
・rinna/japanese-gpt-neox-3.6b-instruction-ppo
7月14日 RWKV-4-World
日本語モデルも提供。
・BlinkDL/rwkv-4-world
7月17日 OpenAI - Code Interpreter リリース
7月19日 LLaMA 2
・meta-llama/Llama-2-7b-hf
・meta-llama/Llama-2-13b-hf
・meta-llama/Llama-2-70b-hf
・meta-llama/Llama-2-7b-chat-hf
・meta-llama/Llama-2-13b-chat-hf
・meta-llama/Llama-2-70b-chat-hf
・meta-llama/Llama-2-7b
・meta-llama/Llama-2-13b
・meta-llama/Llama-2-70b
・meta-llama/Llama-2-7b-chat
・meta-llama/Llama-2-13b-chat
・meta-llama/Llama-2-70b-chat
7月31日 Rinna-4B
・rinna/bilingual-gpt-neox-4b
・rinna/bilingual-gpt-neox-4b-8k
・rinna/bilingual-gpt-neox-4b-instruction-sft
・rinna/bilingual-gpt-neox-4b-instruction-ppo
・rinna/bilingual-gpt-neox-4b-minigpt4
8月10日 Japanese StableLM Alpha-7B
・stabilityai/japanese-stablelm-base-alpha-7b
・stabilityai/japanese-stablelm-instruct-alpha-7b
8月11日 AIBunCho-6B
・AIBunCho/japanese-novel-gpt-j-6b
8月14日 Line-3.6B
・line-corporation/japanese-large-lm-3.6b
8月17日 Japanese InstructBLIP Alpha
・stabilityai/japanese-instructblip-alpha
8月18日 Line-3.6B-instruction-sft
・line-corporation/japanese-large-lm-3.6b-instruction-sft
8月22日 WebLab-10B
・matsuo-lab/weblab-10b
・matsuo-lab/weblab-10b-instruction-sft
8月24日 CodeLlama
・codellama/CodeLlama-34b-hf
・codellama/CodeLlama-34b-Instruct-hf
・codellama/CodeLlama-34b-Python-hf
・codellama/CodeLlama-13b-hf
・codellama/CodeLlama-13b-Instruct-hf
・codellama/CodeLlama-13b-Python-hf
・codellama/CodeLlama-7b-hf
・codellama/CodeLlama-7b-Instruct-hf
・codellama/CodeLlama-7b-Python-hf
8月29日 ELYZA-7B
・elyza/ELYZA-japanese-Llama-2-7b-instruct
・elyza/ELYZA-japanese-Llama-2-7b-fast-instruct
・elyza/ELYZA-japanese-Llama-2-7b
・elyza/ELYZA-japanese-Llama-2-7b-fast
9月6日 Open Interpreter
ローカル環境で、OpenAIの「Code Interpreter」相当の機能を実行可能になる。
9月6日 Falcon 180B
ローカルLLM初の180BでGPT-3 (175B) 以上のパラメータになる。
・tiiuae/falcon-180B
9月7日 Heron
大規模マルチモーダル学習ライブラリ。
・turing-motors/heron-preliminary-git-Llama-2-70b-v0
・turing-motors/heron-chat-blip-ja-stablelm-base-7b-v0
・turing-motors/heron-chat-git-ELYZA-fast-7b-v0
・turing-motors/heron-chat-git-ja-stablelm-base-7b-v0
9月21日 Xwin-LM
ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデル。
・Xwin-LM/Xwin-LM-70B-V0.1
・Xwin-LM/Xwin-LM-13B-V0.1
・Xwin-LM/Xwin-LM-7B-V0.1
9月25日 OpenAI - GPT-4Vリリース
9月27日 Mistral-7B-v0.1
「Mistral AI」が開発したLLM。7Bにもかわらず「Llama 2 13B」や「Llama 1 34B」など大きなモデルよりもベンチマークで高スコアを獲得したモデル。
・mistralai/Mistral-7B-v0.1
・mistralai/Mistral-7B-Instruct-v0.1
9月28日 PLaMo-13B
・pfnet/plamo-13b
10月3日 Qwen-14B
・Qwen/Qwen-14B
・Qwen/Qwen-14B-Chat
10月5日 LLaVA-1.5
「LLaVA-1.5」は、画像分析も可能なマルチモーダルなオープンソースLLM。
・liuhaotian/llava-v1.5-13b
10月10日 Japanese StableLM Instruct Alpha-7B-v2
・stabilityai/japanese-stablelm-instruct-alpha-7b-v2
10月20日 LLM-jp-13B
・llm-jp-13b-instruct-full-jaster-v1.0
・llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0
・llm-jp-13b-instruct-full-dolly-oasst-v1.0
・llm-jp-13b-instruct-lora-jaster-v1.0
・llm-jp-13b-instruct-lora-jaster-dolly-oasst-v1.0
・llm-jp-13b-instruct-lora-dolly-oasst-v1.0
・llm-jp-13b-v1.0
・llm-jp-1.3b-v1.0
10月25日 Japanese Stable LM 3B-4E1T
・Japanese Stable LM 3B-4E1T Base
・Japanese Stable LM 3B-4E1T Instruct
10月25日 Japanese Stable LM Gamma 7B
・Japanese Stable LM Base Gamma 7B
・Japanese Stable LM Instruct Gamma 7B
10月26日 Stockmark-13B
・stockmark/stockmark-13b
10月27日 Zephyr-7B-Beta
・HuggingFaceH4/zephyr-7b-beta
10月25日 RWKV-5-World-1B5-v2
・rwkv-5-world/RWKV-5-World-1B5-v2-20231025-ctx4096.pth
10月31日 Youri-7B
・rinna/youri-7b
・rinna/youri-7b-instruction
・rinna/youri-7b-chat
・rinna/youri-7b-gptq
・rinna/youri-7b-instruction-gptq
・rinna/youri-7b-chat-gptq
11月2日 Japanese Stable LM Beta
・stabilityai/japanese-stablelm-base-beta-7b
・stabilityai/japanese-stablelm-base-beta-70b
・stabilityai/japanese-stablelm-instruct-beta-7b
・stabilityai/japanese-stablelm-instruct-beta-70b
・stabilityai/japanese-stablelm-base-ja_vocab-beta-7b
・stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b
11月2日 CALM2
・cyberagent/calm2-7b
・cyberagent/calm2-7b-chat
11月6日 OpenAI DevDay
11月4日 DeepSeek Coder
・deepseek-ai/deepseek-coder-33b-instruct
・deepseek-ai/deepseek-coder-33b-base
・deepseek-ai/deepseek-coder-6.7b-instruct
・deepseek-ai/deepseek-coder-6.7b-base
・deepseek-ai/deepseek-coder-5.7bmqa-base
・deepseek-ai/deepseek-coder-1.3b-instruct
・deepseek-ai/deepseek-coder-1.3b-base
11月7日 PLaMo-13B-Instruct
・pfnet/plamo-13b-instruct
・pfnet/plamo-13b-instruct-nc
11月13日 Japanese Stable VLM
11月15日 ELYZA-japanese-CodeLlama-7b
・elyza/ELYZA-japanese-CodeLlama-7b
・elyza/ELYZA-japanese-CodeLlama-7b-instruct
11月15日 Japanese Stable CLIP
・stabilityai/japanese-stable-clip-vit-l-16
11月28日 Starling-7B
・berkeley-nest/Starling-LM-7B-alpha
11月30日 DeepSeek LLM
・deepseek-ai/deepseek-llm-67b-chat
・deepseek-ai/deepseek-llm-67b-base
・deepseek-ai/deepseek-llm-7b-chat
・deepseek-ai/deepseek-llm-7b-base
12月1日 Qwen-72B・Qwen-Audio
・Qwen/Qwen-72B
・Qwen/Qwen-72B-Chat
・Qwen/Qwen-Audio-Chat
12月6日 Shisa-7B
・augmxnt/shisa-base-7b-v1
・augmxnt/shisa-7b-v1
12月8日 StableLM Zephyr 3B
・stabilityai/stablelm-zephyr-3b
12月8日 StripedHyena-7B
・togethercomputer/StripedHyena-Hessian-7B
・togethercomputer/StripedHyena-Nous-7B
12月9日 Mixtral-8x7b-v0.1
・mistralai/Mixtral-8x7B-v0.1
・mistralai/Mixtral-8x7B-Instruct-v0.1
12月11日 Mistral-7B-Instruct-v0.2
・mistralai/Mistral-7B-Instruct-v0.2
※ Mistral-7B-v0.1ベースのInstructモデルのv0.2
12月13日 phi-2
・microsoft/phi-2
12月19日 Swallow
・tokyotech-llm/Swallow-7b-hf
・tokyotech-llm/Swallow-7b-instruct-hf
・tokyotech-llm/Swallow-13b-hf
・tokyotech-llm/Swallow-13b-instruct-hf
・tokyotech-llm/Swallow-70b-hf
・tokyotech-llm/Swallow-70b-instruct-hf
12月19日 PowerInfer
12月21日 Nekomata
・rinna/nekomata-14b
・rinna/nekomata-14b-instruction
・rinna/nekomata-7b
・rinna/nekomata-7b-instruction
12月27日 ELYZA-japanese-Llama-2-13B
・elyza/ELYZA-japanese-Llama-2-13b
・elyza/ELYZA-japanese-Llama-2-13b-instruct
・elyza/ELYZA-japanese-Llama-2-13b-fast
・elyza/ELYZA-japanese-Llama-2-13b-fast-instruct
12月29日 Karasu・Qarasu
・lightblue/qarasu-14B-chat-plus-unleashed
・lightblue/karasu-7B-chat-plus-unleashed
・lightblue/karasu-7B-chat
・lightblue/karasu-7B
2024年
1月3日 M2UGen
・M2UGen/M2UGen-MusicGen-small
・M2UGen/M2UGen-MusicGen-medium
・M2UGen/M2UGen-AudioLDM2
1月10日 Phixtral
・mlabonne/phixtral-4x2_8
・mlabonne/phixtral-2x2_8
🔀 Phixtral
— Maxime Labonne (@maximelabonne) January 9, 2024
I made the first efficient Mixture of Experts with phi-2 models. 🥳
It combines 2 to 4 fine-tuned models and is better than each individual expert.
🤗 phixtral-2x2_8: https://t.co/XbPpsF76vN
🤗 phixtral-4x2_8: https://t.co/9xfRd46585 pic.twitter.com/coRpRIxG2V
1月16日 Stable Code 3B
1月20日 StableLM 2 1.6B
1月22日 Stable LM 2 1.6B
・stabilityai/stablelm-2-1_6b
・stabilityai/stablelm-2-zephyr-1_6b
1月23日 Orion-14B
・OrionStarAI/Orion-14B-Base
・OrionStarAI/Orion-14B-Chat
・OrionStarAI/Orion-14B-LongChat
・OrionStarAI/Orion-14B-Chat-RAG
・OrionStarAI/Orion-14B-Chat-Plugin
・OrionStarAI/Orion-14B-Base-Int4
・OrionStarAI/Orion-14B-Chat-Int4
1月23日 Yi-VL-34B
1月29日 Eagle-7B
1月29日 CodeLlama-70B
・codellama/CodeLlama-70b-hf
・codellama/CodeLlama-70b-Instruct-hf
・codellama/CodeLlama-70b-Python-hf
1月30日 LLaVA-1.6
・liuhaotian/llava-v1.6-34b
・liuhaotian/llava-v1.6-mistral-7b
・liuhaotian/llava-v1.6-vicuna-13b
・liuhaotian/llava-v1.6-vicuna-7b
1月31日 KARAKURI LM
・karakuri-ai/karakuri-lm-70b-v0.1
・karakuri-ai/karakuri-lm-70b-chat-v0.1
2月4日 Qwen1.5
・Qwen/Qwen1.5-0.5B
・Qwen/Qwen1.5-1.8B
・Qwen/Qwen1.5-4B
・Qwen/Qwen1.5-7B
・Qwen/Qwen1.5-14B
・Qwen/Qwen1.5-72B
・Qwen/Qwen1.5-0.5B-Chat
・Qwen/Qwen1.5-1.8B-Chat
・Qwen/Qwen1.5-4B-Chat
・Qwen/Qwen1.5-7B-Chat
・Qwen/Qwen1.5-14B-Chat
・Qwen/Qwen1.5-72B-Chat
2月9日 LLM-jp 13B v1.1
・llm-jp/llm-jp-13b-dpo-lora-hh_rlhf_ja-v1.1
・llm-jp/llm-jp-13b-instruct-full-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1
・llm-jp/llm-jp-13b-instruct-lora-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1
2月19日 kotomamba
・kotoba-tech/kotomamba-2.8B-v1.0
・kotoba-tech/kotomamba-2.8B-CL-v1.0
2月21日 Gemma
・google/gemma-7b
・google/gemma-7b-it
・google/gemma-2b
・google/gemma-2b-it
2月28日 StarCoder 2
・bigcode/starcoder2-3b
・bigcode/starcoder2-7b
・bigcode/starcoder2-15b
2月28日 BitNet
3月3日 Swallow-7B-plus
3月6日 heron-blip-v1
3月11日 Swallow-MS 7B ・ Swallow-MX 8x7B
・tokyotech-llm/Swallow-MS-7b-v0.1
・tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1
3月11日 Command R
・CohereForAI/c4ai-command-r-v01
・CohereForAI/c4ai-command-r-v01-4bit
3月17日 Grok-1
3月21日 EvoVLM-JP-v1 ・ EvoLLM-JP-v1
・SakanaAI/EvoVLM-JP-v1-7B
・SakanaAI/EvoLLM-JP-v1-10B
・SakanaAI/EvoLLM-JP-A-v1-7B
・SakanaAI/EvoLLM-JP-v1-7B
3月21日 RakutenAI-7B
・Rakuten/RakutenAI-7B-instruct
・Rakuten/RakutenAI-7B-chat
・Rakuten/RakutenAI-7B
3月22日 ao-Karasu-72B
3月24日 Mistral-7B-v0.2
Mistral just announced at @SHACK15sf that they will release a new model today:
— Marvin von Hagen (@marvinvonhagen) March 23, 2024
Mistral 7B v0.2 Base Model
- 32k instead of 8k context window
- Rope Theta = 1e6
- No sliding window pic.twitter.com/iAuEUEOw5K
3月27日 DBRX
3月28日 Qwen1.5-MoE
・Qwen/Qwen1.5-MoE-A2.7B-Chat
・Qwen/Qwen1.5-MoE-A2.7B
・Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4
3月28日 Jamba
4月2日 Qwen1.5-32B
・Qwen/Qwen1.5-32B
・Qwen/Qwen1.5-32B-Chat
4月3日 LightChatAssistant
4月4日 Command R+
4月5日 JetMoE-8B
・jetmoe/jetmoe-8b
・jetmoe/jetmoe-8b-sft
・jetmoe/jetmoe-8b-chat
4月5日 Gemma-1.1
4月8日 Stable LM 2 12B
4月9日 CodeGemma・RecurrentGemma
・google/codegemma-7b
・google/codegemma-7b-it
・google/codegemma-2b
4月15日 Idefics2
・HuggingFaceM4/idefics2-8b
・HuggingFaceM4/idefics2-8b-base
4月15日 Japanese-Starling-ChatV-7B
・TFMC/Japanese-Starling-ChatV-7B
・TFMC/Japanese-Starling-ChatV-7B-GGUF
4月16日 WizardLM-2 8x22B・70B・7B
🔥Today we are announcing WizardLM-2, our next generation state-of-the-art LLM.
— WizardLM (@WizardLM_AI) April 15, 2024
New family includes three cutting-edge models: WizardLM-2 8x22B, 70B, and 7B - demonstrates highly competitive performance compared to leading proprietary LLMs.
📙Release Blog:… pic.twitter.com/bclr4aBib1
4月17日 Mixtral-8x22B-v0.1
・mistralai/Mixtral-8x22B-v0.1
・mistralai/Mixtral-8x22B-Instruct-v0.1
4月18日 Llama 3
・meta-llama/Meta-Llama-3-8B
・meta-llama/Meta-Llama-3-8B-Instruct
・meta-llama/Meta-Llama-3-70B
・meta-llama/Meta-Llama-3-70B-Instruct
4月23日 Suzume-Llama-3-8B
4月23日 Phi-3
・microsoft/Phi-3-mini-4k-instruct
・microsoft/Phi-3-mini-128k-instruct
4月24日 OpenELM
・apple/OpenELM-270M
・apple/OpenELM-450M
・apple/OpenELM-1_1B
・apple/OpenELM-3B
・apple/OpenELM-270M-Instruct
・apple/OpenELM-450M-Instruct
・apple/OpenELM-1_1B-Instruct
・apple/OpenELM-3B-Instruct
4月24日 LEIA
4月24日 Snowflake Arctic
・Snowflake/snowflake-arctic-base
・Snowflake/snowflake-arctic-instruct
4月24日 Antler-7B-Novel-Writing
・Aratako/Antler-7B-Novel-Writing
・Aratako/Antler-7B-Novel-Writing-GGUF
4月26日 SniffyOtter-7B-Novel-Writing-NSFW
・Aratako/SniffyOtter-7B-Novel-Writing-NSFW
・Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF
4月26日 Qwen/Qwen1.5-110B
4月26日 Swallow-MS-7b-instruct v0.1
4月29日 StarCoder2-Instruct
4月30日 LLM-jp-13B v2.0
・llm-jp/llm-jp-13b-instruct-full-ac_001_16x-dolly-ichikara_004_001_single-oasst-oasst2-v2.0
・llm-jp/llm-jp-13b-instruct-full-ac_001-dolly-ichikara_004_001_single-oasst-oasst2-v2.0
・llm-jp/llm-jp-13b-instruct-full-dolly-ichikara_004_001_single-oasst-oasst2-v2.0
・llm-jp/llm-jp-13b-v2.0
5月1日 Llama-3-Youko-8B
5月1日 Ninja-v1 ・ Vecteus-v1
・Local-Novel-LLM-project/Ninja-v1
・Local-Novel-LLM-project/Ninja-v1-128k
・Local-Novel-LLM-project/Ninja-v1-NSFW
・Local-Novel-LLM-project/Ninja-v1-NSFW-128k
・Local-Novel-LLM-project/Vecteus-v1
5月3日 Assistance
5月7日 DeepSeek-V2
5月7日 KARAKURI LM 8x7B Chat v0.1 ・ KARAKURI LM 7B APM v0.1
・karakuri-ai/karakuri-lm-8x7b-chat-v0.1
・karakuri-ai/karakuri-lm-7b-apm-v0.1
KARAKURI LM 8x7B Chat v0.1を公開しました!
— Tomofumi Nakayama (@txmy) May 7, 2024
model: https://t.co/bJJ9Tad1mH
demo: https://t.co/QlWZ8W2i9n
AWS Trainiumで学習されたMoEモデルとしては多分世界初です。
詳細はスレッドに。 pic.twitter.com/2wuBGPZJL5
5月9日 Japanese Stable LM 2 1.6B
・stabilityai/japanese-stablelm-2-base-1_6b
・stabilityai/japanese-stablelm-2-instruct-1_6b
5月9日 ArrowPro-7B-KUJIRA
5月10日 ArrowPro-7B-RobinHood
5月10日 Ocuteus-v1
5月10日 Fugaku-LLM-13B
・Fugaku-LLM/Fugaku-LLM-13B
・Fugaku-LLM/Fugaku-LLM-13B-instruct
5月13日 OpenAI - GPT-4o リリース
5/13 Yi-1.5
・01-ai/Yi-1.5-34B-Chat
・01-ai/Yi-1.5-34B-Chat-16K
・01-ai/Yi-1.5-34B
・01-ai/Yi-1.5-34B-32K
・01-ai/Yi-1.5-9B-Chat
・01-ai/Yi-1.5-9B-Chat-16K
・01-ai/Yi-1.5-9B
・01-ai/Yi-1.5-9B-32K
・01-ai/Yi-1.5-6B-Chat
・01-ai/Yi-1.5-6B
5月14日 PaliGemma
・google/paligemma-3b-pt-224
・google/paligemma-3b-pt-448
・google/paligemma-3b-pt-896
・google/paligemma-3b-mix-224
・google/paligemma-3b-mix-448
5月16日 Stockmark-100b
・stockmark/stockmark-100b
・stockmark/stockmark-100b-instruct-v0.1
5月20日 MiniCPM-Llama3-V 2.5
5月21日 Phi-3-small (7B) ・ Phi-3-medium (14B) ・ Phi-3-vision
・microsoft/Phi-3-small-128k-instruct
・microsoft/Phi-3-small-8k-instruct
・microsoft/Phi-3-medium-128k-instruct
・microsoft/Phi-3-medium-4k-instruct
・microsoft/Phi-3-vision-128k-instruct
5月21日 Ninja-v1-RP-expressive
5月22日 Mistral-7B-v0.3
・mistralai/Mistral-7B-Instruct-v0.3
・mistralai/Mistral-7B-v0.3
5月23日 Aya-23
5月26日 ArrowPro-7B-KillerWhale
5月29日 Codestral-22B-v0.1
5月29日 Umievo-itr012-Gleipnir-7B
6月1日 Tanuki-8B
・hatakeyama-llm-team/Tanuki-8B
・hatakeyama-llm-team/Tanuki-8B-Instruct
・hatakeyama-llm-team/Tanuki-8B-Instruct-without-DPO
6月1日 Oumuamua-7B
6月5日 GLM-4-9B
・THUDM/glm-4-9b
・THUDM/glm-4-9b-chat
・THUDM/glm-4-9b-chat-1m
・THUDM/glm-4v-9b
6月7日 Qwen2
・Qwen/Qwen2-72B-Instruct
・Qwen/Qwen2-72B
・Qwen/Qwen2-57B-A14B-Instruct
・Qwen/Qwen2-57B-A14B
・Qwen/Qwen2-7B-Instruct
・Qwen/Qwen2-7B
・Qwen/Qwen2-1.5B-Instruct
・Qwen/Qwen2-1.5B
・Qwen/Qwen2-0.5B-Instruct
・Qwen/Qwen2-0.5B
6月12日 RecurrentGemma-9B
6月13日 Llava Calm2 Siglip
6月14日 Nemotron-4-340B
関連
この記事が気に入ったらサポートをしてみませんか?