マガジンのカバー画像

自然言語処理入門

777
本
自然言語処理関係のノートをまとめました。
運営しているクリエイター
npaka

#Llama2

M2UGen の概要

「M2UGen」の概要をまとめました。 1. M2UGen「M2UGen」は、テキスト・画像・動画からの音楽…

npaka
npaka
5か月前
41

Google Colab で LLaMA-Factory を試す

「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 1. LLaMA-Factory「LLaMA…

npaka
npaka
5か月前
90

Google Colab で PowerInfer を試す

「Google Colab」で「PowerInfer」を試したので、まとめました。 1. PowerInfer「PowerInfer…

npaka
npaka
5か月前
31

Google Colab で LLaVA-1.5 を試す

「Google Colab」で「LLaVA-1.5」を試したので、まとめました。 1. LLaVA-1.5「LLaVA-1.5」は…

npaka
npaka
8か月前
38

HuggingFace Transformers の チャットモデルテンプレート を試す

「HuggingFace Transformers」の新機能「チャットモデルテンプレート」を試したので、まとめま…

npaka
npaka
8か月前
19

HuggingFace での Flash Attention 2 の使い方

以下の記事が面白かったので、かるくまとめました。 1. Flash Attention 2「Flash Attendant …

npaka
npaka
9か月前
22

最近話題の マルチモーダルLLM まとめ

最近話題の 「マルチモーダルLLM」 をまとめました。 1. マルチモーダルLLMの概要「マルチモーダルLLM」(MLLM)は、画像とテキスト（自然言語）を組み合わせたタスクに用いられるモデルです。視覚情報とテキスト情報を組み合わせて多くの実世界の問題を解決するための強力なツールとなっています。 以下のスライドが参考になります。 2. マルチモーダルLLM主な「マルチモーダルLLM」は、次のとおりです。 2-1. BLIP 2022年1月、Salesforceが発表

npaka

Transformers でサポートされている量子化 bitsandbytes と auto-gptq の比較

以下の記事が面白かったので、かるくまとめました。 1. はじめにこの記事は、「Transformers…

npaka
npaka
9か月前
24

Google Colab で Llama-2-70B-chat-GGUF を試す。

「Google Colab」で「Llama-2-70B-chat-GGUF」を試したので、まとめました。 1. Llama-2-70B-…

npaka
npaka
9か月前
24

Google Colab で Llama-2-70B-chat-GPTQ を試す。

「Google Colab」で「Llama-2-70B-chat-GPTQ」を試したので、まとめました。 1. Llama-2-70B-…

npaka
npaka
9か月前
15

LLMファインチューニングの LoRA と フルパラメータ の比較

以下の記事が面白かったので、かるくまとめました。 1. LoRA と フルパラメータ の比較この記…

npaka
npaka
9か月前
49

最近のLLMの学習法のまとめ - SFT・RLHF・RAG

最近のLLMの学習法 (SFT・RLHF・RAG) をまとめました。 1. 教師ありファインチューニング (SF…

npaka
npaka
9か月前
106

ELYZA-japanese-Llama-2-7b で LlamaIndex を 試す

「ELYZA-japanese-Llama-2-7b」で「LlamaIndex」を試したのでまとめました。 1. 使用モデル今…

npaka
npaka
9か月前
32

Google Colab で ELYZA-japanese-Llama-2-7b を試す

「Google Colab」で「ELYZA-japanese-Llama-2-7b」を試したので、まとめました。 1. ELYZA-japanese-Llama-2-7b「ELYZA-japanese-Llama-2-7b」は、東京大学松尾研究室発・AIスタートアップの「ELYZA」が開発した、日本語LLMです。Metaの「Llama 2」に対して日本語による追加事前学習を行なっています。 2. ELYZA-japanese-Llama-2-7bのモデル「ELYZA-ja

npaka