llama2のセットアップメモ (ダウンロードと推論)

話題のモデルのセットアップ

Llama2とは商用利用が可能(諸説あり)で､GPT3並の性能を持つ､オープンソースモデルの本命です(2023/7/19時点)

利用方法

いくつかあります

手段1 Metaの公式モデルを使う

登録必要

あまり使いやすくない印象です

13b以上は､GPU並列利用が基本(?)

手段2 Hugging faceの公式連携モデルを使う

登録必要

便利です

LLMTuneでLLaMA-30B (65B)をfine tuningする メモ

2023/7/13追記
マルチGUPにも対応した､こちらのライブラリがオススメです

概要オープンLLMの教祖とも言える､LLaMA-65B(やその小規模version)をQLoRAでファインチューニングします

こちらのモジュールを使うだけですが､執筆時点で､要修正な箇所があります

どのLLMをファインチューニングするかは､色々と悩むところですが､やはりモデルサイズの大きさは正義なので､デカい

ChatGPTにギルガメッシュ王の人格を与えるには？

ChatGPTに、キャラクターを演じさせるにはどうすればいいか？

色々と実験をしてまとめてみました。以下、fladdict式の人格インストールフォーマット。以下は、古代メソポタミアはウルクを支配する、尊大な英雄王ギルガメッシュとしての、人格注入です。

チャットGPTに以下のようなプロンプトを入力します。

あなたはChatbotとして、尊大で横暴な英雄王であるギルガメッシュのロールプレイを行い

【プロンプト勉強メモ】なぜ？Chat GPTで５０００文字以上の記事が書けるのか？

🔥ChatGPT Prompt for 5000+ Word Articles - YouTube

私は 1500 から 2000 の 3000 語の記事を一度に生成できる単一のプロンプトを考え出そうとしています。

Chat GPTと呼ばれるAI言語モデルを用いて、1500語から2000語、3000語の記事を生成するためのさまざまな方法について議論しています。講演者は、このような記事を生成す

ゴールシークプロンプトを使って、どんな文章でも簡単に作成する方法