記事一覧
AQUILA2のテクニカルレポート紹介[BAAI]
タイトルAQUILA2 TECHNICAL REPORT リンクhttps://arxiv.org/pdf/2408.07410 ひとこと要約英語、中国語のバイリンガルモデルであるAquila2のテクニカルレポート。独自のH…
LLMの内部理解に役立つTransformer Explainerの紹介
タイトルTRANSFORMER EXPLAINER: Interactive Learning of Text-Generative Models リンクhttps://arxiv.org/pdf/2408.04619 ひとこと要約LLMの内部計算を可視化するツー…
詳細かつ包括的な検索手法:MindSearchの紹介
タイトルMindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher リンクhttps://arxiv.org/pdf/2407.20183 ひとこと要約情報検索の新たなフレームワークと…
効率的なモデル圧縮と知識蒸留に関する論文紹介[NVIDIA]
タイトルCompact Language Models via Pruning and Knowledge Distillation リンクhttps://arxiv.org/pdf/2407.14679 ひとこと要約高性能な小型モデル作成のための、LLM…
データの影響度を逆学習を用いて追跡する論文紹介[NLPコロキウム]
論文名 Unlearning Traces the Influential Training Data of Language Models arXivリンク https://arxiv.org/pdf/2401.15241 ひとこと要約 学習済みモデルから学習…
Instruction Pre-Training:事前学習の新手法に関する論文紹介
タイトルInstruction Pre-Training: Language Models are Supervised Multitask Learners リンクhttps://arxiv.org/pdf/2406.14491 ひとこと要約学習データに対してイン…
LLMのハルシネーション抑制と新規手法Laminiに関する論文紹介[Lamini No.1]
タイトルBanishing LLM Hallucinations Requires Rethinking Generalization リンクhttps://github.com/lamini-ai/Lamini-Memory-Tuning/blob/main/research-paper.pdf …
複数LLMを協調させるMoAの論文紹介
論文名 Mixture-of-Agents Enhances Large Language Model Capabilities arXivリンク https://arxiv.org/pdf/2406.04692 ひとこと要約 LLMのマルチエージェント化して…
MBR decodingのサンプリングの性能調査に関する論文紹介[NLPコロキウム]
論文名 On the True Distribution Approximation of Minimum Bayes-Risk Decoding arXivリンク https://arxiv.org/pdf/2404.00752 ひとこと要約 MBR decodingの擬似参…
LLMの評価システムの一つであるイロレーティングに関する論文紹介[Cohere論文紹介No.6]
論文名 Elo Uncovered: Robustness and Best Practices in Language Model Evaluation arXivリンク https://arxiv.org/pdf/2311.17295 ひとこと要約 Large Language M…
LLMのプルーニングに関する論文紹介[ICLR2024]
論文名 DYNAMIC SPARSE NO TRAINING : TRAINING-FREE FINE-TUNING FOR SPARSE LLMS arXivリンク https://arxiv.org/pdf/2310.08915 ひとこと要約 プルーニングの手法…
言語モデルの編集に関する論文紹介
論文名 Is Bigger Edit Batch Size Always Better? - An Empirical Study on Model Editing with Llama-3 arXivリンク https://arxiv.org/pdf/2405.00664 ひとこと要約…
NNの枝刈り&対照学習に関する論文紹介[Cohere論文紹介No.5]
論文名 Studying the impact of magnitude pruning on contrastive learning methods arXivリンク https://arxiv.org/pdf/2207.00200 ひとこと要約 NNの枝刈り&対照学…
NNの低ランク学習の論文紹介[Cohere論文紹介No.4]
論文名 Exploring Low Rank Training of Deep Neural Networks arXivリンク https://arxiv.org/pdf/2209.13569 ひとこと要約 NNの低ランク学習において、スペクトル初…
自然言語処理における効率的な手法のサーベイ論文紹介[Cohere論文紹介No.3]
論文名 Efficient Methods for Natural Language Processing: A Survey arXivリンク https://arxiv.org/pdf/2209.00099.pdf ひとこと要約 自然言語処理における効率的…
![LLMニュースまとめ[2024年8月12日~8月18日]](https://assets.st-note.com/production/uploads/images/151831447/rectangle_large_type_2_3b41eeea6fbc3db99218b827126ca3fb.png?width=800)
LLMニュースまとめ[2024年8月12日~8月18日]
2024年8月12日~8月18日のLLM関連のニュースとして有名なもの、個人的に刺さったもの12点を以下にまとめる。
1. The AI Scientist
AIエージェントが、独自の研究実施、研究結果整理、論文執筆を一貫して実施。
2. Grok-2
LMSYS Chatbot ArenaでClaude 3.5 SonnetとGPT-4-Turboを凌駕
3. LongWriter
AQUILA2のテクニカルレポート紹介[BAAI]
タイトルAQUILA2 TECHNICAL REPORT
リンクhttps://arxiv.org/pdf/2408.07410
ひとこと要約英語、中国語のバイリンガルモデルであるAquila2のテクニカルレポート。独自のHeuriMentor(HM)を採用し、効率的な訓練に成功。
メモAquila2とは
7B、34B、70Bパラメータの二言語(中国語・英語)モデルシリーズ
HeuriM
LLMの内部理解に役立つTransformer Explainerの紹介
タイトルTRANSFORMER EXPLAINER: Interactive Learning of Text-Generative Models
リンクhttps://arxiv.org/pdf/2408.04619
ひとこと要約LLMの内部計算を可視化するツールであるTransformer Explainerを開発。
メモTransformer Explainerの特徴
ブラウザで直接
詳細かつ包括的な検索手法:MindSearchの紹介
タイトルMindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher
リンクhttps://arxiv.org/pdf/2407.20183
ひとこと要約情報検索の新たなフレームワークとしてMindSearchを提案。Perplexity.aiやChatGPTよりもより詳細で包括的な回答を生成可能。
メモMindSearch
効率的なモデル圧縮と知識蒸留に関する論文紹介[NVIDIA]
タイトルCompact Language Models via Pruning and Knowledge Distillation
リンクhttps://arxiv.org/pdf/2407.14679
ひとこと要約高性能な小型モデル作成のための、LLMの効率的な圧縮並びに再学習のための包括的な手法を提案。
メモ方法
重要度分析
小さなキャリブレーションデータセット（1024サンプル）
データの影響度を逆学習を用いて追跡する論文紹介[NLPコロキウム]
論文名
Unlearning Traces the Influential Training Data of Language Models
arXivリンク
https://arxiv.org/pdf/2401.15241
ひとこと要約
学習済みモデルから学習データ/評価データを逆学習して、データの影響を測る手法を提案。
情報
https://nlp-colloquium-jp.g
Instruction Pre-Training:事前学習の新手法に関する論文紹介
タイトルInstruction Pre-Training: Language Models are Supervised Multitask Learners
リンクhttps://arxiv.org/pdf/2406.14491
ひとこと要約学習データに対してインストラクションとレスポンスのペアを加えて事前学習を行うInstruction Pre-Trainingを提案。
メモ手法
I
LLMのハルシネーション抑制と新規手法Laminiに関する論文紹介[Lamini No.1]
タイトルBanishing LLM Hallucinations Requires Rethinking Generalization
リンクhttps://github.com/lamini-ai/Lamini-Memory-Tuning/blob/main/research-paper.pdf
ひとこと要約LLMのハルシネーションについて検証。LLMのハルシネーション抑制しつつ、事実を記憶
複数LLMを協調させるMoAの論文紹介
論文名
Mixture-of-Agents Enhances Large Language Model Capabilities
arXivリンク
https://arxiv.org/pdf/2406.04692
ひとこと要約
LLMのマルチエージェント化して協調させる手法:Mixture-of-Agents (MoA)を提案。単体のモデルでは到達できない性能を引き出すことに成功
メモ
MBR decodingのサンプリングの性能調査に関する論文紹介[NLPコロキウム]
論文名
On the True Distribution Approximation of Minimum Bayes-Risk Decoding
arXivリンク
https://arxiv.org/pdf/2404.00752
ひとこと要約
MBR decodingの擬似参照サンプリングの性能調査。疑似参照が真の分布に似ているほど、COMET22のスコアが高いことを確認。
情報
LLMの評価システムの一つであるイロレーティングに関する論文紹介[Cohere論文紹介No.6]
論文名
Elo Uncovered: Robustness and Best Practices in Language Model Evaluation
arXivリンク
https://arxiv.org/pdf/2311.17295
ひとこと要約
Large Language Models (LLMs)の評価に使われるイロレーティングシステムについて実験的に調査
メモ
事前知識
LLMのプルーニングに関する論文紹介[ICLR2024]
論文名
DYNAMIC SPARSE NO TRAINING : TRAINING-FREE FINE-TUNING FOR SPARSE LLMS
arXivリンク
https://arxiv.org/pdf/2310.08915
ひとこと要約
プルーニングの手法としてDynamic Sparse No Trainingを提案。LLMのプルーニングにおいて、既存手法よりも高精度を達成
言語モデルの編集に関する論文紹介
論文名
Is Bigger Edit Batch Size Always Better? - An Empirical Study on Model Editing with Llama-3
arXivリンク
https://arxiv.org/pdf/2405.00664
ひとこと要約
Llama-3を用いた言語モデルの編集と層の位置やバッチサイズの関係を調査
メモ
編集手法
前
NNの枝刈り&対照学習に関する論文紹介[Cohere論文紹介No.5]
論文名
Studying the impact of magnitude pruning on contrastive learning methods
arXivリンク
https://arxiv.org/pdf/2207.00200
ひとこと要約
NNの枝刈り&対照学習に関して調査した論文。教師あり学習と比較して対照学習の方が枝刈りの影響を受けやすく、特に学習の早期から枝刈りを行うと
NNの低ランク学習の論文紹介[Cohere論文紹介No.4]
論文名
Exploring Low Rank Training of Deep Neural Networks
arXivリンク
https://arxiv.org/pdf/2209.13569
ひとこと要約
NNの低ランク学習において、スペクトル初期化、L2正則化などの調査を行なった。
メモ
タスクとモデル
CIFAR-100やImageNetなどの画像認識タスク
モデル:Wi
自然言語処理における効率的な手法のサーベイ論文紹介[Cohere論文紹介No.3]
論文名
Efficient Methods for Natural Language Processing: A Survey
arXivリンク
https://arxiv.org/pdf/2209.00099.pdf
ひとこと要約
自然言語処理における効率的な手法について包括的にサーベイしている。データ、モデル設計、事前学習、ファインチューニング、推論と圧縮、ハードウェア活用、評価、モ