論文を読む

本

気になった論文などを読んでまとめ

運営しているクリエイター: はまち

#AIの活かし方

商用LLMに肉薄する「vicuna-33b-v1.3」と、チャットLLM用のベンチマーク手法の話題

今まで13bサイズが最大だった Vicuna の33bのウェイトが公開されました。また、主要なモデルとのベンチマーク結果も公表されています。ベンチマーク結果ここで、見慣れないMT-benchという評価指標がありますが、Vicuna-33Bのブログ報告によれば、人間の好みにより則したチャットボットLLM のベンチマークとのことです。大規模言語モデル（LLM）のパフォーマンスを評価するためのいくつかのベンチマークが存在しますが、これらのベンチマークはLLMの人間の好みを評価

AIと教育：ChatGPTを使ったレポート作成の実験

「和訳タイトル：人工人工AI: クラウドワーカーが広く使用するテキスト生成タスク用LLM」という変わったタイトルの以下の論文によれば、クラウドワーカーに文章の要約タスクを与えると、33％～46％の人がLLMを使用してラクをする（業務を自主的に効率化する）と推定されたそうです。ほんまかいな、という気もしますが、人間はラクな方法が使える状況に置かれると、使うなと言われない限り、便利な道具を使うのは仕方がない気もします。（エクセル使える状況でも、あえて電卓をたたく殊勝なひともい

MuseCoco: テキストに沿ったMIDIファイルを生成

以下論文が面白そうだったので、論文前半の構造の説明の部分をななめ読みしてみました。１．MuseCoco概要MuseCoCo は、Music Composition Copilot（作曲副操縦士）の略テキストからMIDI形式（Symbolic Music）を生成する。MIDI形式での出力は、他の提案で公開させているオーディオの形で直接出力する方法よりも編集などが容易なので活用しやすい。ユーザーが音楽知識がない場合は、第1ステージのモデルを使って直感的に記載したテ

WizardLM - より複雑な命令を自己生成して能力向上 Evol-Instruct

Evol-Instructという学習データ生成のアイデアを用いて、自己生成したデータでファインチューニングした「WizardLM」の紹介論文と、GitHubのREADME.mdをななめ読みしてみました。 LLaMAのファインチューニング系の高性能なLLMには、先日試してみたairobos-13bなどがありますが、airobosの場合は gpt-4 を蒸留して、いわば劣化コピーをつくっている感じなのに対して、こちらはEvol-Instruct のアイデアを使って自力で能力向上

RNNとTransformerの要素を組み合わせた新しいアーキテクチャ: RWKVとは？

自分の勉強のために、RWKVの論文前半の仕組みの解説部分を、要約してみました。Transformerの考え方を踏襲しつつ、RNNのアイデアを取り入れたRWKVについて雰囲気をお伝えできれば幸いです。なお、大事な論点の書き忘れ、認識間違いなどぜひコメントください。背景・概要トランスフォーマー技術は、ほぼ全ての自然言語処理（NLP）タスクを革新しましたが、取り扱うトークン数が長くなるほど、計算量・メモリへの負担が二乗に比例して急増する問題点がありました。これに対して、従

Arxiv論文：Tree of Thoughts 🌳🌲🌴🌿🍃

論文概要(Abstractを要約）言語モデルはさまざまなタスクに対応するための問題解決ツールとして利用されています。しかし、その推論過程は、現状では個々の単語（トークン）レベルで、左から右へ順序に沿って決定が行われることに限定されています。この制限は、全体を見渡した探索や戦略的な先読みが必要なタスク、または初期の決定が結果に大きな影響を及ぼすタスクにおいて、言語モデルの能力を制約しています。この問題を解決するために、「Tree of Thoughts（ToT）」という新し

Arxiv論文：自分でツールを作って再利用するLLMのコンセプト(LATM)

以下論文が面白げでした。論文で提案されたコンセプトをデモするノートブックも用意されているので、興味がある方は実際に動かしてみても面白いと思います。論文の概要大規模言語モデル（LLM）の問題解決能力を向上させるための新しいフレームワーク、LLMs As Tool Makers（LATM）を提案する。このフレームワークは、LLM自体が問題解決のための再利用可能なツールを作成する。 LATMのアプローチは「ツール作成」フェーズと「ツール使用」フェーズの2つから成り立ち、それ

【Arxiv論文】Gorilla: 多様なAPI群に接続する機能特化型LLM

ネット上の様々なAPIや機械学習モデルなどを活用するための機能特化型LLM:Gorillaの活用について、以下論文で提案されていました。簡単に論文の概要を眺めてから、サンプルコードを動かしてみました。 Gorilla-7b-hf-v0 モデルの特徴LLaMA-7Bを、「TorchHub（94 APIコール）」、「TensorHub(696 APIコール)、HuggingFace(20モデル)の合計925の外部ツールについて、APIとAPIドキュメントから、Self-In