論文を読む

最大16k トークンをサポートするLongChat-7B/13B

LMSYSが最大16kトークンのコンテキストに対応し、Long-rangeトピック検索タスクにおいて、高い性能を示すオープンソースのチャットボットモデル LongChat-7B/13Bが公開していました。以下ブログ記事で概要が紹介されています。またモデル公開にあわせて、ロングコンテキスト機能を検証するための評価ツール LongEval によるベンチマークも提案されています。自分の勉強のため、ざっとモデル学習方法とベンチマーク結果の部分をざっとまとめました。読み飛ばした部分

論文紹介: AI の壊滅的なリスクの概要

以下論文「An Overview of Catastrophic AI Riskes」に目が留まったので、ななめ読みしました。論点となる部分は書き留めたつもりですが、なにぶんななめ読みですので、この記事で雰囲気を掴んで、ぜひリンク先の原文もご確認ください。著者Center for AI Safty 所属　Dan Hendrycks, Mantas Mazeika, Thomas Woodside 概要この論文は、人工知能（AI）の進歩がもたらす壊滅的なリスクについて

商用LLMに肉薄する「vicuna-33b-v1.3」と、チャットLLM用のベンチマーク手法の話題

今まで13bサイズが最大だった Vicuna の33bのウェイトが公開されました。また、主要なモデルとのベンチマーク結果も公表されています。ベンチマーク結果ここで、見慣れないMT-benchという評価指標がありますが、Vicuna-33Bのブログ報告によれば、人間の好みにより則したチャットボットLLM のベンチマークとのことです。大規模言語モデル（LLM）のパフォーマンスを評価するためのいくつかのベンチマークが存在しますが、これらのベンチマークはLLMの人間の好みを評価

論文紹介: クラスタに分割して効率的にLLMを訓練(c-BTM法)

Twitterのタイムラインで少し話題になっていた、Meta AIのメンバー主体で書かれた以下論文を、（話題についていきたいので😊）超ななめ読みしてみました。１．概要通常、大規模言語モデルをトレーニングする場合、数千のGPU上の数十億のすべてのパラメータを同期させる必要があるため大きなコストが必要。この解決策として、テキストコーパスを関連するドキュメントのセットに分割し、それぞれに対して独立した言語モデル（専門家モデル：Expert Language Models,

AIと教育：ChatGPTを使ったレポート作成の実験

「和訳タイトル：人工人工AI: クラウドワーカーが広く使用するテキスト生成タスク用LLM」という変わったタイトルの以下の論文によれば、クラウドワーカーに文章の要約タスクを与えると、33％～46％の人がLLMを使用してラクをする（業務を自主的に効率化する）と推定されたそうです。ほんまかいな、という気もしますが、人間はラクな方法が使える状況に置かれると、使うなと言われない限り、便利な道具を使うのは仕方がない気もします。（エクセル使える状況でも、あえて電卓をたたく殊勝なひともい

GPT4はMITの数学とCSの学位取得レベルの知識を持つ可能性がある

以下の論文が面白そうだったので、概要をななめ読みしてみました。１．概要MITの学士号取得に必要な、数学、電気工学、およびコンピューターサイエンスの中間試験、期末試験の 4,550 問の問題と解答の包括的なデータセットを使用。 gpt-3.5はMITカリキュラムの1/3程度しか正解できませんでしたが（これでは落第ですね）、一方、gpt-4は、画像に基づく問題を除けば、すべての問題に正解できる能力が確認されました。（これなら主席卒業できるかもしれませんね!?）今回の検討

MuseCoco: テキストに沿ったMIDIファイルを生成

以下論文が面白そうだったので、論文前半の構造の説明の部分をななめ読みしてみました。１．MuseCoco概要MuseCoCo は、Music Composition Copilot（作曲副操縦士）の略テキストからMIDI形式（Symbolic Music）を生成する。MIDI形式での出力は、他の提案で公開させているオーディオの形で直接出力する方法よりも編集などが容易なので活用しやすい。ユーザーが音楽知識がない場合は、第1ステージのモデルを使って直感的に記載したテ

WizardLM - より複雑な命令を自己生成して能力向上 Evol-Instruct

Evol-Instructという学習データ生成のアイデアを用いて、自己生成したデータでファインチューニングした「WizardLM」の紹介論文と、GitHubのREADME.mdをななめ読みしてみました。 LLaMAのファインチューニング系の高性能なLLMには、先日試してみたairobos-13bなどがありますが、airobosの場合は gpt-4 を蒸留して、いわば劣化コピーをつくっている感じなのに対して、こちらはEvol-Instruct のアイデアを使って自力で能力向上

【Arxiv論文】Gorilla: 多様なAPI群に接続する機能特化型LLM

ネット上の様々なAPIや機械学習モデルなどを活用するための機能特化型LLM:Gorillaの活用について、以下論文で提案されていました。簡単に論文の概要を眺めてから、サンプルコードを動かしてみました。 Gorilla-7b-hf-v0 モデルの特徴LLaMA-7Bを、「TorchHub（94 APIコール）」、「TensorHub(696 APIコール)、HuggingFace(20モデル)の合計925の外部ツールについて、APIとAPIドキュメントから、Self-In

2023年6月の記事一覧