マガジンのカバー画像

wandb

39
本
wandbを使ってくださっている方々の記事をちょっと使ってみた系からAdvancedなTipsまで幅広くまとめていくマガジンです。 wandbは、エンタープライズグレードのエン…
運営しているクリエイター

#大規模言語モデル

Weave による RAGシステム のLLM変更時の精度検証手順

「Weave」による「RAGシステム」のLLM変更時の精度検証手順を解説します。 1. Weave「Weave」は、RAGなどのLLMアプリケーション開発時、および運用時に記録・実験・評価を行い、その性能を高めていくために使われるLLMOpsツールです。「Weights & Biases」が提供する機能の1つになります。 主な機能は、次のとおりです。 2. Weave の使い方はじめに、基本的な「Weave」の使い方を紹介します。 (1) パッケージのインストール。

npaka

Nejumi LLMリーダーボード3開発の経緯とその評価から見えてきたこと

はじめに日本のAI開発コミュニティで広く活用されてきたNejumi LLMリーダーボード。その最新版となる「Nejumi LLMリーダーボード3」が、このたび公開される運びとなりました。日本語対応LLMモデルを対象に網羅的かつ継続的な性能評価と発信を実施してきた本リーダーボードの新バージョンが日本のAI開発者と業界に有用な指標として貢献できることを期待しています。 前バージョンのNejumi LLMリーダーボードNeoは、その登場以来、日本のAI開発企業に広く活用されてき

Weights & B…

Nejumi LLMリーダーボード Neo の LLMベンチマークの使い方

この入門記事は、「Weights & Biases」のご支援により提供されています。Weights & Biases JapanのNoteでは他にも多くの有用な記事が掲載されていますので是非ご覧ください。 1. Nejumi LLMリーダーボード Neo「Nejumi LLMリーダーボード Neo」は、日本語LLMの能力評価ランキングです。「llm-jp-eval」「MT-Bench」という2つのLLMベンチマークで評価します。 2. 評価項目評価項目は、次のとおりです。

npaka

LangChain のための wandb 入門

この入門記事は、「Weights & Biases」のご支援により提供されています。 1. wandb「wandb」 (Weights & Biases) は、機械学習の実験管理とモデルのパフォーマンス追跡に特化したツールです。 「wandb」の主な機能は、次のとおりです。 「LlamaIndex」「LangChain」では、「wandb」を使うことでトレース情報の自動的記録が可能で、期待する応答が返されなかった場合、処理の流れを視覚化して原因を突き止めることができます

npaka

wandb を活用して LangChain を 日本語ローカルLLM 対応させる

この入門記事は、「Weights & Biases」のご支援により提供されています。Weights＆Biasesさんは日本語LLMリーダーボードを運営されており、最近のアップデートについてこちらの記事が公開されています: 1. ローカルLLM「ローカルLLM」（Local Large Language Model）は、LLMをローカル環境、つまりユーザーのコンピュータやプライベートサーバーなどに直接インストールして使用できるLLMです。 2022年の頃は不可能と思われた家

npaka

OpenAI の ファイチューニングAPI の新機能

以下の記事が面白かったので、簡単にまとめました。 1. ファインチューニングAPI2023年8月、GPT-3.5の「ファインチューニングAPI」をリリースしました。ファインチューニングは、特定のタスクに対するモデルの既存の知識と機能を強化するのに役立ちます。 ファインチューニングの一般的な使用例は、次のとおりです。 ・Indeedの活用例 世界的な求人マッチングサービスであるIndeedは、採用プロセスを簡素化したいと考えています。その一環として、求職者にパーソナライズ

npaka

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。 主な機能は、次のとおりです。 2. Weave の準備今回は、「Google Colab」で「Weave」を使って「OpenAI」のモデルの記録・実験・評価を行います。 (1) パッケージのインス

npaka

LLM のベンチマーク まとめ

「LLM」の ベンチマーク をまとめました。 1. マルチモーダルのベンチマークマルチモーダルのベンチマーク。 1-1. Heron VLM リーダーボード (wandb) 【日本語】 「Japanese-Heron-Bench」 「LLaVA-Bench-In-the-Wild (Japanese)」の総合評価。 1-2. JA-VLM-Bench-In-the-Wild (SakanaAI) 【日本語】 42枚の画像に対して計50問の質問。日本に関する知識を要求

npaka

GPT4を使ったドキュメンテーション翻訳

（この記事はThomas Capelleのオリジナル記事を、シバタアキラが翻訳、編集、加筆しました。） はじめにW&Bでは、日本でのビジネス展開に伴い、製品ドキュメンテーションの翻訳を進めて来ました。W&Bのドキュメンテーションは、今年2023年の初頭に大幅に改訂され、内容も250ページ以上に発展して、以前とは比べもにならないくらい充実してきましたが、一方で翻訳の手間も増えました。ドキュメンテーションはプロダクト新機能のリリースなどによって定期的に追加・更新が入ることもあり

Weights & B…

GPT4を使ったドキュメンテーション翻訳

（この記事はThomas Capelleのオリジナル記事を、シバタアキラが翻訳、編集、加筆しました。） はじめにW&Bでは、日本でのビジネス展開に伴い、製品ドキュメンテーションの翻訳を進めて来ました。W&Bのドキュメンテーションは、今年2023年の初頭に大幅に改訂され、内容も250ページ以上に発展して、以前とは比べもにならないくらい充実してきましたが、一方で翻訳の手間も増えました。ドキュメンテーションはプロダクト新機能のリリースなどによって定期的に追加・更新が入ることもあり

シバタアキラ