wandb｜Weights & Biases Japan

Nejumi LLMリーダーボード Neo の LLMベンチマークの使い方

この入門記事は、「Weights & Biases」のご支援により提供されています。Weights & Biases JapanのNoteでは他にも多くの有用な記事が掲載されていますので是非ご覧ください。 1. Nejumi LLMリーダーボード Neo「Nejumi LLMリーダーボード Neo」は、日本語LLMの能力評価ランキングです。「llm-jp-eval」「MT-Bench」という2つのLLMベンチマークで評価します。 2. 評価項目評価項目は、次のとおりです。

LangChain のための wandb 入門

この入門記事は、「Weights & Biases」のご支援により提供されています。 1. wandb「wandb」 (Weights & Biases) は、機械学習の実験管理とモデルのパフォーマンス追跡に特化したツールです。「wandb」の主な機能は、次のとおりです。「LlamaIndex」「LangChain」では、「wandb」を使うことでトレース情報の自動的記録が可能で、期待する応答が返されなかった場合、処理の流れを視覚化して原因を突き止めることができます

wandb を活用して LangChain を日本語ローカルLLM 対応させる

この入門記事は、「Weights & Biases」のご支援により提供されています。Weights＆Biasesさんは日本語LLMリーダーボードを運営されており、最近のアップデートについてこちらの記事が公開されています: 1. ローカルLLM「ローカルLLM」（Local Large Language Model）は、LLMをローカル環境、つまりユーザーのコンピュータやプライベートサーバーなどに直接インストールして使用できるLLMです。 2022年の頃は不可能と思われた家

OpenAI のファイチューニングAPI の新機能

以下の記事が面白かったので、簡単にまとめました。 1. ファインチューニングAPI2023年8月、GPT-3.5の「ファインチューニングAPI」をリリースしました。ファインチューニングは、特定のタスクに対するモデルの既存の知識と機能を強化するのに役立ちます。ファインチューニングの一般的な使用例は、次のとおりです。・Indeedの活用例世界的な求人マッチングサービスであるIndeedは、採用プロセスを簡素化したいと考えています。その一環として、求職者にパーソナライズ

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。主な機能は、次のとおりです。 2. Weave の準備今回は、「Google Colab」で「Weave」を使って「OpenAI」のモデルの記録・実験・評価を行います。 (1) パッケージのインス

Fully Connected 2024サンフランシスコイベントカバレージ - メルカリ Teo Narboneta Zosa様

本記事は2024年4月18日にサンフランシスコで開催されたFully Connected 2024: The Era of Generative AIのイベントカバレージです。第１弾は日本のお客様からのご登壇でメルカリのTeo Narboneta Zosa様。ご講演タイトルは「How Mercari Is Using Gen AI To Define The Future Of Japanese C2C E-Commerce（メルカリはどのように生成AIを活用し、日本のC2C

八千代エンジニヤリング様〜 AIによるインフラ維持管理の高度化への挑戦

日本の社会インフラの設計・施工管理を担う建設コンサルタントの八千代エンジニヤリング様。同社は近年、インフラの維持管理業務におけるAI活用を推進し、建設業界のDX化を牽引している。同社技術創発研究所のAI解析研究室で室長を務める藤井純一郎氏と研究員の都築幸乃氏に、建設業界におけるAIの活用状況と、同社の取り組みについてインタビューにご回答を頂きました。建設業界におけるAI活用の障壁とは藤井氏によれば、建設業、特にインフラの維持管理分野におけるAI活用の障壁は「データの質と

W&B製品ニュースレター: 2024年3月のアップデートと新機能

3月に取り組んでいたことを簡単にご紹介します。本記事はJustin Tenutoによる英文記事の日本語訳（自動翻訳）です。私たちは、W&B史上最もリクエストの多かったユーザ機能を含む、多くのエキサイティングな新製品アップデートをお届けしますが、少し異なるものから始めたいと思います:弊社の間もなく開催される第2回年次Fully Connected カンファレンス: 生成AIの時代のお知らせです！ 4月18日木曜日、サンフランシスコで開催されるこの集まりは、MLプロフェッ

サイバーエージェントにおけるWeights & Biasesを用いた日本語LLMの開発

2023年10月に開催されたW&B Japan 主催のFully Connected 2023 Tokyoカンファレンスでは、サイバーエージェントの石上氏より、大規模言語モデル（LLM）開発の基礎から、WandBを用いた同社のLLM開発について紹介がありました。この記事は、その登壇内容をまとめた記事になっています。ご発表の動画は、こちらにアップロードされています。自己紹介・会社紹介石上氏はサイバーエージェントの基盤モデルプロジェクトのリードとして、大規模言語モデルを中

Nejumi LLMリーダーボード Neoからの考察

Nejumi LLMリーダーボード Neoの仕組みと使い方を詳細にご説明するウェビナーを1/24に開催します。下記の申込ページよりご参加登録をお待ちしています！ Weights & Biases Japanでは昨年末、Nejumi.aiリーダーボードのアップデート版、Nejumi LLMリーダーボード Neoを公開しました。この新しいバージョンの開発に際しては、LLM-jpのモデル評価チームや、Stability AI Japan の評価チームの皆さん、弊社内LLMエク

LLMリーダーボード運営から学んだ2023年の振り返り

この度Weights & Biases Japan（W&B Japan）は、7月より Nejumi.ai にて運営してきたLLM（大規模言語モデル）の日本語評価リーダーボードをアプデートします（2023年12月27日に公開予定）。本稿ではアップデートに至るまでの経緯と私たちがLLM評価について学んだことを共有したいと思います。そもそもなぜリーダーボード？昨年OpenAIがChatGPTをリリースしてから1年余りが経過し、世界中でLLM開発が多くの企業のAI開発に大きな渦を

技術書典15でWandBの新刊を出しました！

Weights & Biases Japanの山本です。今回は現在開催中（2023.11.11-2023.11.26, オフライン開催は2023.11.12終了）の技術書典で新刊「WandBで始める実験管理 - MLOpsからLLMOpsまで」を頒布しておりますのでご紹介いたします。 WandBはML開発において産業界・アカデミアを問わずこれほど広く活用頂いているにも関わらず、日本語のまとまった情報源は限られていました。また、公式ドキュメントは網羅的でこそありますが、エンジ

Fully Connected Tokyo 速報レポート Part2

2023年10月11日に日本で初めてのWeights & Biases ユーザーカンファレンスである、Fully Connected Tokyo 2023が開催されました。本イベントは、日本をリードするW&Bユーザーの皆様からその最新のML開発・運用のノウハウをご共有いただくことを目的にして東京スクエアガーデンのコンベンションホールで開催され、約300人の参加者が集まり、大盛況となりました。 3つのパートからなる本イベントのパート2では、W&B ML Engineerの鎌田

Fully Connected Tokyo 速報レポート Part3

2023年10月11日に日本で初めてのWeights & Biases ユーザーカンファレンスである、Fully Connected Tokyo 2023が開催されました。本イベントは、日本をリードするW&Bユーザーの皆様からその最新のML開発・運用のノウハウをご共有いただくことを目的にして東京スクエアガーデンのコンベンションホールで開催され、約300人の参加者が集まり、大盛況となりました。 3つのパートからなる本イベントの最後のパートでは、W&B Japanの山本祐也から

wandb

記事一覧