マガジンのカバー画像

wandb

39
wandbを使ってくださっている方々の記事をちょっと使ってみた系からAdvancedなTipsまで幅広くまとめていくマガジンです。 wandbは、エンタープライズグレードのエン…
運営しているクリエイター

2024年8月の記事一覧

日本語LLMのバイアス評価 - Nejumi LLMリーダーボード開発記

はじめに近年、大規模言語モデル(LLM)の活用が急速に拡大する中で、その安全性と公平性に関する懸念が世界的に高まっています。かつては言語処理能力のみが注目されていましたが、現在では倫理的な配慮や社会的影響を考慮したアライメント能力も、LLMの重要な評価指標となっています。 この潮流を反映し、Weights & Biasesでは、LLMの性能を多角的に評価するNejumi LLMリーダーボードを開発しました。最新版のNejumi LLMリーダーボード3(Nejumi3)では、

torchtuneとWandBを使ったLlama3.1のファインチューニングと自動評価

Weights & Biases のNoteをフォローしてください はじめにこの一年あまりの間にOpenLLMの性能は飛躍的に向上してきました。その中でも、Meta社のが開発した大規模言語モデル:LlamaシリーズはOpenLLMに非常に強力なベースラインを築き、かつその水準を継続的に向上させてきました。その最新版がLlama3 (Llama3.1)です。本記事では、このLlama3の特徴と可能性、そしてそのポテンシャルを引き出すためのファインチューニング技術について深く掘

生成AIを用いたAI創薬の実践 Part2 - BioNeMoを用いたタンパク質言語モデルの事前学習

この記事は、"生成AIを用いたAI創薬の実践 Part1 -タンパク質言語モデル基礎編"の続編です。 生成AIを用いた創薬の可能性についてPart1で解説をしてきましたが、実際に一から実装しようとすると、マルチノードGPUを用いた分散処理や、モデル構造を理解した効率的な計算が求められるなど、高いエンジニアリング力が必要となってきます。このような背景から、創薬領域における基盤モデルを簡単に活用できるフレームワークNVIDIAのBioNeMoが開発・公開されました。 この記事で