W&B Weave

W&B Weave で言語モデルアプリのトラッキング、テスト、改善を行う

W&B Weave は、LLM application の追跡、評価、改善を支援するオブザーバビリティ（可観測性）および評価プラットフォームです。Weave を使用すると、以下のことが可能になります。

• LLM application の オブザーブ（観察）とデバッグ
• LLM 評価モデル（LLM judges）やカスタムスコアラーを使用した、アプリケーションの応答の 評価

​

はじめに

以下のドキュメントでは、Weave の一連のツールを使用するための基本的な方法をガイドします。

クイックスタート：LLM の入出力を追跡する

LLM への基本的な呼び出しをトレースし、W&B アカウントでデータを確認することから始めましょう。

アプリの評価を始める

Weave のスコアラーを使用して、アプリケーションのパフォーマンスをテストおよび追跡するための評価パイプラインを構築する方法を学びます。

RAG アプリケーションを評価する

Weave と LLM judges を使用して RAG アプリケーションを構築・評価し、検索の質を測定します。

​

Weave のインストール

W&B Weave は Python および TypeScript ライブラリを提供しています。Weave ライブラリをインストールするには、以下のコマンドを実行します。

Python

pip install weave

TypeScript

pnpm install weave

Weave ライブラリの使用を開始するには、Weights & Biases (W&B) アカウント を作成し、ユーザー設定 (User Settings) で [APIキー] を作成してください。APIキー を使用して W&B アカウントの認証を行い、データの送信を開始できます。