LM Warden
言語： 日本語
English ドキュメント ダウンロード

コーディング エージェントを、自分の GPU で。

LM Warden は、コーディング エージェントが使う三つのプロトコル (OpenAI Chat Completions、Anthropic Messages API、OpenAI Responses API) に対応しています。そのため、Claude Code、Anthropic SDK と OpenAI SDK、OpenCode、Aider、Grok CLI、Continue、Cline、Cursor、Codex CLI は ベース URL とキーだけで接続でき、そのリクエストはキーごと、セッションごとに、それぞれのフェーズとともに表示されます。

コーディング エージェントからのリクエストの行き先 コーディング エージェントは、ベース URL に warden を、API キーに warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI と Anthropic の API でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。これとは別に、api.anthropic.com への経路があります (Claude Code のみ)。ほかの Claude モデルは、自分のログインでこちらに送られます。 Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
コーディング エージェントからのリクエストの行き先 コーディング エージェントは、ベース URL に warden を、API キーに warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI と Anthropic の API でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。これとは別に、api.anthropic.com への経路があります (Claude Code のみ)。ほかの Claude モデルは、自分のログインでこちらに送られます。 Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
コーディング エージェントからのリクエストの行き先。どのエージェントも ベース URL とキーという同じ二つを設定します。warden はキーを確認し、リクエストをキューに入れ、そのセッションのキャッシュをすでに保持しているレプリカに送ります。各エージェントのページの図には、そのエージェント固有の設定が示されています。

テキストによる説明： コーディング エージェントは、ベース URL に warden を、API キーに warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI と Anthropic の API でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。これとは別に、api.anthropic.com への経路があります (Claude Code のみ)。ほかの Claude モデルは、自分のログインでこちらに送られます。

設定を手で書く必要はありません。コンソールの Connect が、クライアント、モデル、キーを選び、貼り付けるファイルを書き出します。以下の各ページでは、同じファイルをプレースホルダー付きで示し、何が動作するかを説明しています。

クライアントプロトコルサポート
Claude CodeAnthropic Messages完全サポート
Anthropic SDKAnthropic Messages完全サポート
OpenCodeOpenAI Chat Completionsローカル モデルのみ
AiderOpenAI Chat Completionsローカル モデルのみ
Grok CLIOpenAI Chat Completionsローカル モデルのみ
OpenAI SDKOpenAI Chat Completionsローカル モデルのみ
ContinueOpenAI Chat Completionsローカル モデルのみ
ClineOpenAI Chat Completionsローカル モデルのみ
CursorOpenAI Chat Completionsローカル モデルのみ
Codex CLIOpenAI Responsesローカル モデルのみ

使っているクライアントがありませんか？ GitHub Discussions でお知らせください。

関連：エージェントにモデルを選ばせる · キャッシュを考慮したルーティング · よくある質問