LM Warden
言語： 日本語
English ドキュメント ダウンロード

Cline を自分の GPU で。

Cline の OpenAI Compatible プロバイダーを、設定画面から入力します。

Cline からのリクエストの行き先 Cline は、Base URL に warden を、API Key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。 Cline Base URL the warden, at /v1 API Key vw_…, the warden key POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica
Cline からのリクエストの行き先 Cline は、Base URL に warden を、API Key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。 Cline Base URL the warden, at /v1 API Key vw_…, the warden key POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica
Cline からのリクエストの行き先：Connect が書き込む二つの設定、中央に warden、その先に GPU ごとに一つのモデルのコピー。

テキストによる説明： Cline は、Base URL に warden を、API Key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。

プロトコル
OpenAI Chat Completions
サポート
ローカル モデルのみ

ローカル モデルのみで、ストリーミングの Chat Completions を使います。Cline には設定ファイルがないので、API Provider > OpenAI Compatible にこれらの値を入力してください。Cline の Anthropic プロバイダーにはカスタムのベース URL はありますがカスタム ヘッダーはないため、ルーター モードは使えません。

要件

  • ツール呼び出しに対応したモデルが必要です (エージェントによる編集のため)。
  • 32,768 トークン以上のコンテキストで最もよく動きます。

セットアップ

コンソールでは、Connect が warden のアドレス、キー、選んだモデルを入れてこれらのファイルを書き出します。ここではプレースホルダーを使って示しています。

ローカル モデル

Settings > API Provider > OpenAI Compatible。

設定
Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768

公式ドキュメント：https://docs.cline.bot/provider-config/openai-compatible (2026-10-04 時点)。

関連：すべてのコーディング エージェント · エージェントにモデルを選ばせる · API キー