LM Warden

Cursor を自分の GPU で。

Cursor の OpenAI ベース URL の上書き設定を使い、提供中のモデルとチャットします。

Cursor からのリクエストの行き先 Cursor は、Override OpenAI Base URL に warden を、OpenAI API Key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。 Cursor Override OpenAI Base URL the warden, at /v1 OpenAI API Key vw_… POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica
Cursor からのリクエストの行き先 Cursor は、Override OpenAI Base URL に warden を、OpenAI API Key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。 Cursor Override OpenAI Base URL the warden, at /v1 OpenAI API Key vw_… POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica
Cursor からのリクエストの行き先:Connect が書き込む二つの設定、中央に warden、その先に GPU ごとに一つのモデルのコピー。

テキストによる説明: Cursor は、Override OpenAI Base URL に warden を、OpenAI API Key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。

プロトコル
OpenAI Chat Completions
サポート
ローカル モデルのみ

リクエストは Cursor のサーバーから送られるので、この warden の URL はインターネットから到達できる必要があります。LAN や localhost の warden では動きません。カスタム キーはチャット モデルでのみ使えます。Tab 補完は引き続き Cursor 自身のモデルを使い、Cursor のモデルを使う Agent はカスタム キーを拒否します。Cursor の現在のドキュメントには Override OpenAI Base URL 設定の説明がもうありません。この設定については、Cursor のスタッフがフォーラムで説明しています。

要件

  • Cursor のサーバーがこの URL を呼び出すので、インターネットから到達できる必要があります。

セットアップ

コンソールでは、Connect が warden のアドレス、キー、選んだモデルを入れてこれらのファイルを書き出します。ここではプレースホルダーを使って示しています。

ローカル モデルとチャット

Cursor Settings > Models で、モデル名をカスタム モデルとして追加します。

設定
OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name

公式ドキュメント:https://cursor.com/docs/settings/api-keys (2026-10-04 時点)。