OpenAI SDK を自分の GPU で。
任意の OpenAI SDK、または OpenAI 互換の ベース URL を設定できるあらゆるツール。
テキストによる説明： OpenAI SDK は、base_url に warden を、api_key に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。
- プロトコル
- OpenAI Chat Completions
- サポート
- ローカル モデルのみ
ローカル モデルのみです。OpenAI へのパススルーはなく、gpt-* へのリクエストは 404 になります。Chat Completions と Completions を提供します。/v1/responses は Chat Completions へのステートレスな変換です (Codex CLI を参照)。
セットアップ
コンソールでは、Connect が warden のアドレス、キー、選んだモデルを入れてこれらのファイルを書き出します。ここではプレースホルダーを使って示しています。
ローカル モデル
base_url はこの warden の /v1 で、warden のキーが API キーになります。
from openai import OpenAI
client = OpenAI(base_url="https://your-warden/v1", api_key="vw_YOUR_KEY")
response = client.chat.completions.create(
model="your-served-model-name",
messages=[{"role": "user", "content": "Reply with the single word OK."}],
)
print(response.choices[0].message.content)import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://your-warden/v1", apiKey: "vw_YOUR_KEY" });
const response = await client.chat.completions.create({
model: "your-served-model-name",
messages: [{ role: "user", content: "Reply with the single word OK." }],
});
console.log(response.choices[0].message.content);curl https://your-warden/v1/chat/completions \
-H "Authorization: Bearer vw_YOUR_KEY" \
-H "content-type: application/json" \
-d '{"model": "your-served-model-name", "stream": false, "messages": [{"role": "user", "content": "Reply with the single word OK."}]}'公式ドキュメント：https://github.com/openai/openai-python#readme (2026-10-04 時点)。