OpenAI SDK auf Ihren eigenen GPUs.

Jedes OpenAI SDK oder jede Software mit einer Einstellung für eine OpenAI-kompatible Basis-URL.

Wohin eine Anfrage des OpenAI SDK geht: die zwei Einstellungen, die Connect einträgt, der Warden in der Mitte, dann eine Kopie des Modells pro GPU.

Kurz gesagt: Das OpenAI SDK sendet seine Anfragen an LM Warden: base_url zeigt auf den Warden, api_key enthält einen Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt OpenAI Chat Completions, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU.

Protokoll: OpenAI Chat Completions
Unterstützung: Nur lokale Modelle

Nur lokale Modelle. Es gibt keine Durchleitung zu OpenAI: Eine Anfrage für gpt-* erhält 404. Chat Completions und Completions werden bedient; /v1/responses ist eine zustandslose Übersetzung in Chat Completions (siehe Codex CLI).

Einrichtung

In der Konsole erzeugt Connect diese Dateien mit der Adresse Ihres Wardens, Ihrem Schlüssel und dem gewählten Modell. Hier sehen Sie sie mit Platzhaltern.

Lokale Modelle

base_url ist das /v1 dieses Wardens, und der Warden-Schlüssel ist der API-Schlüssel.

Python

from openai import OpenAI

client = OpenAI(base_url="https://your-warden/v1", api_key="vw_YOUR_KEY")
response = client.chat.completions.create(
    model="your-served-model-name",
    messages=[{"role": "user", "content": "Reply with the single word OK."}],
)
print(response.choices[0].message.content)

TypeScript

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://your-warden/v1", apiKey: "vw_YOUR_KEY" });
const response = await client.chat.completions.create({
  model: "your-served-model-name",
  messages: [{ role: "user", content: "Reply with the single word OK." }],
});
console.log(response.choices[0].message.content);

curl

curl https://your-warden/v1/chat/completions \
  -H "Authorization: Bearer vw_YOUR_KEY" \
  -H "content-type: application/json" \
  -d '{"model": "your-served-model-name", "stream": false, "messages": [{"role": "user", "content": "Reply with the single word OK."}]}'

Offizielle Dokumentation: https://github.com/openai/openai-python#readme (abgerufen am 2026-10-04).