LM Warden

Ihr Coding-Agent auf Ihren eigenen GPUs.

LM Warden unterstützt die drei Protokolle, die Coding-Agenten verwenden: OpenAI Chat Completions, die Anthropic Messages API und die OpenAI Responses API. Claude Code, die SDKs von Anthropic und OpenAI, OpenCode, Aider, Grok CLI, Continue, Cline, Cursor und Codex CLI verbinden sich deshalb mit einer Basis-URL und einem Schlüssel, und ihre Anfragen erscheinen pro Schlüssel und pro Sitzung, jeweils mit ihrer aktuellen Phase.

Wohin eine Anfrage Ihres Coding-Agenten geht Ihr Coding-Agent sendet seine Anfragen an LM Warden; die Basis-URL zeigt auf den Warden, als API-Schlüssel dient ein Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt die APIs von OpenAI und Anthropic, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU. Ein separater Weg führt zu api.anthropic.com, nur für Claude Code: Andere Claude-Modelle gehen dorthin, mit Ihrer eigenen Anmeldung. Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
Wohin eine Anfrage Ihres Coding-Agenten geht Ihr Coding-Agent sendet seine Anfragen an LM Warden; die Basis-URL zeigt auf den Warden, als API-Schlüssel dient ein Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt die APIs von OpenAI und Anthropic, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU. Ein separater Weg führt zu api.anthropic.com, nur für Claude Code: Andere Claude-Modelle gehen dorthin, mit Ihrer eigenen Anmeldung. Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
Wohin eine Anfrage eines Coding-Agenten geht. Jeder Agent braucht dieselben zwei Einstellungen, eine Basis-URL und einen Schlüssel; der Warden prüft den Schlüssel, reiht die Anfrage ein und schickt sie an das Replikat, das den Cache der Sitzung bereits hat. Die Seite jedes Agenten zeigt dessen eigene Einstellungen.

Kurz gesagt: Ihr Coding-Agent sendet seine Anfragen an LM Warden; die Basis-URL zeigt auf den Warden, als API-Schlüssel dient ein Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt die APIs von OpenAI und Anthropic, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU. Ein separater Weg führt zu api.anthropic.com, nur für Claude Code: Andere Claude-Modelle gehen dorthin, mit Ihrer eigenen Anmeldung.

Sie schreiben die Konfiguration nicht von Hand. In der Konsole wählen Sie unter Connect Ihren Client, Ihr Modell und Ihren Schlüssel, und Connect erzeugt die Dateien zum Einfügen. Jede Seite unten zeigt dieselben Dateien mit Platzhaltern und was funktioniert.

ClientProtokollUnterstützung
Claude CodeAnthropic MessagesVollständig
Anthropic SDKAnthropic MessagesVollständig
OpenCodeOpenAI Chat CompletionsNur lokale Modelle
AiderOpenAI Chat CompletionsNur lokale Modelle
Grok CLIOpenAI Chat CompletionsNur lokale Modelle
OpenAI SDKOpenAI Chat CompletionsNur lokale Modelle
ContinueOpenAI Chat CompletionsNur lokale Modelle
ClineOpenAI Chat CompletionsNur lokale Modelle
CursorOpenAI Chat CompletionsNur lokale Modelle
Codex CLIOpenAI ResponsesNur lokale Modelle

Fehlt ein Client? Fragen Sie in den GitHub Discussions.