LM Warden

Votre agent de codage, sur vos propres GPU.

LM Warden prend en charge les trois protocoles qu’utilisent les agents de codage : OpenAI Chat Completions, l’API Anthropic Messages et l’OpenAI Responses API. Claude Code, les SDK Anthropic et OpenAI, OpenCode, Aider, Grok CLI, Continue, Cline, Cursor et Codex CLI se connectent donc avec une URL de base et une clé, et leurs requêtes apparaissent par clé et par session, avec la phase où en est chacune.

Où va une requête de votre agent de codage Votre agent de codage envoie ses requêtes à LM Warden : l’URL de base pointe vers le warden et la clé API contient une clé du warden. LM Warden vérifie la clé, prend en charge les API OpenAI et Anthropic, place la requête en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU). Un chemin distinct mène à api.anthropic.com, pour Claude Code uniquement : les autres modèles Claude y sont envoyés avec vos propres identifiants. Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
Où va une requête de votre agent de codage Votre agent de codage envoie ses requêtes à LM Warden : l’URL de base pointe vers le warden et la clé API contient une clé du warden. LM Warden vérifie la clé, prend en charge les API OpenAI et Anthropic, place la requête en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU). Un chemin distinct mène à api.anthropic.com, pour Claude Code uniquement : les autres modèles Claude y sont envoyés avec vos propres identifiants. Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
Où va la requête d’un agent de codage. Chaque agent définit les deux mêmes paramètres, une URL de base et une clé ; le warden vérifie la clé, place la requête en file d’attente et l’envoie au réplica qui détient déjà le cache de la session. Le schéma de chaque page d’agent reprend ses propres paramètres.

En clair : Votre agent de codage envoie ses requêtes à LM Warden : l’URL de base pointe vers le warden et la clé API contient une clé du warden. LM Warden vérifie la clé, prend en charge les API OpenAI et Anthropic, place la requête en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU). Un chemin distinct mène à api.anthropic.com, pour Claude Code uniquement : les autres modèles Claude y sont envoyés avec vos propres identifiants.

Inutile d’écrire la configuration à la main : dans la console, vous choisissez votre client, votre modèle et votre clé dans Connect, qui génère les fichiers à coller. Chaque page ci-dessous montre ces mêmes fichiers avec des valeurs fictives, ainsi que ce qui fonctionne.

ClientProtocolePrise en charge
Claude CodeAnthropic MessagesComplète
Anthropic SDKAnthropic MessagesComplète
OpenCodeOpenAI Chat CompletionsModèles locaux uniquement
AiderOpenAI Chat CompletionsModèles locaux uniquement
Grok CLIOpenAI Chat CompletionsModèles locaux uniquement
OpenAI SDKOpenAI Chat CompletionsModèles locaux uniquement
ContinueOpenAI Chat CompletionsModèles locaux uniquement
ClineOpenAI Chat CompletionsModèles locaux uniquement
CursorOpenAI Chat CompletionsModèles locaux uniquement
Codex CLIOpenAI ResponsesModèles locaux uniquement

Il manque un client ? Demandez-le dans GitHub Discussions.