Seu agente de programação, nas suas próprias GPUs.
O LM Warden é compatível com os três protocolos que os agentes de programação usam: OpenAI Chat Completions, a Anthropic Messages API e a OpenAI Responses API. Assim, Claude Code, os SDKs da Anthropic e da OpenAI, OpenCode, Aider, Grok CLI, Continue, Cline, Cursor e Codex CLI se conectam com uma URL base e uma chave, e as solicitações deles aparecem por chave, por sessão, com a fase em que cada uma está.
Para onde vai uma solicitação de um agente de programação. Todo agente define as mesmas duas coisas, uma URL base e uma chave; o warden verifica a chave, coloca a solicitação na fila e a envia para a réplica que já guarda o cache da sessão. A página de cada agente mostra as configurações dele.
Em texto:O seu agente de programação envia as solicitações ao LM Warden com a URL base apontando para o warden e uma chave do warden como API key. O LM Warden verifica a chave, implementa as APIs da OpenAI e da Anthropic, coloca a solicitação na fila pela prioridade da chave e a entrega ao roteador de réplicas, que mantém cada sessão na réplica que já tem o cache dela, uma cópia do modelo por GPU. Um caminho separado vai para api.anthropic.com, só no Claude Code: os outros modelos Claude vão para lá, com o seu próprio login.
Você não escreve a configuração à mão. No console, o Connect escolhe o seu cliente, o seu modelo e a sua chave e grava os arquivos para colar. Cada página abaixo mostra os mesmos arquivos com espaços reservados e o que funciona.