Twój agent do kodowania na twoich własnych kartach GPU.
LM Warden obsługuje trzy protokoły, których używają agenci do kodowania: OpenAI Chat Completions, Anthropic Messages API i OpenAI Responses API. Dzięki temu Claude Code, zestawy SDK Anthropic i OpenAI, OpenCode, Aider, Grok CLI, Continue, Cline, Cursor i Codex CLI łączą się za pomocą bazowego adresu URL i klucza, a ich żądania są widoczne z podziałem na klucze i sesje, wraz z fazą, w której jest każde z nich.
Dokąd trafia żądanie od agenta do kodowania. Każdy agent ustawia te same dwie rzeczy: bazowy adres URL i klucz; LM Warden sprawdza klucz, ustawia żądanie w kolejce i wysyła je do repliki, która ma już cache sesji. Strona każdego agenta pokazuje jego własne ustawienia.
Opis słowny:Twój agent do kodowania wysyła żądania do LM Warden: bazowy adres URL wskazuje instancję LM Warden, a kluczem API jest klucz LM Warden. LM Warden sprawdza klucz, obsługuje API OpenAI i Anthropic, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU. Osobna ścieżka prowadzi do api.anthropic.com, tylko dla Claude Code: tam trafiają pozostałe modele Claude, na twoim własnym koncie.
Nie piszesz konfiguracji ręcznie. W konsoli Connect wybiera twojego klienta, model i klucz, a potem zapisuje pliki do wklejenia. Każda strona poniżej pokazuje te same pliki z symbolami zastępczymi oraz to, co działa.