O co ludzie pytają przed instalacją.
Czym jest LM Warden?
To warstwa sterowania wokół silników inferencji na twoim własnym sprzęcie: vLLM i llama.cpp na hoście z systemem Linux i kartami NVIDIA albo MLX i llama.cpp w aplikacji beta na Macu z procesorem Apple. Pobierasz model z HuggingFace, ładujesz go na własną kartę GPU, tworzysz klucz API i wywołujesz model przez endpoint /v1 zgodny z OpenAI. Interfejs w przeglądarce obejmuje ładowanie i zwalnianie modeli, logi silnika na żywo, czat testowy, statystyki GPU i tokenów oraz stronę dla każdego klucza API. Nie przyspiesza modeli i nie modyfikuje silników. Dodaje to, czego brakuje samemu silnikowi.
Na jakich kartach GPU i systemach operacyjnych działa?
Linux i macOS. W systemie Linux: karty NVIDIA na hoście x86_64. Minimum to Turing (sm_75, generacja RTX serii 20): obraz bazowy zawiera CUDA 13, która porzuciła Maxwell, Pascal i Volta, więc GTX 1080 Ti, Titan X ani V100 nie zadziałają. Obsługiwane są generacje od Turing do Blackwell, w tym Ada, Hopper i RTX serii 50. Na macOS: procesor Apple (M1 lub nowszy), przez osobną aplikację na Maca w wersji beta: natywną aplikację na pasku menu dla macOS 14 lub nowszego, która uruchamia modele za pomocą MLX i kompilacji llama.cpp dla Metal, udostępnia to samo API zgodne z OpenAI i pokazuje ten sam pulpit we własnym oknie; do pobrania z lmwarden.com/download/mac (około 110 MB, z plikiem SHA-256). Ma podpis ad hoc i nie jest notaryzowana, więc przy pierwszym uruchomieniu zezwól na nią w Ustawienia systemowe › Prywatność i ochrona › Otwórz mimo to (w macOS 14 działa też kliknięcie prawym przyciskiem › Otwórz); domyślnie nasłuchuje na interfejsie loopback i nie aktualizuje się sama. Następny będzie Windows; pracujemy nad nim, na razie bez daty. W tym wydaniu nie ma ścieżki dla ROCm, kart GPU Intel ani CPU; AMD Radeon i karty GPU Intel są w planach, a kolejność zależy od opinii, które otrzymamy w GitHub Discussions projektu. Obsługiwanych jest kilka kart GPU w jednym serwerze z systemem Linux; jeden model podzielony między kilka maszyn – nie.
Czy mój obecny klient OpenAI będzie z nim działał?
Tak. Bramka pod /v1/* jest zgodna z OpenAI, więc SDK openai, LangChain, OpenWebUI i twoi własni agenci działają bez zmian, gdy tylko zmienisz base_url i klucz. GET /v1/models podaje też max_model_len każdego modelu, więc klient nie musi zgadywać rozmiaru okna kontekstu. Codex CLI, który obsługuje tylko OpenAI Responses API, też działa: POST /v1/responses jest tłumaczone na Chat Completions dla załadowanego przez ciebie modelu (bezstanowo i tylko lokalnie: reguły routera nie mają zastosowania).
Czy mogę używać go z Claude Code i zachować konto Anthropic?
Tak. Skieruj ANTHROPIC_BASE_URL na LM Warden, zachowaj zwykłe logowanie claude i umieść klucz LM Warden w ANTHROPIC_CUSTOM_HEADERS jako X-LMWarden-Key. Reguła przypisuje nazwę modelu, o którą prosi Claude Code, na przykład claude-haiku*, do modelu załadowanego na twoich kartach GPU; wszystkie inne modele i wszystkie inne ścieżki /v1 są przekazywane do Anthropic bajt w bajt na twoim własnym koncie. Wymaga Claude Code 2.1.227 lub nowszego, domyślnie jest wyłączone, a klucz musi mieć flagę „May relay to Anthropic”, zanim cokolwiek zostanie przekazane. Starsi klienci mogą nadal korzystać z trybu tylko lokalnego.
Czy Anthropic widzi mój klucz LM Warden, a LM Warden moje dane logowania Anthropic?
Anthropic nigdy nie widzi klucza LM Warden: jest on przesyłany w osobnym nagłówku i usuwany, zanim żądanie zostanie przekazane dalej. LM Warden obsługuje twoje dane logowania Anthropic, bo musi je przekazać, ale tylko do Anthropic. Nigdy nie są wysyłane do silnika ani zapisywane w logach, a nic z przekazanego żądania nie jest przechowywane ani pokazywane w God mode.
Jakich silników inferencji używa?
W systemie Linux używa oficjalnych wersji vLLM v0.32.0 i llama.cpp b11719, wybieranych dla każdego modelu i uruchamianych bez modyfikacji: bez łatanego obrazu, bez forka, bez monkeypatchingu. Wybranie pliku .gguf powoduje użycie llama.cpp, który dzięki kwantyzacji GGUF mieści większe modele na mniejszych kartach i pozwala dalej korzystać ze starszych kart GPU. TensorRT-LLM, SGLang ani środowisko uruchomieniowe Ollama nie są dostarczane; wersja beta na Maca uruchamia modele za pomocą MLX, swojego domyślnego silnika, lub kompilacji llama.cpp dla Metal w przypadku plików .gguf i nie ma vLLM.
Czy cokolwiek opuszcza mój komputer?
Nic nie opuszcza hosta, chyba że włączysz router Claude Code i oznaczysz klucz flagą „May relay to Anthropic”. Wtedy żądania z tego klucza do modeli Claude, których żadna reguła nie kieruje na twoje karty GPU, trafiają do Anthropic na własnym koncie Anthropic użytkownika, i nic więcej. Nie ma konta, sprawdzania licencji ani analityki. Poza tym stos łączy się z usługami zewnętrznymi tylko wtedy, gdy o to poprosisz: z huggingface.co, aby pobrać wagi (HF_HUB_OFFLINE=1 blokuje nawet to), z Docker Hub, gdy otworzysz wybór wersji silnika, oraz z rejestrem obrazów wydania, który w instalacji offline lub w sieci odizolowanej (air-gapped) zastępuje docker load.
Czy prompty i odpowiedzi są przechowywane?
Domyślnie nie. Historia żądań, na której opierają się wykresy i użycie według klucza, zawiera tylko metadane i nie ma kolumny na tekst promptu ani odpowiedzi. Dwie funkcje diagnostyczne mogą przechwytywać treść i obie są wyłączone, dopóki ich nie włączysz: God mode (VW_GODMODE_ENABLED), ograniczony podgląd ruchu jednego klucza w pamięci, oraz log treści (VW_CONTENT_LOG_ENABLED), który zapisuje na dysk tylko dla wymienionych przez ciebie identyfikatorów tokenów.
Jak klucze API działają w zespole?
Każda aplikacja lub osoba dostaje własny klucz vw_ z własną stroną. Ustaw priorytet od P0 do P9 (oczekujące żądanie P9 zawsze idzie przed P8), wstrzymaj klucz, aby jego klienci dostawali 403 token paused, podczas gdy wykonywane żądania się kończą, albo wymień go (rotacja) z okresem przejściowym, w którym stary sekret nadal działa. Żądania, tokeny promptu i tokeny odpowiedzi są liczone dla klucza i adresu IP klienta, z czasem oczekiwania w kolejce i opóźnieniem dla każdego klucza. Skrypty, CI i agenci korzystający z API sterowania używają zamiast hasła administratora osobnych tokenów administratora vwa_.
Czy mogę uruchomić kilka modeli na jednej karcie GPU?
Nie. Jeden załadowany model na kartę GPU to reguła egzekwowana przed uruchomieniem silnika. Możesz załadować różne modele na różne karty tego samego hosta i podzielić jeden model między kilka kart za pomocą równoległości tensorowej vLLM.
Czego wymaga instalacja?
W systemie Linux potrzebny jest host z Dockerem, Docker Compose v2.24 lub nowszym, kartą NVIDIA, NVIDIA Container Toolkit i około 40 GB wolnego miejsca tam, gdzie Docker trzyma obrazy. Instalator sprawdza hosta, pozwala wybrać karty GPU, generuje sekrety, pobiera obrazy wydania i proponuje uruchomienie stosu. Następnie kreator pierwszego uruchomienia w przeglądarce pyta o karty GPU do użycia, token HuggingFace i twoje konto administratora. Na Macu z procesorem Apple wystarczy zamiast tego pobrać aplikację beta; zobacz sekcję o Macu.
Ile to kosztuje?
Nic. LM Warden jest objęty licencją Apache-2.0. To oprogramowanie, które uruchamiasz samodzielnie, a nie hostowane API: to ty zapewniasz sprzęt, sterownik, dysk i prąd, a gdy sprzęt jest już spłacony, żądanie kosztuje prąd, a nie opłatę za token.