Pozwól agentowi do kodowania wybrać model.

Wybór modelu dla twoich kart oznacza wybór kwantyzacji, silnika (vLLM lub llama.cpp), sposobu podziału między karty GPU, rozmiaru kontekstu, typu cache KV oraz tego, czy pomaga dekodowanie spekulatywne. Każda próba kosztuje pobranie i załadowanie. Agent do kodowania może przeprowadzić te poszukiwania za ciebie, gdy ty zajmujesz się czymś innym, bo wszystko, co robi konsola, to wywołanie API.

Konfiguracja w trzech krokach

Zainstaluj LM Warden na hoście z GPU (polecenie znajdziesz w sekcji Pobierz i zainstaluj) i dokończ kreator konfiguracji.
Wystaw token administratora w Settings → Access Tokens z ważnością 30 dni. Wyeksportuj go jako VW_ADMIN_TOKEN, a adres instancji LM Warden jako W w powłoce, z której korzysta twój agent.
Uruchom agenta: Claude Code, Codex CLI lub innego, który potrafi wykonywać polecenia powłoki. Do tej pracy może używać hostowanego modelu; strojony jest model na twoich kartach.

Czego używa agent

Krok	Wywołanie API
Zobacz karty	`GET /api/system/gpus`
Sprawdź, czy model się zmieści, przed pobraniem	`POST /api/models/fit-preview`
Zarejestruj i pobierz konfigurację startową	`POST /api/models`, `GET /api/models/{model_id}/suggest-config`
Pobierz i załaduj	`POST /api/models/{model_id}/pull`, `POST /api/models/{model_id}/load`
Zmierz rzeczywisty limit kontekstu	`POST /api/models/{model_id}/stress`, potem `POST /api/models/{model_id}/stress/apply`
Odczytaj liczby z LM Warden	`GET /api/stats/v2/throughput`, `GET /api/stats/v2/latency`
Wyślij ruch testowy	klucz do inferencji z `POST /api/tokens`, na `/v1/chat/completions`

Agent najpierw czyta przewodnik dla agenta: krótki opis tych wywołań napisany dla modelu językowego, z błędami, których należy unikać.

Prompty do wklejenia

Zastąp https://your-warden adresem swojej instancji LM Warden, a nazwy pisane wielkimi literami modelami, które masz na myśli.

1. Zbadaj sprzęt i wybierz modele

Read https://your-warden/agent-guide.md and follow it. My admin token is in $VW_ADMIN_TOKEN and the warden is at $W.
List the GPUs this warden may use. Then shortlist three open-weight models from Hugging Face that fit them, for agentic coding with tool calling.
Check each with POST /api/models/fit-preview and keep only those that fit with at least 65536 tokens of context.
Show me a table: model, quantisation, engine, GPUs, context, and why. Do not download anything yet.

2. Wybierz silnik i układ dla jednego modelu

Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W.
For the model MODEL_REPO, decide between vLLM and llama.cpp, and between tensor parallel and data parallel replicas on my GPUs.
Use fit-preview for every layout you consider. Register and load the best two layouts one after the other, send each the same 20 streaming requests through an inference key you issue, and compare time to first token and tokens per second at concurrency 1 and 8.
Keep the winner loaded, unload the other, revoke the key, and report the numbers.

3. Znajdź rzeczywiste limity i zastosuj je

Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W.
The loaded model is MODEL_NAME. Nobody else is using this warden right now.
Run a quick stress run on it, wait for it to finish, read its capabilities and apply the measured context.
Then benchmark it at concurrency 1, 4 and 16 with prompts of about 2k and 30k tokens, and give me a table of time to first token and tokens per second.

4. Porównaj dwóch kandydatów na moim obciążeniu

Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W.
Compare MODEL_A and MODEL_B for my workload: the prompts in ./workload/*.txt.
Load each in turn with its best layout, replay the prompts at concurrency 4, and record latency, tokens per second, and whether each answer is correct by your judgement.
Write the results to ./model-comparison.md with a recommendation, and leave the recommended model loaded.

Zanim zaczniesz

Token administratora ma pełne uprawnienia administracyjne w LM Warden: modele, klucze i ustawienia. Węższych zakresów jeszcze nie ma. Ustaw krótki okres ważności.
Test obciążeniowy celowo doprowadza silnik do awarii, aby znaleźć jego limit. Uruchamiaj te prompty na instancji LM Warden, od której nikt inny nie zależy.
Pobrania są duże. Prompty każą agentowi sprawdzić dopasowanie przed pobraniem, ale pilnuj miejsca na dysku.
Odwołaj token administratora w Settings → Access Tokens, gdy zadanie zostanie wykonane.