LM Warden
Język: Polski
English Dokumentacja Zainstaluj

Grok CLI na twoich własnych kartach GPU.

Grok Build CLI od xAI z LM Warden jako modelem z własnym kluczem (BYOK).

Dokąd trafia żądanie z Grok CLI Grok CLI wysyła żądania do LM Warden: base_url wskazuje instancję LM Warden, a env_key zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU. Grok CLI base_url the warden, at /v1 env_key LMWARDEN_KEY holds vw_… POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica
Dokąd trafia żądanie z Grok CLI Grok CLI wysyła żądania do LM Warden: base_url wskazuje instancję LM Warden, a env_key zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU. Grok CLI base_url the warden, at /v1 env_key LMWARDEN_KEY holds vw_… POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica
Dokąd trafia żądanie z Grok CLI: dwa ustawienia zapisywane przez Connect, LM Warden pośrodku, a potem po jednej kopii modelu na kartę GPU.

Opis słowny: Grok CLI wysyła żądania do LM Warden: base_url wskazuje instancję LM Warden, a env_key zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU.

Protokół
OpenAI Chat Completions
Obsługa
Tylko modele lokalne

Tylko modele lokalne, przez Chat Completions (api_backend = chat_completions). Nie ma przekazywania do xAI, a model BYOK nie wymaga logowania do xAI. session_summary utrzymuje żądania Grok o tytuł sesji na tym modelu; bez tego Grok prosi tę instancję LM Warden o grok-4.6 i dostaje 404. Grok podczas działania dodaje własne sekcje do config.toml. Społecznościowy grok-cli (npm grok-dev) to inne narzędzie: czat działa, wywołania narzędzi nie.

Wymagania

  • Wymaga modelu z wywoływaniem narzędzi (edycje agentowe).
  • Działa najlepiej z kontekstem co najmniej 32 768 tokenów.

Konfiguracja

W konsoli Connect zapisuje te pliki z adresem twojej instancji LM Warden, twoim kluczem i wybranym modelem. Tutaj są pokazane z symbolami zastępczymi.

Grok Build (oficjalny)

Wpis modelu w ~/.grok/config.toml; klucz pochodzi z LMWARDEN_KEY. Instalacja: curl -fsSL https://x.ai/cli/install.sh | bash lub npm i -g @xai-official/grok

config.toml (~/.grok/config.toml)
[model.lmwarden]
model = "your-served-model-name"
name = "LM Warden · your-served-model-name"
base_url = "https://your-warden/v1"
env_key = "LMWARDEN_KEY"
api_backend = "chat_completions"
context_window = 32768

[models]
default = "lmwarden"
session_summary = "lmwarden"
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.
Powłoka
export LMWARDEN_KEY=vw_YOUR_KEY
grok -m lmwarden

Społecznościowy grok-cli

Społecznościowy grok-cli odczytuje bazowy adres URL, klucz i model ze zmiennych środowiskowych i wymaga zainstalowanego Bun. Czat działa; wywołania narzędzi zawodzą, bo jego SDK dla xAI odrzuca fragmenty wywołań narzędzi przychodzące w częściach, tak jak strumieniuje je vLLM.

Powłoka
export GROK_BASE_URL=https://your-warden/v1
export GROK_API_KEY=vw_YOUR_KEY
export GROK_MODEL=your-served-model-name
npx -y grok-dev

Oficjalna dokumentacja: https://docs.x.ai/build/settings/reference (stan na 2026-10-04).

Zobacz też: wszyscy agenci do kodowania · pozwól agentowi wybrać model · klucze API