Grok CLI на ваших власних GPU.

Grok Build CLI від xAI з LM Warden як моделлю з власним ключем (BYOK).

Куди йде запит від Grok CLI: два налаштування, які записує Connect, LM Warden посередині, а далі по одній копії моделі на GPU.

Текстовий опис: Grok CLI надсилає запити до LM Warden: base_url вказує на LM Warden, а env_key містить ключ LM Warden. LM Warden перевіряє ключ, приймає запит у форматі OpenAI Chat Completions, ставить його в чергу за пріоритетом ключа й передає маршрутизатору реплік, який тримає кожен сеанс на тій репліці, де вже є його кеш (по одній копії моделі на кожен GPU).

Протокол: OpenAI Chat Completions
Підтримка: Лише локальні моделі

Лише локальні моделі, через Chat Completions (api_backend = chat_completions). Запити до xAI не пересилаються, і для моделі BYOK обліковий запис xAI не потрібен. session_summary змушує Grok надсилати запити на генерацію назви сеансу цій самій моделі; без нього Grok запитує в цього LM Warden grok-4.6 й отримує 404. Під час роботи Grok додає власні розділи до config.toml. Спільнотний grok-cli (npm grok-dev) — інший інструмент: чат працює, виклики інструментів — ні.

Вимоги

Потрібна модель із викликом інструментів (агентні правки).
Найкраще працює з контекстом щонайменше 32 768 токенів.

Налаштування

У консолі Connect записує ці файли з адресою вашого LM Warden, вашим ключем і вибраною моделлю. Тут вони наведені із заповнювачами.

Grok Build (офіційний)

Запис моделі в ~/.grok/config.toml; ключ береться з LMWARDEN_KEY. Установлення: curl -fsSL https://x.ai/cli/install.sh | bash або npm i -g @xai-official/grok

config.toml (~/.grok/config.toml)

[model.lmwarden]
model = "your-served-model-name"
name = "LM Warden · your-served-model-name"
base_url = "https://your-warden/v1"
env_key = "LMWARDEN_KEY"
api_backend = "chat_completions"
context_window = 32768

[models]
default = "lmwarden"
session_summary = "lmwarden"
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

Оболонка

export LMWARDEN_KEY=vw_YOUR_KEY
grok -m lmwarden

Спільнотний grok-cli

Спільнотний grok-cli бере базову URL-адресу, ключ і модель зі змінних середовища й потребує встановленого Bun. Чат працює; виклики інструментів не вдаються, бо його SDK для xAI відхиляє фрагменти викликів інструментів, що надходять частинами, як їх передає vLLM.

Оболонка

export GROK_BASE_URL=https://your-warden/v1
export GROK_API_KEY=vw_YOUR_KEY
export GROK_MODEL=your-served-model-name
npx -y grok-dev

Офіційна документація: https://docs.x.ai/build/settings/reference (переглянуто 2026-10-04).