Grok CLI на ваших собственных GPU.
Grok Build CLI от xAI с LM Warden в качестве модели со своим ключом (BYOK).
Иначе говоря: Grok CLI отправляет запросы в LM Warden: в base_url указан адрес сервера LM Warden, а в env_key — ключ LM Warden. LM Warden проверяет ключ, принимает запросы в формате OpenAI Chat Completions, ставит их в очередь по приоритету ключа и передает маршрутизатору реплик. Маршрутизатор закрепляет каждую сессию за репликой, на которой уже лежит ее кэш; на каждом GPU работает своя копия модели.
- Протокол
- OpenAI Chat Completions
- Поддержка
- Только локально
Только локальные модели через Chat Completions (api_backend = chat_completions). Сквозной передачи в xAI нет, и для модели BYOK учетная запись xAI не нужна. Благодаря session_summary запросы Grok на генерацию заголовков сессий тоже идут на эту модель; без этой настройки Grok запрашивает у сервера LM Warden модель grok-4.6 и получает 404. При запуске Grok добавляет в config.toml собственные разделы. Неофициальный grok-cli от сообщества (npm grok-dev) — это другой инструмент: чат в нем работает, вызовы инструментов — нет.
Требования
- Нужна модель с вызовом инструментов (агентное редактирование).
- Лучше всего работает с контекстом не меньше 32 768 токенов.
Настройка
В консоли раздел Connect создает эти файлы с адресом вашего сервера LM Warden, вашим ключом и выбранной моделью. Здесь они показаны с заполнителями.
Grok Build (официальный)
Запись модели в ~/.grok/config.toml; ключ берется из LMWARDEN_KEY. Установка: curl -fsSL https://x.ai/cli/install.sh | bash или npm i -g @xai-official/grok
config.toml (~/.grok/config.toml)[model.lmwarden] model = "your-served-model-name" name = "LM Warden · your-served-model-name" base_url = "https://your-warden/v1" env_key = "LMWARDEN_KEY" api_backend = "chat_completions" context_window = 32768 [models] default = "lmwarden" session_summary = "lmwarden" # The model's context window is unknown: 32768 is a guess. Set it to the model's real window.
export LMWARDEN_KEY=vw_YOUR_KEY grok -m lmwarden
grok-cli от сообщества
Неофициальный grok-cli от сообщества берет базовый URL, ключ и модель из переменных окружения, и для него нужен установленный Bun. Чат работает, а вызовы инструментов — нет: его xAI SDK не принимает вызовы инструментов, переданные по частям, а vLLM в потоковом режиме передает их именно так.
export GROK_BASE_URL=https://your-warden/v1 export GROK_API_KEY=vw_YOUR_KEY export GROK_MODEL=your-served-model-name npx -y grok-dev
Официальная документация: https://docs.x.ai/build/settings/reference (дата обращения: 2026-10-04).