Grok CLI nas suas próprias GPUs.

O Grok Build CLI da xAI com o LM Warden como modelo com chave própria (BYOK).

Para onde vai uma solicitação do Grok CLI: as duas configurações que o Connect grava, o warden no meio e depois uma cópia do modelo por GPU.

Em texto: O Grok CLI envia as solicitações ao LM Warden com base_url apontando para o warden e env_key contendo uma chave do warden. O LM Warden verifica a chave, implementa o protocolo OpenAI Chat Completions, coloca a solicitação na fila pela prioridade da chave e a entrega ao roteador de réplicas, que mantém cada sessão na réplica que já tem o cache dela, uma cópia do modelo por GPU.

Protocolo: OpenAI Chat Completions
Suporte: Só modelos locais

Só modelos locais, via Chat Completions (api_backend = chat_completions). Não há repasse para a xAI, e um modelo BYOK não precisa de login na xAI. session_summary mantém neste modelo as solicitações de título de sessão do Grok; sem isso, o Grok pede grok-4.6 a este warden e recebe um 404. O Grok acrescenta as próprias seções ao config.toml quando roda. O grok-cli da comunidade (npm grok-dev) é outra ferramenta: o chat funciona, as chamadas de ferramenta não.

Requisitos

Precisa de um modelo com chamada de ferramentas (edições agênticas).
Funciona melhor com pelo menos 32.768 tokens de contexto.

Configuração

No console, o Connect grava estes arquivos com o endereço do seu warden, a sua chave e o modelo que você escolheu. Aqui eles aparecem com espaços reservados.

Grok Build (oficial)

Uma entrada de modelo em ~/.grok/config.toml; a chave vem de LMWARDEN_KEY. Instalação: curl -fsSL https://x.ai/cli/install.sh | bash ou npm i -g @xai-official/grok

config.toml (~/.grok/config.toml)

[model.lmwarden]
model = "your-served-model-name"
name = "LM Warden · your-served-model-name"
base_url = "https://your-warden/v1"
env_key = "LMWARDEN_KEY"
api_backend = "chat_completions"
context_window = 32768

[models]
default = "lmwarden"
session_summary = "lmwarden"
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

Shell

export LMWARDEN_KEY=vw_YOUR_KEY
grok -m lmwarden

grok-cli da comunidade

O grok-cli da comunidade lê a URL base, a chave e o modelo das variáveis de ambiente e precisa do Bun instalado. O chat funciona; as chamadas de ferramenta falham, porque o SDK da xAI dele rejeita trechos de chamada de ferramenta que chegam em partes, como o vLLM os transmite.

Shell

export GROK_BASE_URL=https://your-warden/v1
export GROK_API_KEY=vw_YOUR_KEY
export GROK_MODEL=your-served-model-name
npx -y grok-dev

Documentação oficial: https://docs.x.ai/build/settings/reference (lida em 2026-10-04).