O provedor OpenAI Compatible do Cline, preenchido na tela de configurações dele.
Para onde vai uma solicitação do Cline: as duas configurações que o Connect grava, o warden no meio e depois uma cópia do modelo por GPU.
Em texto:O Cline envia as solicitações ao LM Warden com Base URL apontando para o warden e API Key contendo uma chave do warden. O LM Warden verifica a chave, implementa o protocolo OpenAI Chat Completions, coloca a solicitação na fila pela prioridade da chave e a entrega ao roteador de réplicas, que mantém cada sessão na réplica que já tem o cache dela, uma cópia do modelo por GPU.
Protocolo
OpenAI Chat Completions
Suporte
Só modelos locais
Só modelos locais, via Chat Completions em streaming. O Cline não tem arquivo de configuração: insira estes valores em API Provider > OpenAI Compatible. O provedor Anthropic dele tem URL base personalizada, mas não cabeçalho personalizado, então o modo Router não está disponível.
Requisitos
Precisa de um modelo com chamada de ferramentas (edições agênticas).
Funciona melhor com pelo menos 32.768 tokens de contexto.
Configuração
No console, o Connect grava estes arquivos com o endereço do seu warden, a sua chave e o modelo que você escolheu. Aqui eles aparecem com espaços reservados.
Modelos locais
Settings > API Provider > OpenAI Compatible.
Configurações
Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768