Cline на ваших собственных GPU.

Провайдер OpenAI Compatible в Cline, который настраивается на экране настроек.

Путь запроса от Cline: две настройки, которые создает Connect, затем сервер LM Warden и по копии модели на каждом GPU.

Иначе говоря: Cline отправляет запросы в LM Warden: в Base URL указан адрес сервера LM Warden, а в API Key — ключ LM Warden. LM Warden проверяет ключ, принимает запросы в формате OpenAI Chat Completions, ставит их в очередь по приоритету ключа и передает маршрутизатору реплик. Маршрутизатор закрепляет каждую сессию за репликой, на которой уже лежит ее кэш; на каждом GPU работает своя копия модели.

Протокол: OpenAI Chat Completions
Поддержка: Только локально

Только локальные модели через потоковый Chat Completions. У Cline нет файла конфигурации: введите эти значения в разделе API Provider → OpenAI Compatible. В его провайдере Anthropic можно задать свой базовый URL, но не свой заголовок, поэтому режим Router недоступен.

Требования

Нужна модель с вызовом инструментов (агентное редактирование).
Лучше всего работает с контекстом не меньше 32 768 токенов.

Настройка

В консоли раздел Connect создает эти файлы с адресом вашего сервера LM Warden, вашим ключом и выбранной моделью. Здесь они показаны с заполнителями.

Локальные модели

Settings → API Provider → OpenAI Compatible.

Настройки

Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768

Официальная документация: https://docs.cline.bot/provider-config/openai-compatible (дата обращения: 2026-10-04).