Постачальник OpenAI Compatible в Cline, заповнений на екрані його налаштувань.
Куди йде запит від Cline: два налаштування, які записує Connect, LM Warden посередині, а далі по одній копії моделі на GPU.
Текстовий опис:Cline надсилає запити до LM Warden: Base URL вказує на LM Warden, а API Key містить ключ LM Warden. LM Warden перевіряє ключ, приймає запит у форматі OpenAI Chat Completions, ставить його в чергу за пріоритетом ключа й передає маршрутизатору реплік, який тримає кожен сеанс на тій репліці, де вже є його кеш (по одній копії моделі на кожен GPU).
Протокол
OpenAI Chat Completions
Підтримка
Лише локальні моделі
Лише локальні моделі, через потокові Chat Completions. Cline не має файлу конфігурації: введіть ці значення в API Provider > OpenAI Compatible. Його постачальник Anthropic має власну базову URL-адресу, але не власний заголовок, тож режим Router недоступний.
Вимоги
Потрібна модель із викликом інструментів (агентні правки).
Найкраще працює з контекстом щонайменше 32 768 токенів.
Налаштування
У консолі Connect записує ці файли з адресою вашого LM Warden, вашим ключем і вибраною моделлю. Тут вони наведені із заповнювачами.
Локальні моделі
Settings > API Provider > OpenAI Compatible.
Налаштування
Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768