Cursor на ваших собственных GPU.

Переопределение базового URL OpenAI в Cursor для чата с обслуживаемой моделью.

Путь запроса от Cursor: две настройки, которые создает Connect, затем сервер LM Warden и по копии модели на каждом GPU.

Иначе говоря: Cursor отправляет запросы в LM Warden: в Override OpenAI Base URL указан адрес сервера LM Warden, а в OpenAI API Key — ключ LM Warden. LM Warden проверяет ключ, принимает запросы в формате OpenAI Chat Completions, ставит их в очередь по приоритету ключа и передает маршрутизатору реплик. Маршрутизатор закрепляет каждую сессию за репликой, на которой уже лежит ее кэш; на каждом GPU работает своя копия модели.

Протокол: OpenAI Chat Completions
Поддержка: Только локально

Запросы отправляются с серверов Cursor, поэтому URL этого сервера LM Warden должен быть доступен из интернета; сервер в локальной сети или на localhost работать не будет. Пользовательские ключи API работают только с моделями для чата: автодополнение Tab по-прежнему использует модели Cursor, а режим Agent с моделями Cursor пользовательские ключи не принимает. В текущей документации Cursor настройка Override OpenAI Base URL больше не описана; о ней известно из ответов сотрудников Cursor на форуме.

Требования

Серверы Cursor обращаются к этому URL, поэтому он должен быть доступен из интернета.

Настройка

В консоли раздел Connect создает эти файлы с адресом вашего сервера LM Warden, вашим ключом и выбранной моделью. Здесь они показаны с заполнителями.

Чат с локальной моделью

Откройте Cursor Settings → Models и добавьте имя модели как пользовательскую модель.

Настройки

OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name

Официальная документация: https://cursor.com/docs/settings/api-keys (дата обращения: 2026-10-04).