Continue na twoich własnych kartach GPU.

Dostawca OpenAI w Continue skierowany na tę instancję LM Warden, jeden udostępniany model.

Dokąd trafia żądanie z Continue: dwa ustawienia zapisywane przez Connect, LM Warden pośrodku, a potem po jednej kopii modelu na kartę GPU.

Opis słowny: Continue wysyła żądania do LM Warden: apiBase wskazuje instancję LM Warden, a apiKey zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU.

Protokół: OpenAI Chat Completions
Obsługa: Tylko modele lokalne

Tylko modele lokalne, przez Chat Completions. Tryb Router wymagałby niestandardowych nagłówków, których Continue nie dokumentuje.

Wymagania

Działa najlepiej z kontekstem co najmniej 32 768 tokenów.

Konfiguracja

W konsoli Connect zapisuje te pliki z adresem twojej instancji LM Warden, twoim kluczem i wybranym modelem. Tutaj są pokazane z symbolami zastępczymi.

Modele lokalne

Wpis modelu w ~/.continue/config.yaml.

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    capabilities: [tool_use]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

Oficjalna dokumentacja: https://docs.continue.dev/reference (stan na 2026-10-04).