Aider na twoich własnych kartach GPU.

Aider na udostępnianym modelu przez swojego dostawcę zgodnego z OpenAI.

Dokąd trafia żądanie z Aider: dwa ustawienia zapisywane przez Connect, LM Warden pośrodku, a potem po jednej kopii modelu na kartę GPU.

Opis słowny: Aider wysyła żądania do LM Warden: OPENAI_API_BASE wskazuje instancję LM Warden, a OPENAI_API_KEY zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU.

Protokół: OpenAI Chat Completions
Obsługa: Tylko modele lokalne

Tylko modele lokalne, przez Chat Completions. Aider edytuje za pomocą formatów tekstowych, więc model nie potrzebuje wywoływania narzędzi. Plik metadanych tylko wyłącza ostrzeżenie Aider o nieznanym modelu i ustawia rozmiar jego kontekstu.

Wymagania

Działa najlepiej z kontekstem co najmniej 32 768 tokenów.

Konfiguracja

W konsoli Connect zapisuje te pliki z adresem twojej instancji LM Warden, twoim kluczem i wybranym modelem. Tutaj są pokazane z symbolami zastępczymi.

Modele lokalne

Skieruj dostawcę OpenAI w Aider na tę instancję LM Warden.

Powłoka

export OPENAI_API_BASE=https://your-warden/v1
export OPENAI_API_KEY=vw_YOUR_KEY
aider --model openai/your-served-model-name

.aider.model.metadata.json (.aider.model.metadata.json)

{
  "openai/your-served-model-name": {
    "max_input_tokens": 32768,
    "max_output_tokens": 8192,
    "max_tokens": 8192,
    "input_cost_per_token": 0,
    "output_cost_per_token": 0,
    "litellm_provider": "openai",
    "mode": "chat"
  }
}

Identyfikator sesji dla każdego uruchomienia (opcjonalnie)

# Run this instead of `aider ...`: it writes a fresh session id per launch.
SID=$(python3 -c 'import uuid; print(uuid.uuid4())')
cat > .aider.model.settings.yml <<EOF
- name: openai/your-served-model-name
  extra_params:
    extra_headers:
      X-Session-Id: $SID
EOF
aider --model openai/your-served-model-name

Oficjalna dokumentacja: https://aider.chat/docs/llms/openai-compat.html (stan na 2026-10-04).