Aider на ваших власних GPU.

Aider на моделі, що обслуговується, через його OpenAI-сумісного постачальника.

Куди йде запит від Aider: два налаштування, які записує Connect, LM Warden посередині, а далі по одній копії моделі на GPU.

Текстовий опис: Aider надсилає запити до LM Warden: OPENAI_API_BASE вказує на LM Warden, а OPENAI_API_KEY містить ключ LM Warden. LM Warden перевіряє ключ, приймає запит у форматі OpenAI Chat Completions, ставить його в чергу за пріоритетом ключа й передає маршрутизатору реплік, який тримає кожен сеанс на тій репліці, де вже є його кеш (по одній копії моделі на кожен GPU).

Протокол: OpenAI Chat Completions
Підтримка: Лише локальні моделі

Лише локальні моделі, через Chat Completions. Aider редагує через текстові формати, тож модель не потребує виклику інструментів. Файл метаданих лише прибирає попередження Aider про невідому модель і задає розмір її контексту.

Вимоги

Найкраще працює з контекстом щонайменше 32 768 токенів.

Налаштування

У консолі Connect записує ці файли з адресою вашого LM Warden, вашим ключем і вибраною моделлю. Тут вони наведені із заповнювачами.

Локальні моделі

Спрямуйте постачальника OpenAI в Aider на цей LM Warden.

Оболонка

export OPENAI_API_BASE=https://your-warden/v1
export OPENAI_API_KEY=vw_YOUR_KEY
aider --model openai/your-served-model-name

.aider.model.metadata.json (.aider.model.metadata.json)

{
  "openai/your-served-model-name": {
    "max_input_tokens": 32768,
    "max_output_tokens": 8192,
    "max_tokens": 8192,
    "input_cost_per_token": 0,
    "output_cost_per_token": 0,
    "litellm_provider": "openai",
    "mode": "chat"
  }
}

Ідентифікатор сеансу для кожного запуску (необов’язково)

# Run this instead of `aider ...`: it writes a fresh session id per launch.
SID=$(python3 -c 'import uuid; print(uuid.uuid4())')
cat > .aider.model.settings.yml <<EOF
- name: openai/your-served-model-name
  extra_params:
    extra_headers:
      X-Session-Id: $SID
EOF
aider --model openai/your-served-model-name

Офіційна документація: https://aider.chat/docs/llms/openai-compat.html (переглянуто 2026-10-04).