El OpenAI SDK en tus propias GPU.

Cualquier OpenAI SDK, o cualquier herramienta que permita configurar una URL base compatible con OpenAI.

Adónde va una solicitud del OpenAI SDK: las dos opciones que configura Connect, el warden en medio y, después, una copia del modelo por GPU.

Descripción: El OpenAI SDK envía sus solicitudes a LM Warden, con base_url configurada con la dirección del warden y una clave del warden en api_key. LM Warden comprueba la clave, recibe la solicitud por OpenAI Chat Completions, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU.

Protocolo: OpenAI Chat Completions
Compatibilidad: Solo modelos locales

Solo modelos locales. No se reenvía nada a OpenAI: una solicitud de gpt-* recibe un 404. Se admiten Chat Completions y Completions; /v1/responses es una traducción sin estado a Chat Completions (consulta Codex CLI).

Configuración

En la consola, Connect genera estos archivos con la dirección de tu warden, tu clave y el modelo que hayas elegido. Aquí aparecen con marcadores de posición.

Modelos locales

base_url es el /v1 de este warden y la clave del warden es la clave de API.

Python

from openai import OpenAI

client = OpenAI(base_url="https://your-warden/v1", api_key="vw_YOUR_KEY")
response = client.chat.completions.create(
    model="your-served-model-name",
    messages=[{"role": "user", "content": "Reply with the single word OK."}],
)
print(response.choices[0].message.content)

TypeScript

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://your-warden/v1", apiKey: "vw_YOUR_KEY" });
const response = await client.chat.completions.create({
  model: "your-served-model-name",
  messages: [{ role: "user", content: "Reply with the single word OK." }],
});
console.log(response.choices[0].message.content);

curl

curl https://your-warden/v1/chat/completions \
  -H "Authorization: Bearer vw_YOUR_KEY" \
  -H "content-type: application/json" \
  -d '{"model": "your-served-model-name", "stream": false, "messages": [{"role": "user", "content": "Reply with the single word OK."}]}'

Documentación oficial: https://github.com/openai/openai-python#readme (consultada el 2026-10-04).