Continue, आपके अपने GPU पर।

Continue का OpenAI प्रोवाइडर इस warden पर सेट करें और एक लोड किया गया मॉडल इस्तेमाल करें।

Continue का अनुरोध कहाँ जाता है: Connect की लिखी दो सेटिंग, बीच में warden, फिर हर GPU पर मॉडल की एक कॉपी।

शब्दों में: Continue अपने अनुरोध LM Warden को भेजता है, जिसमें apiBase warden पर सेट है और apiKey में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI Chat Completions समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है।

प्रोटोकॉल: OpenAI Chat Completions
सपोर्ट: सिर्फ़ लोकल मॉडल

सिर्फ़ लोकल मॉडल, Chat Completions पर। Router मोड के लिए ऐसे कस्टम हेडर चाहिए होंगे जिनका Continue दस्तावेज़ों में ज़िक्र नहीं करता।

आवश्यकताएँ

कम से कम 32,768 टोकन के कॉन्टेक्स्ट के साथ सबसे अच्छा काम करता है।

सेटअप

कंसोल में Connect ये फ़ाइलें आपके warden के पते, आपकी कुंजी और आपके चुने हुए मॉडल के साथ लिखता है। यहाँ ये प्लेसहोल्डर के साथ दी गई हैं।

लोकल मॉडल

~/.continue/config.yaml में एक मॉडल एंट्री।

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    capabilities: [tool_use]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

आधिकारिक दस्तावेज़: https://docs.continue.dev/reference (2026-10-04 की स्थिति)।