Cursor में OpenAI Base URL ओवरराइड करके, लोड किए गए मॉडल से चैट करें।
Cursor का अनुरोध कहाँ जाता है: Connect की लिखी दो सेटिंग, बीच में warden, फिर हर GPU पर मॉडल की एक कॉपी।
शब्दों में:Cursor अपने अनुरोध LM Warden को भेजता है, जिसमें Override OpenAI Base URL warden पर सेट है और OpenAI API Key में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI Chat Completions समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है।
प्रोटोकॉल
OpenAI Chat Completions
सपोर्ट
सिर्फ़ लोकल मॉडल
अनुरोध Cursor के सर्वर से भेजे जाते हैं, इसलिए इस warden का URL इंटरनेट से पहुँचने योग्य होना चाहिए; LAN या localhost वाला warden काम नहीं करेगा। कस्टम कुंजियाँ सिर्फ़ चैट मॉडल के साथ काम करती हैं: Tab कंप्लीशन Cursor के अपने मॉडल ही इस्तेमाल करता रहता है, और Cursor के मॉडल वाला Agent कस्टम कुंजियाँ स्वीकार नहीं करता। Cursor के मौजूदा दस्तावेज़ों में Override OpenAI Base URL सेटिंग का अब ज़िक्र नहीं है; इसकी जानकारी Cursor स्टाफ़ के फ़ोरम जवाबों से मिलती है।
आवश्यकताएँ
Cursor के सर्वर इस URL को कॉल करते हैं, इसलिए यह इंटरनेट से पहुँचने योग्य होना चाहिए।
सेटअप
कंसोल में Connect ये फ़ाइलें आपके warden के पते, आपकी कुंजी और आपके चुने हुए मॉडल के साथ लिखता है। यहाँ ये प्लेसहोल्डर के साथ दी गई हैं।
लोकल मॉडल के साथ चैट
Cursor Settings > Models, फिर मॉडल का नाम कस्टम मॉडल के रूप में जोड़ें।
सेटिंग्स
OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name