LM Warden
भाषा: हिन्दी
English दस्तावेज़ इंस्टॉल करें

अपने कोडिंग एजेंट को मॉडल चुनने दें।

अपने कार्ड के लिए मॉडल चुनने का मतलब है कई फ़ैसले: क्वांटाइज़ेशन, इंजन (vLLM या llama.cpp), मॉडल को GPU में कैसे बाँटें, कितना कॉन्टेक्स्ट दें, KV-कैश का प्रकार, और स्पेक्युलेटिव डिकोडिंग से फ़ायदा होगा या नहीं। हर अंदाज़े की क़ीमत एक डाउनलोड और एक लोड है। जब तक आप कोई और काम करते हैं, कोडिंग एजेंट यह खोज आपके लिए कर सकता है, क्योंकि कंसोल जो भी करता है वह एक API कॉल है।

तीन चरणों में सेट करें

  1. GPU होस्ट पर LM Warden इंस्टॉल करें (कमांड डाउनलोड और इंस्टॉल में है) और सेटअप विज़ार्ड पूरा करें।
  2. Settings → Access Tokens में 30 दिन की समाप्ति के साथ एक एडमिन टोकन जारी करें। जिस शेल को आपका एजेंट इस्तेमाल करता है, उसमें इसे VW_ADMIN_TOKEN और warden के पते को W के रूप में एक्सपोर्ट करें।
  3. अपना एजेंट शुरू करें: Claude Code, Codex CLI या कोई और जो शेल कमांड चला सके। इस काम के लिए वह होस्टेड मॉडल इस्तेमाल कर सकता है; जिस मॉडल को वह ट्यून कर रहा है वह आपके कार्ड पर है।

एजेंट क्या इस्तेमाल करता है

चरणएंडपॉइंट
कार्ड देखेंGET /api/system/gpus
डाउनलोड से पहले जाँचें कि मॉडल फ़िट होता हैPOST /api/models/fit-preview
रजिस्टर करें, शुरुआती कॉन्फ़िग पाएँPOST /api/models, GET /api/models/{model_id}/suggest-config
पुल करें और लोड करेंPOST /api/models/{model_id}/pull, POST /api/models/{model_id}/load
कॉन्टेक्स्ट की असली सीमा मापेंPOST /api/models/{model_id}/stress, फिर POST /api/models/{model_id}/stress/apply
warden के आँकड़े पढ़ेंGET /api/stats/v2/throughput, GET /api/stats/v2/latency
टेस्ट ट्रैफ़िक भेजेंPOST /api/tokens से मिली इन्फ़रेंस कुंजी, /v1/chat/completions पर

एजेंट पहले एजेंट गाइड पढ़ता है: भाषा मॉडल के लिए लिखा गया इन कॉल का छोटा विवरण, जिसमें बचने वाली ग़लतियाँ भी हैं।

पेस्ट करने के लिए प्रॉम्प्ट

https://your-warden को अपने warden के पते से, और बड़े अक्षरों वाले नामों को उन मॉडल से बदलें जो आपके मन में हैं।

1. हार्डवेयर देखें और फ़िट होने वाले मॉडल छाँटें

Read https://your-warden/agent-guide.md and follow it. My admin token is in $VW_ADMIN_TOKEN and the warden is at $W.
List the GPUs this warden may use. Then shortlist three open-weight models from Hugging Face that fit them, for agentic coding with tool calling.
Check each with POST /api/models/fit-preview and keep only those that fit with at least 65536 tokens of context.
Show me a table: model, quantisation, engine, GPUs, context, and why. Do not download anything yet.

2. एक मॉडल के लिए इंजन और लेआउट चुनें

Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W.
For the model MODEL_REPO, decide between vLLM and llama.cpp, and between tensor parallel and data parallel replicas on my GPUs.
Use fit-preview for every layout you consider. Register and load the best two layouts one after the other, send each the same 20 streaming requests through an inference key you issue, and compare time to first token and tokens per second at concurrency 1 and 8.
Keep the winner loaded, unload the other, revoke the key, and report the numbers.

3. असली सीमाएँ ढूँढें और लागू करें

Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W.
The loaded model is MODEL_NAME. Nobody else is using this warden right now.
Run a quick stress run on it, wait for it to finish, read its capabilities and apply the measured context.
Then benchmark it at concurrency 1, 4 and 16 with prompts of about 2k and 30k tokens, and give me a table of time to first token and tokens per second.

4. मेरे वर्कलोड पर दो उम्मीदवारों की तुलना करें

Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W.
Compare MODEL_A and MODEL_B for my workload: the prompts in ./workload/*.txt.
Load each in turn with its best layout, replay the prompts at concurrency 4, and record latency, tokens per second, and whether each answer is correct by your judgement.
Write the results to ./model-comparison.md with a recommendation, and leave the recommended model loaded.

शुरू करने से पहले

  • एडमिन टोकन को warden पर पूरे एडमिन अधिकार मिलते हैं: मॉडल, कुंजियाँ और सेटिंग्स। इससे सीमित अधिकारों वाले टोकन अभी नहीं हैं। इसकी अवधि छोटी रखें।
  • स्ट्रेस रन उसकी सीमा ढूँढने के लिए जान-बूझकर इंजन को क्रैश करता है। ये प्रॉम्प्ट ऐसे warden पर चलाएँ जिस पर कोई और निर्भर न हो।
  • डाउनलोड बड़े होते हैं। प्रॉम्प्ट एजेंट से पुल करने से पहले फ़िट जाँचने को कहते हैं, फिर भी अपनी डिस्क पर नज़र रखें।
  • काम पूरा होने पर Settings → Access Tokens में एडमिन टोकन रद्द करें।

संबंधित: कोडिंग एजेंट · GPU मॉनिटरिंग · सामान्य प्रश्न