Laissez votre agent de codage choisir le modèle.
Choisir un modèle pour vos cartes, c’est choisir une quantification, un moteur (vLLM ou llama.cpp), la façon de le répartir sur les GPU, la taille du contexte à lui allouer, le type de cache KV, et décider si le décodage spéculatif est utile. Chaque essai coûte un téléchargement et un chargement. Un agent de codage peut mener cette recherche pour vous pendant que vous faites autre chose, car tout ce que fait la console passe par un appel d’API.
Mise en place en trois étapes
- Installez LM Warden sur l’hôte GPU (la commande se trouve sous Télécharger et installer) et terminez l’assistant de configuration.
- Créez un jeton admin dans Settings → Access Tokens, avec une durée de validité de 30 jours. Exportez-le sous le nom
VW_ADMIN_TOKEN, et l’adresse du warden sous le nomW, dans le shell qu’utilise votre agent. - Lancez votre agent : Claude Code, Codex CLI ou tout autre agent capable d’exécuter des commandes shell. Il peut s’appuyer sur un modèle hébergé pour ce travail ; le modèle qu’il règle est celui qui tourne sur vos cartes.
Ce que l’agent utilise
| Étape | Point de terminaison |
|---|---|
| Recenser les cartes | GET /api/system/gpus |
| Vérifier qu’un modèle tient, avant de le télécharger | POST /api/models/fit-preview |
| Enregistrer, obtenir une configuration de départ | POST /api/models, GET /api/models/{model_id}/suggest-config |
| Télécharger et charger | POST /api/models/{model_id}/pull, POST /api/models/{model_id}/load |
| Mesurer le vrai plafond de contexte | POST /api/models/{model_id}/stress, puis POST /api/models/{model_id}/stress/apply |
| Lire les métriques du warden | GET /api/stats/v2/throughput, GET /api/stats/v2/latency |
| Envoyer du trafic de test | une clé d’inférence obtenue par POST /api/tokens, sur /v1/chat/completions |
L’agent lit d’abord le guide pour agents : une courte description de ces appels rédigée pour un modèle de langage, avec les erreurs à éviter.
Prompts à coller
Remplacez https://your-warden par l’adresse de votre warden, et les noms en majuscules par les modèles que vous envisagez.
1. Inventorier le matériel et présélectionner des modèles
Read https://your-warden/agent-guide.md and follow it. My admin token is in $VW_ADMIN_TOKEN and the warden is at $W. List the GPUs this warden may use. Then shortlist three open-weight models from Hugging Face that fit them, for agentic coding with tool calling. Check each with POST /api/models/fit-preview and keep only those that fit with at least 65536 tokens of context. Show me a table: model, quantisation, engine, GPUs, context, and why. Do not download anything yet.
2. Choisir le moteur et la répartition pour un modèle
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. For the model MODEL_REPO, decide between vLLM and llama.cpp, and between tensor parallel and data parallel replicas on my GPUs. Use fit-preview for every layout you consider. Register and load the best two layouts one after the other, send each the same 20 streaming requests through an inference key you issue, and compare time to first token and tokens per second at concurrency 1 and 8. Keep the winner loaded, unload the other, revoke the key, and report the numbers.
3. Trouver les vraies limites et les appliquer
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. The loaded model is MODEL_NAME. Nobody else is using this warden right now. Run a quick stress run on it, wait for it to finish, read its capabilities and apply the measured context. Then benchmark it at concurrency 1, 4 and 16 with prompts of about 2k and 30k tokens, and give me a table of time to first token and tokens per second.
4. Comparer deux candidats sur ma charge de travail
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. Compare MODEL_A and MODEL_B for my workload: the prompts in ./workload/*.txt. Load each in turn with its best layout, replay the prompts at concurrency 4, and record latency, tokens per second, and whether each answer is correct by your judgement. Write the results to ./model-comparison.md with a recommendation, and leave the recommended model loaded.
Avant de commencer
- Un jeton admin a tous les droits d’administration sur le warden : modèles, clés et paramètres. Il n’existe pas encore de portées plus restreintes. Donnez-lui une durée de validité courte.
- Un test de charge fait volontairement planter un moteur pour trouver sa limite. Exécutez ces prompts sur un warden dont personne d’autre ne dépend.
- Les téléchargements sont volumineux. Les prompts demandent à l’agent de vérifier que le modèle tient avant de le télécharger, mais surveillez votre disque.
- Révoquez le jeton admin dans Settings → Access Tokens une fois le travail terminé.