VW_GODMODE_ENABLED を設定しない限りオフです。vwa_ トークンを使うと、スクリプト、CI、エージェントが管理者パスワード、Cookie の管理、CSRF ヘッダーなしでコントロール API を操作できます。表示は一度だけで、SHA-256 ハッシュとして保存されます。/v1 は :8080 を共有します。独自の TLS ターミネーター、Ingress、SSO をそのまま前段に置けます。HF_HUB_OFFLINE=1 で重みのダウンロードも止められます。/router/stats にあります。ローカル、パススルー、フォールバック、拒否を理由とともに、ルールごと、ターゲットごとに、ブレーカーの状態も含めて。プロセスごとの集計で、ヘッダーや本文は一切含みません。model_reasoning_effort = "none" でオフになります。ローカル モデルのみで、ルーターのルールは適用されません。vLLM のエンジン コアがクラッシュしても、それを包む vllm serve ラッパーは動き続けていたため、プロセスは生きているように見え、リクエストは送られ続けました。現在はウォッチドッグが、プロセス テーブルではなくエンジン自身の /health エンドポイントに問い合わせます。エンジンが応答しなくなると、上限付きのログ末尾を含む証拠を残し、モデルを再読み込みします。
ウォッチドッグのプローブに、エンジンが応答
/metrics のスクレイプ、届き続けるチャット補完、実行中 10 件で待機なしというエンジン自身のカウント、その間に一回の /health プローブ。画像を横にスクロールすると行全体が読めます。大きなモデルは読み込みに十二分以上かかることがあります。これまで warden は固定のタイムアウトで判断しており、期限が来るとエンジンがまだ読み込み中でもモデルに赤い 「still loading」 エラーを書き込んでいました。現在のモデル ページは、各読み込み手順を進行状況バー、過去の読み込みから得たそれぞれの通常の所要時間、CPU と GPU メモリの稼働状況とともに表示します。停滞した読み込みは停止され、その GPU は解放されます。読み込みが進んでいる間は何も赤くなりません。NVIDIA B300 八基でテンソル並列 8 の GLM-5.2 NVFP4 は約 11～12 分で読み込まれます。これほど長い読み込みは、以前は 600 s のタイムアウトに引っかかっていました。
bf16 8B モデルは重みだけで約 15 GiB あり、読み込み中にメモリが不足します。以下の各行を 16 GiB の RTX A4000 と Quadro RTX 5000 のカードで試し、ヘルス チェックを信用するのではなく、チャットのプレイグラウンドでモデルの回答を読んで判断しました。
| モデル | 動くもの | 動かないもの |
|---|---|---|
openai/gpt-oss-20b | カード二枚、テンソル並列 2、max_model_len 32000、gpu_memory_utilization 0.7 ～ 0.9 | カード一枚：20B の MoE は収まらない |
| Llama 3.1 8B、Mistral 7B クラス | カード一枚で、AWQ-INT4 チェックポイント、--enforce-eager、gpu_memory_utilization 0.9 | bf16 のリポジトリ：重みが約 15 GiB で、読み込み中にメモリ不足 |
| 二つのモデルを同時に | カードごとに一つのモデルで、それぞれが自分のカードに収まる | 二つのモデルで一枚のカードを共有 |
vLLM 0.20.0 で確認しました。上記のレプリカの測定には 0.26.0 を使っています。このリリースには 0.32.0 が含まれており、これで最初に計測した読み込みは B300 八基でテンソル並列 8 の GLM-5.2 NVFP4 で、約 11～12 分でした。収まるかどうかのルールは 0.32 ではまだ測り直していません。完全な表とその理由は HAZARDS.md にあります。NVIDIA ではありませんか？ Apple シリコンには Mac のベータ版があり、次は Windows、ほかの GPU はロードマップにあります。