LM Warden

OpenCode,运行在你自己的 GPU 上。

将 LM Warden 设为 OpenCode 的提供方(兼容 OpenAI),使用一个已部署的模型。

来自 OpenCode 的请求去往何处 OpenCode 把请求发送给 LM Warden,baseURL 设为 warden,apiKey 填写 warden 密钥。LM Warden 检查密钥,支持 OpenAI Chat Completions,按密钥优先级为请求排队,并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上(每块 GPU 一个模型副本)。 OpenCode baseURL the warden, at /v1 apiKey vw_…, the warden key POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica
来自 OpenCode 的请求去往何处 OpenCode 把请求发送给 LM Warden,baseURL 设为 warden,apiKey 填写 warden 密钥。LM Warden 检查密钥,支持 OpenAI Chat Completions,按密钥优先级为请求排队,并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上(每块 GPU 一个模型副本)。 OpenCode baseURL the warden, at /v1 apiKey vw_…, the warden key POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica
来自 OpenCode 的请求去往何处:Connect 写入的两项设置,中间是 warden,然后每块 GPU 上一份模型副本。

文字说明: OpenCode 把请求发送给 LM Warden,baseURL 设为 warden,apiKey 填写 warden 密钥。LM Warden 检查密钥,支持 OpenAI Chat Completions,按密钥优先级为请求排队,并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上(每块 GPU 一个模型副本)。

协议
OpenAI Chat Completions
支持情况
仅限本地模型

仅限本地模型,走 Chat Completions(@ai-sdk/openai-compatible;@ai-sdk/openai 会改用 Responses API,而这个 warden 仅为 Codex CLI 转换该 API)。模型 ID 必须是 /v1/models 中列出的已部署模型名称。如果配置文件要提交到仓库,请用 {env:LMWARDEN_KEY} 代替密钥。通过 OpenCode 的 Anthropic 提供方使用 Router 模式的做法,本页暂未涵盖。

要求

  • 需要支持工具调用的模型(用于智能体式编辑)。
  • 至少有 32,768 个 token 的上下文时效果最好。

设置

在控制台中,Connect 会用你的 warden 地址、你的密钥和你选择的模型写入这些文件。下面以占位符展示这些文件。

本地模型

在 opencode.json 中把 LM Warden 添加为提供方,并设为默认。

opencode.json (opencode.json)
{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "lmwarden": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "LM Warden",
      "options": { "baseURL": "https://your-warden/v1", "apiKey": "vw_YOUR_KEY" },
      "models": {
        "your-served-model-name": { "name": "your-served-model-name", "limit": { "context": 32768, "output": 8192 } }
      }
    }
  },
  "model": "lmwarden/your-served-model-name"
}
Shell
opencode run "Reply with the single word OK."

官方文档:https://opencode.ai/docs/providers/(查阅日期:2026-10-04)。