Мониторинг GPU: на каком сервере получены эти цифры

Если в подписи не сказано иное, показания на этой странице получены на одной рабочей станции: четыре RTX A4000, на которые загружена одна модель, при нашей тестовой нагрузке. Именно эти цифры показывала консоль, когда мы делали снимки для рис. 1 и 5. В тестах совместимости ниже использовалась также Quadro RTX 5000 — там это указано.

Панели отдельных карт получают данные от драйвера NVIDIA, поэтому они есть только в установке для Linux. На Mac с Apple silicon приложение для Mac (бета-версия) показывает загрузку GPU и бюджет памяти, о котором сообщает Metal, без данных об энергопотреблении.

GPU: 4 × NVIDIA RTX A4000, по 16 ГиБ (Ampere, compute 8.6)
Занято VRAM: 59,4 из 64,0 ГиБ, одна модель на всех четырех картах
PCIe: Gen 4 x16 на каждую карту
Драйвер: 610.57.04, CUDA 13.3

Загрузка GPU, энергопотребление и токены — данные с рис. 1
Показание	В момент снимка	Медиана под нагрузкой за 24 ч	Пик за 24 ч
Загрузка GPU, максимум по картам (%)	100	100	100
Энергопотребление GPU, сумма по четырем картам (Вт)	548	530	559
Токенов в минуту (панель 23 сентября)	не показано	190 тыс.	880 тыс.

Ваши цифры будут другими — именно поэтому их стоит измерять. Строка с токенами осталась с тех пор, когда панель еще показывала токены в минуту: сейчас панель статистики показывает токены в секунду, а эти данные взяты со снимка старой поминутной панели от 23 сентября.

Если величину измерить нельзя, так и написано: «not reported».

Большинство панелей мониторинга GPU усредняют четыре карты в одну линию и рисуют отсутствующее значение как 0. Здесь у каждой карты своя панель: температура относительно порога троттлинга, о котором сообщает драйвер, энергопотребление относительно собственного лимита мощности карты, частоты, вентилятор, текущие согласованные параметры канала PCIe, а также ECC и NVLink, если они есть у карты. Две карты, купленные с разницей в полтора года, так и остаются двумя разными картами, а значение, которого драйвер не сообщает, помечается как отсутствующее, а не рисуется нулем.

Четыре панели GPU со страницы Stats под нагрузкой, по одной на каждую RTX A4000: загрузка от 99 до 100 процентов в состоянии питания P2, температура от 79 до 94 градусов при пороге троттлинга 100 градусов, предупреждение о тепловом троттлинге на трех картах, энергопотребление от 134 до 138 при лимите 140 Вт, частоты, версии драйвера и CUDA, канал PCIe, NVLink и ECC — **Рис. 5**Четыре панели GPU с той же страницы Stats в полном размере, снятые под той же нагрузкой. Каждая карта загружена на 99 или 100 % в состоянии питания P2, а у трех из них, нагретых до 90–94 °C, драйвер ограничивает частоту до 76–84 % от максимальной. Прокрутите изображение вбок, чтобы увидеть все четыре.

Какие данные откуда берутся
По каждой карте	Температура и порог троттлинга, энергопотребление и лимит мощности, частоты ядра и памяти, вентилятор, поколение и ширина PCIe, ECC, NVLink и процесс движка, использующий карту
По серверу	Занятая VRAM, загрузка GPU (самой загруженной карты), энергопотребление (сумма по картам) и токены в секунду
По каждому запросу	Время до первого токена, задержка между токенами и общая длительность — измеряются на прокси одинаково для обоих движков

Чего ждет каждый запрос.

На странице Stats видны все выполняющиеся запросы с сессией клиента и фазой, в которой находится каждый запрос: в очереди LM Warden, prefill (движок обрабатывает промпт), размышление, формирование вызова инструмента или ответ. Значок показывает, какая доля промпта, скорее всего, уже есть в кэше реплики. Если prefill идет дольше, чем предсказывает скорость prefill, которую LM Warden определил для этого сервера по прошлым запросам, указывается вероятная причина: запрос ждет за другими промптами на той же реплике, кэш, скорее всего, уже вытеснен или задержка вызвана чем-то, чего LM Warden не видит. Сессия определяется по идентификатору, который каждый инструмент и так отправляет: Claude Code, Codex, OpenCode и pi — без настройки, Hermes и Aider — после добавления одной строки в конфигурацию.

Таблица In flight с 14 активными запросами, все от ключа agent-farm с одного адреса клиента. Столбцы: ключ, IP клиента, сессия, модель, фаза, контекстное окно и прошедшее время. Шесть запросов в фазе вызова инструмента или ответа и восемь в фазе prefill, у большинства значок с оценкой 94–100 % промпта в кэше; у трех запросов на prefill значок evict?, у двух — значок песочных часов, 1·r0 и 1·r4. Под таблицей: модель prefill 439 tok/s, рассчитанная по 1 132 запросам, оценка кэша верна в 57 % случаев, и доля попаданий в зависимости от паузы: 68 % после паузы до 30 секунд и всего 18 % после 5–15 минут. — **Рис. 12**Четырнадцать выполняющихся запросов на сервере с семью GPU. Под таблицей — то, что LM Warden вычислил по завершенным запросам: этот сервер выполняет prefill со скоростью около 439 токенов в секунду на запрос, оценка кэша оказалась верной в 57 % случаев, а у диалога, простаивавшего больше двух минут, кэш обычно уже вытеснен (20 % попаданий после паузы в 2–5 минут). Имя ключа заменено, адрес взят из диапазона для документации. При ширине экрана меньше 768 пикселей таблица превращается в список карточек. Снято 5 октября 2026 г. Прокрутите изображение вбок, чтобы увидеть все столбцы.