Monitorowanie GPU: serwer, z którego pochodzą te liczby.

O ile podpis nie mówi inaczej, odczyty na tej stronie pochodzą z jednej stacji roboczej: czterech kart RTX A4000 z jednym modelem załadowanym na wszystkie, zajętych naszym własnym ruchem testowym. Te liczby pokazywała konsola, gdy wykonywaliśmy zrzuty do rys. 1 i 5. Testy dopasowania niżej używały też karty Quadro RTX 5000, o czym tam mowa.

Panele poszczególnych kart odczytują sterownik NVIDIA, więc są częścią instalacji dla systemu Linux. Na Macu z procesorem Apple aplikacja na Maca (beta) pokazuje wykorzystanie GPU i budżet pamięci zgłaszany przez Metal, bez odczytu mocy.

Karty GPU: 4 × NVIDIA RTX A4000, każda 16 GiB (Ampere, compute 8.6)
Użycie VRAM: 59,4 z 64,0 GiB, jeden model na wszystkich czterech kartach
PCIe: Gen 4 x16 na kartę
Sterownik: 610.57.04, CUDA 13.3

Obciążenie GPU, moc i tokeny odczytane z rys. 1
Odczyt	W chwili zrzutu	Mediana pod obciążeniem, 24 h	Szczyt w 24 h
Wykorzystanie GPU, najbardziej obciążona karta (%)	100	100	100
Moc GPU, suma czterech kart (W)	548	530	559
Tokeny na minutę (panel z 23 wrz.)	nie pokazano	190 tys.	880 tys.

Twoje liczby będą inne. Właśnie po to się je mierzy. Wiersz tokenów powstał, zanim przeszliśmy na tokeny na sekundę; panel statystyk pokazuje teraz tokeny na sekundę, a te liczby pochodzą ze zrzutu z 23 września na starszym panelu minutowym.

Wartość, której nie da się zmierzyć, jest oznaczona jako „not reported”.

Większość pulpitów GPU uśrednia cztery karty do jednej linii i rysuje brakującą wartość jako 0. Ten daje każdej karcie własny panel: temperaturę względem progu dławienia zgłaszanego przez sterownik, moc względem własnego limitu karty, taktowanie, wentylator, łącze PCIe w stanie wynegocjowanym w tej chwili oraz ECC i NVLink, jeśli karta je ma. Dwie karty kupione w odstępie osiemnastu miesięcy pozostają dwiema kartami, a wartość, której sterownik nie podaje, jest oznaczana jako brakująca, a nie rysowana jako zero.

Cztery panele GPU ze strony Stats pod obciążeniem, po jednym na każdą RTX A4000: wykorzystanie 99–100 procent w stanie zasilania P2, temperatury od 79 do 94 stopni przy progu dławienia 100 stopni, ostrzeżenie o spowolnieniu termicznym na trzech kartach, moc 134–138 przy limicie 140 watów, taktowanie, wersja sterownika i CUDA, łącze PCIe, NVLink i ECC — **Rys. 5**Cztery panele GPU z tej samej strony Stats w pełnym rozmiarze, zrobione podczas tego samego obciążenia. Każda karta jest na 99 lub 100% w stanie zasilania P2, a trzy z nich, przy 90–94 °C, sterownik utrzymuje na poziomie od 76 do 84% maksymalnego taktowania. Przewiń obraz w bok, aby zobaczyć wszystkie cztery.

Co jest odczytywane gdzie
Na kartę	Temperatura i próg dławienia, moc i jej limit, taktowanie rdzenia i pamięci, wentylator, generacja i szerokość PCIe, ECC, NVLink oraz proces silnika używający karty
Na host	Użycie VRAM, wykorzystanie GPU (najbardziej obciążona karta), moc (suma kart) i tokeny na sekundę
Na żądanie	Czas do pierwszego tokenu, opóźnienie między tokenami i czas trwania, mierzone na proxy w ten sam sposób dla obu silników

Na co czeka każde żądanie.

Strona Stats wymienia każde żądanie w toku z sesją klienta i etapem, na którym jest żądanie: w kolejce LM Warden, prefill (silnik czyta prompt), myślenie, pisanie wywołania narzędzia lub odpowiadanie. Plakietka podaje część promptu, która prawdopodobnie jest w cache repliki. Jeśli prefill trwa dłużej, niż przewiduje wyuczona dla tego serwera szybkość prefill, widać prawdopodobną przyczynę: żądanie czeka za innymi promptami na tej samej replice, cache został prawdopodobnie usunięty albo żądanie jest powolne z powodu, którego LM Warden nie widzi. Sesja pochodzi z identyfikatora, który każde narzędzie już wysyła: Claude Code, Codex, OpenCode i pi od razu, Hermes i Aider po jednym wierszu konfiguracji.

Tabela In flight z 14 aktywnymi żądaniami, wszystkie z klucza agent-farm z jednego adresu klienta. Kolumny: token, IP klienta, sesja, model, faza, okno kontekstu i czas trwania. Sześć wierszy jest w fazie tool call lub answering, a osiem w prefill, większość z plakietką szacującą 94–100% promptu w cache; trzy prefill mają plakietkę evict?, a dwa plakietkę klepsydry, 1·r0 i 1·r4. Pod tabelą: model prefill 439 tok/s wyuczony z 1132 żądań, szacunek cache trafny w 57% przypadków oraz współczynnik trafień według przerwy bezczynności, 68% po maksymalnie 30 sekundach, spadający do 18% po 5–15 minutach. — **Rys. 12**Czternaście żądań w toku na serwerze z siedmioma kartami GPU. Pod tabelą jest to, czego LM Warden nauczył się z zakończonych żądań: ten serwer wykonuje prefill około 439 tokenów na sekundę na żądanie, jego szacunek cache był trafny w 57% przypadków, a rozmowa bezczynna dłużej niż dwie minuty zwykle nie ma już swojego cache (20% trafień po 2–5 minutach). Nazwa klucza jest zastępcza, a adres to adres dokumentacyjny. Poniżej 768 pikseli szerokości tabela zmienia się w listę kart. Zarejestrowano 5 października 2026 r. Przewiń obraz w bok, aby zobaczyć wszystkie kolumny.