Inference

AI

Power cap для GPU в LLM inference: production-runbook без гадания по ваттам

Практический runbook для безопасного ограничения мощности GPU: baseline, canary, DCGM и vLLM-метрики, energy-per-token, rollout и rollback.

Андрей Минин, автор блога

AI

GPU throttling в LLM inference: мониторинг через DCGM и Prometheus

Практический мониторинг GPU throttling в LLM inference: DCGM Exporter, Prometheus, метрики power/thermal violation, PromQL, алерты и production-runbook.

King Servers

AI

Memory pressure в LLM-инференсе: cgroup v2, PSI и systemd-oomd

Практический runbook для защиты LLM-инференса от дефицита host RAM: PSI, cgroup v2, systemd-oomd, лимиты vLLM, алерты и аварийное восстановление.

Андрей Минин, автор блога

AI

NVIDIA CDI для rootless GPU-контейнеров: безопасный запуск LLM inference

Практический runbook: NVIDIA Container Toolkit CDI, rootless Podman и Docker, выбор GPU/MIG, запуск vLLM, hardening, обновления и rollback.

Андрей Минин, автор блога

Power cap для GPU в LLM inference: production-runbook без гадания по ваттам

GPU throttling в LLM inference: мониторинг через DCGM и Prometheus

Memory pressure в LLM-инференсе: cgroup v2, PSI и systemd-oomd

NVIDIA CDI для rootless GPU-контейнеров: безопасный запуск LLM inference

Популярные теги

Последние публикации

Inference

Power cap для GPU в LLM inference: production-runbook без гадания по ваттам

GPU throttling в LLM inference: мониторинг через DCGM и Prometheus

Memory pressure в LLM-инференсе: cgroup v2, PSI и systemd-oomd

NVIDIA CDI для rootless GPU-контейнеров: безопасный запуск LLM inference

Популярные теги

Последние публикации

Заказать обратный звонок