NVMe/TCP TLS и DH-HMAC-CHAP: защищаем хранилище весов LLM
Production-runbook по защите удалённых весов LLM: NVMe/TCP TLS, DH-HMAC-CHAP, kernel keyring, canary, negative controls, vLLM gate и rollback.
Андрей Минин, автор блога
AI
Power cap для GPU в LLM inference: production-runbook без гадания по ваттам
Практический runbook для безопасного ограничения мощности GPU: baseline, canary, DCGM и vLLM-метрики, energy-per-token, rollout и rollback.
Андрей Минин, автор блога
NVIDIA Fabric Manager и NVSwitch: production-runbook для multi-GPU LLM
Практический runbook для NVSwitch-сервера: версии driver/Fabric Manager, topology и DCGM gates, Xid/SXid, LLM smoke test, мониторинг и recovery.
Андрей Минин, автор блога
GPU throttling в LLM inference: мониторинг через DCGM и Prometheus
Практический мониторинг GPU throttling в LLM inference: DCGM Exporter, Prometheus, метрики power/thermal violation, PromQL, алерты и production-runbook.
King Servers
fs-verity для весов LLM: контроль целостности модели на GPU-сервере
Production-runbook по fs-verity для весов LLM: pinned revision, дерево Меркла, trusted manifest, systemd gate, отрицательные тесты и безопасный rollback на GPU-сервере.
Андрей Минин, автор блога
I/O-изоляция LLM-узла: cgroup v2 и systemd против штормов NVMe
Практический runbook по I/O-изоляции LLM-узла: cgroup v2 io.max, systemd slices, PSI, два gate, canary rollout и rollback.
Андрей Минин, автор блога
FS-Cache для LLM: как снять шторм загрузки весов с NFS на GPU-узлах
Практический runbook по NFSv4.2 и FS-Cache для весов LLM: локальный NVMe-кэш, прогрев, два уровня gates, rollout, наблюдаемость и rollback.
Андрей Минин, автор блога
Memory pressure в LLM-инференсе: cgroup v2, PSI и systemd-oomd
Практический runbook для защиты LLM-инференса от дефицита host RAM: PSI, cgroup v2, systemd-oomd, лимиты vLLM, алерты и аварийное восстановление.
Андрей Минин, автор блога
NVIDIA CDI для rootless GPU-контейнеров: безопасный запуск LLM inference
Практический runbook: NVIDIA Container Toolkit CDI, rootless Podman и Docker, выбор GPU/MIG, запуск vLLM, hardening, обновления и rollback.
Андрей Минин, автор блога
