NVMe/TCP TLS и DH-HMAC-CHAP: защищаем хранилище весов LLM
Production-runbook по защите удалённых весов LLM: NVMe/TCP TLS, DH-HMAC-CHAP, kernel keyring, canary, negative controls, vLLM gate и rollback.
Андрей Минин, автор блога
NUMA-locality для GPU-инференса: CPU, память и PCIe без удалённого пути
Практический runbook по NUMA-locality для LLM-инференса: topology, CPU и memory affinity, Kubernetes Topology Manager, canary, SLO и rollback.
Андрей Минин, автор блога
Power cap для GPU в LLM inference: production-runbook без гадания по ваттам
Практический runbook для безопасного ограничения мощности GPU: baseline, canary, DCGM и vLLM-метрики, energy-per-token, rollout и rollback.
Андрей Минин, автор блога
nvidia-persistenced для LLM: production-runbook без скрытых GPU init
Production-runbook по nvidia-persistenced для LLM: baseline, точечное включение по GPU UUID, infrastructure и application gates, canary rollout и rollback.
Андрей Минин, автор блога
PCIe ACS и P2P DMA для multi-GPU LLM: production-runbook
Практический runbook по PCIe ACS и P2P DMA: topology, IOMMU, NCCL, LLM application gate, точечное изменение bridge и безопасный rollback.
Андрей Минин, автор блога
Resizable BAR и Above 4G для multi-GPU LLM: production-runbook
Как проверить Above 4G Decoding, Resizable BAR и NVIDIA BAR1 на multi-GPU сервере: evidence bundle, PCIe/CUDA gates, LLM readiness и безопасный rollback.
Андрей Минин, автор блога
VFIO и IOMMU для LLM: безопасный GPU passthrough в KVM
Практический runbook по передаче NVIDIA GPU в KVM через VFIO и IOMMU: topology gate, libvirt, CUDA/LLM readiness, диагностика и rollback.
Андрей Минин, автор блога
NVIDIA Fabric Manager и NVSwitch: production-runbook для multi-GPU LLM
Практический runbook для NVSwitch-сервера: версии driver/Fabric Manager, topology и DCGM gates, Xid/SXid, LLM smoke test, мониторинг и recovery.
Андрей Минин, автор блога
GPU throttling в LLM inference: мониторинг через DCGM и Prometheus
Практический мониторинг GPU throttling в LLM inference: DCGM Exporter, Prometheus, метрики power/thermal violation, PromQL, алерты и production-runbook.
King Servers
