HTTP/2 flow control для LLM streaming: как найти паузы за API gateway
Production-runbook по HTTP/2 flow control для LLM streaming: как найти исчерпание stream и connection window, проверить Envoy, провести canary и не скрыть медленного consumer.
Production-runbook по HTTP/2 flow control для LLM streaming: как найти исчерпание stream и connection window, проверить Envoy, провести canary и не скрыть медленного consumer.
Практический runbook резервного копирования и восстановления Qdrant для RAG: snapshots, cluster mode, recovery priority, application gates, cutover и rollback.
Production-runbook по SO_REUSEPORT для LLM API gateway: как доказать accept bottleneck, включить reuseport в NGINX, проверить workers, оценить eBPF и выполнить rollback.
Production-runbook по защите удалённых весов LLM: NVMe/TCP TLS, DH-HMAC-CHAP, kernel keyring, canary, negative controls, vLLM gate и rollback.
Практический runbook для безопасного ограничения мощности GPU: baseline, canary, DCGM и vLLM-метрики, energy-per-token, rollout и rollback.
Практический runbook для NVSwitch-сервера: версии driver/Fabric Manager, topology и DCGM gates, Xid/SXid, LLM smoke test, мониторинг и recovery.
Практический мониторинг GPU throttling в LLM inference: DCGM Exporter, Prometheus, метрики power/thermal violation, PromQL, алерты и production-runbook.
Production-runbook по fs-verity для весов LLM: pinned revision, дерево Меркла, trusted manifest, systemd gate, отрицательные тесты и безопасный rollback на GPU-сервере.
Практический runbook по I/O-изоляции LLM-узла: cgroup v2 io.max, systemd slices, PSI, два gate, canary rollout и rollback.