Envoy под перегрузкой LLM API: circuit breakers, backpressure и overload manager
Production-runbook для Envoy перед LLM API: как локализовать перегрузку, настроить circuit breakers, overload manager, backpressure, canary и rollback.
Production-runbook для Envoy перед LLM API: как локализовать перегрузку, настроить circuit breakers, overload manager, backpressure, canary и rollback.
Практический runbook по Gateway API Inference Extension v1.6.2: InferencePool, Endpoint Picker, canary, evidence gates, fallback и rollback для LLM.
Практический runbook для LLM API: отличаем штатный HTTP/2 GOAWAY от аварии, находим владельца соединения, согласуем gRPC keepalive и проверяем retry, drain и SLO.
Практический runbook: как найти всплеск TLS handshakes на LLM API gateway, проверить session resumption и keepalive, провести canary и доказать влияние на TTFT.
Практический runbook DNS failover для LLM API: TTL, negative и stale cache, systemd-resolved, connection pools, dual-stack, canary и rollback.
Production-runbook для WireGuard: как доказать MTU/PMTUD black hole, измерить underlay и wg0, проверить ICMP, настроить MTU/MSS clamp и подтвердить фикс на LLM streaming canary.
Практический runbook перехода с NVIDIA Device Plugin на Kubernetes DRA: версии, GPUCluster, ResourceClaim, canary, evidence gate, диагностика и rollback.
Практический runbook по BBR и fq для LLM-стриминга: как отделить TTFT от сетевой очереди, снять baseline, провести canary, проверить ss/qdisc и доказать эффект rollback-контрфактом.
Production runbook для pgvector HNSW после UPDATE/DELETE: version gate, dead tuples, REINDEX CONCURRENTLY, VACUUM, iterative scans и exact-vs-approx recall.