8(800) 222 32 56
Панель управления

AI

nftables flowtable для LLM API gateway: fast path без ложного ускорения
Linux

nftables flowtable для LLM API gateway: fast path без ложного ускорения

Практический runbook по nftables flowtable: проверяем routed path, OFFLOAD, NAT и исключения, проводим A/B/A canary и отделяем сетевой эффект от очереди LLM.

Андрей Минин, автор блога Андрей Минин, автор блога
HTTP/2 flow control для LLM streaming: как найти паузы за API gateway
Сетевые протоколы

HTTP/2 flow control для LLM streaming: как найти паузы за API gateway

Production-runbook по HTTP/2 flow control для LLM streaming: как найти исчерпание stream и connection window, проверить Envoy, провести canary и не скрыть медленного consumer.

Андрей Минин, автор блога Андрей Минин, автор блога
Qdrant backup и restore для RAG: snapshots без ложного чувства безопасности
AI

Qdrant backup и restore для RAG: snapshots без ложного чувства безопасности

Практический runbook резервного копирования и восстановления Qdrant для RAG: snapshots, cluster mode, recovery priority, application gates, cutover и rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
SO_REUSEPORT для LLM API gateway: accept-очереди, eBPF и безопасный rollout
Инфраструктура

SO_REUSEPORT для LLM API gateway: accept-очереди, eBPF и безопасный rollout

Production-runbook по SO_REUSEPORT для LLM API gateway: как доказать accept bottleneck, включить reuseport в NGINX, проверить workers, оценить eBPF и выполнить rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
NVMe/TCP TLS и DH-HMAC-CHAP: защищаем хранилище весов LLM
AI

NVMe/TCP TLS и DH-HMAC-CHAP: защищаем хранилище весов LLM

Production-runbook по защите удалённых весов LLM: NVMe/TCP TLS, DH-HMAC-CHAP, kernel keyring, canary, negative controls, vLLM gate и rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
Power cap для GPU в LLM inference: production-runbook без гадания по ваттам
AI

Power cap для GPU в LLM inference: production-runbook без гадания по ваттам

Практический runbook для безопасного ограничения мощности GPU: baseline, canary, DCGM и vLLM-метрики, energy-per-token, rollout и rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
NVIDIA Fabric Manager и NVSwitch: production-runbook для multi-GPU LLM
AI

NVIDIA Fabric Manager и NVSwitch: production-runbook для multi-GPU LLM

Практический runbook для NVSwitch-сервера: версии driver/Fabric Manager, topology и DCGM gates, Xid/SXid, LLM smoke test, мониторинг и recovery.

Андрей Минин, автор блога Андрей Минин, автор блога
GPU throttling в LLM inference: мониторинг через DCGM и Prometheus
AI

GPU throttling в LLM inference: мониторинг через DCGM и Prometheus

Практический мониторинг GPU throttling в LLM inference: DCGM Exporter, Prometheus, метрики power/thermal violation, PromQL, алерты и production-runbook.

King Servers
fs-verity для весов LLM: контроль целостности модели на GPU-сервере
AI

fs-verity для весов LLM: контроль целостности модели на GPU-сервере

Production-runbook по fs-verity для весов LLM: pinned revision, дерево Меркла, trusted manifest, systemd gate, отрицательные тесты и безопасный rollback на GPU-сервере.

Андрей Минин, автор блога Андрей Минин, автор блога