8(800) 222 32 56
Панель управления

LLM

fq_codel для LLM API gateway: как найти и убрать bufferbloat
Сетевые протоколы

fq_codel для LLM API gateway: как найти и убрать bufferbloat

Production-runbook по fq_codel на Linux LLM API gateway: как доказать bufferbloat, читать backlog, drops и ECN, провести A/B/A canary и выбрать fq или CAKE.

Андрей Минин, автор блога Андрей Минин, автор блога
NIC ring buffers и RX drops на LLM API gateway: ethtool-runbook
Сетевые протоколы

NIC ring buffers и RX drops на LLM API gateway: ethtool-runbook

Практический runbook по RX ring buffers: как связать ethtool counters, IRQ/softirq и ошибки LLM API, провести canary и не лечить любой timeout глубиной очереди.

Андрей Минин, автор блога Андрей Минин, автор блога
nftables flowtable для LLM API gateway: fast path без ложного ускорения
Linux

nftables flowtable для LLM API gateway: fast path без ложного ускорения

Практический runbook по nftables flowtable: проверяем routed path, OFFLOAD, NAT и исключения, проводим A/B/A canary и отделяем сетевой эффект от очереди LLM.

Андрей Минин, автор блога Андрей Минин, автор блога
HTTP/2 flow control для LLM streaming: как найти паузы за API gateway
Сетевые протоколы

HTTP/2 flow control для LLM streaming: как найти паузы за API gateway

Production-runbook по HTTP/2 flow control для LLM streaming: как найти исчерпание stream и connection window, проверить Envoy, провести canary и не скрыть медленного consumer.

Андрей Минин, автор блога Андрей Минин, автор блога
TCP buffers для LLM streaming: rmem, wmem и диагностика backpressure
Сетевые протоколы

TCP buffers для LLM streaming: rmem, wmem и диагностика backpressure

Практический runbook по TCP buffers для LLM streaming: как читать ss -tinm, отличить rmem/wmem от backpressure, настроить canary и выполнить rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
SO_REUSEPORT для LLM API gateway: accept-очереди, eBPF и безопасный rollout
Инфраструктура

SO_REUSEPORT для LLM API gateway: accept-очереди, eBPF и безопасный rollout

Production-runbook по SO_REUSEPORT для LLM API gateway: как доказать accept bottleneck, включить reuseport в NGINX, проверить workers, оценить eBPF и выполнить rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
Kubernetes NetworkPolicy для LLM inference: default-deny без поломки DNS и GPU-сервисов
DevOps

Kubernetes NetworkPolicy для LLM inference: default-deny без поломки DNS и GPU-сервисов

Практический runbook NetworkPolicy для LLM inference: dependency map, default-deny, CoreDNS, metadata endpoint, canary, наблюдаемость и rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
Power cap для GPU в LLM inference: production-runbook без гадания по ваттам
AI

Power cap для GPU в LLM inference: production-runbook без гадания по ваттам

Практический runbook для безопасного ограничения мощности GPU: baseline, canary, DCGM и vLLM-метрики, energy-per-token, rollout и rollback.

Андрей Минин, автор блога Андрей Минин, автор блога
fs-verity для весов LLM: контроль целостности модели на GPU-сервере
AI

fs-verity для весов LLM: контроль целостности модели на GPU-сервере

Production-runbook по fs-verity для весов LLM: pinned revision, дерево Меркла, trusted manifest, systemd gate, отрицательные тесты и безопасный rollback на GPU-сервере.

Андрей Минин, автор блога Андрей Минин, автор блога