8(800) 222 32 56
Панель управления
Сетевые протоколы

TCP PLB в Linux для LLM API gateway: как сменить плохой ECMP-путь

TCP PLB в Linux для LLM API gateway: как сменить плохой ECMP-путь
Подберите идеальное решение для ваших задач:
в России, США и Нидерландах обеспечат максимальную скорость. Воспользуйтесь всеми преимуществами надежного оборудования. Базовая помощь и техническое обслуживание входят в пакет услуг.
Длинный LLM-stream внезапно начинает идти рывками, хотя GPU не перегружен, gateway не упирается в CPU, а соседние запросы здоровы. Иногда виноват один неудачный ECMP-путь, за которым TCP-соединение закрепилось на минуты. Linux TCP Protective Load Balancing умеет сменить IPv6 Flow Label по устойчивому сигналу congestion и дать fabric шанс выбрать другой маршрут. Разберём, как доказать именно эту причину, провести A/B/A canary и не принять общий timeout за задачу для PLB.

Готовы перейти на современную серверную инфраструктуру?

В King Servers мы предлагаем серверы как на AMD EPYC, так и на Intel Xeon, с гибкими конфигурациями под любые задачи — от виртуализации и веб-хостинга до S3-хранилищ и кластеров хранения данных.

  • S3-совместимое хранилище для резервных копий
  • Панель управления, API, масштабируемость
  • Поддержку 24/7 и помощь в выборе конфигурации

Создайте аккаунт

Быстрая регистрация для доступа к инфраструктуре

Короткий ответ: TCP PLB нужен не каждому gateway

TCP Protective Load Balancing имеет смысл, когда один длительный TCP-поток LLM API попал на перегруженный путь внутри IPv6 ECMP/WCMP fabric, а остальные равнозначные пути здоровы. Обычный ECMP уже сделал выбор по хешу и продолжает держать соединение на неудачном next hop. PLB использует накопленный congestion signal, меняет txhash и IPv6 Flow Label, после чего сеть может выбрать другой путь для того же соединения.

Но default здесь строгий: не включать PLB, пока не доказан path-specific hotspot. Если растёт TTFT из-за очереди inference, gateway упирается в CPU, клиент читает SSE медленно или proxy буферизует ответ, смена ECMP-пути не устранит причину. Сначала отделите сетевой hop от application queue, иначе получится аккуратная настройка не того слоя.

Qualifying condition выглядит так: один и тот же класс запросов на одинаковых gateway-узлах даёт разные ECN, retransmission и RTT-профили; paired capture связывает различие с конкретным fabric path; backend load и GPU queue при этом сопоставимы. Только после этого PLB становится кандидатом для canary.

Материал дополняет разбор Linux ECMP resilient nexthop: там речь о стабильности bucket mapping при изменении состава next hops, здесь — о sender-side repath существующего TCP-соединения по сигналу устойчивой перегрузки. Это разные механизмы и разные поисковые задачи.

LLM API gateway подключён к GPU-серверам через несколько IPv6 ECMP-путей

Как работает TCP PLB и где заканчивается его зона ответственности

Поддержка TCP PLB появилась в Linux 6.2. Актуальная документация Linux IP sysctl фиксирует четыре ограничения. Функция выключена по умолчанию; congestion-control должен поддерживать PLB, и в документации приведён DCTCP; transport должен получать пригодную оценку congestion, например из ECN; текущая реализация меняет IPv6 Flow Label и для обычного IPv4 header является no-op.

Цепочка короткая, но каждый её элемент обязателен. Switch маркирует перегрузку ECN, DCTCP формирует оценку доли маркированных пакетов, PLB считает последовательные congested rounds и вызывает rehash. Новый Flow Label влияет на ECMP/WCMP hash только если поле участвует в политике коммутатора. Если fabric хеширует лишь фиксированный 5-tuple или outer tunnel header не меняется, sysctl может быть включён без фактического repath.

При отсутствии packets in flight PLB может сменить путь после меньшего числа congested rounds: риск reordering ниже. Forced rehash во время активной передачи ждёт дольше, потому что пакеты старого и нового пути могут прийти не по порядку. После RTO механизм временно приостанавливает repath, чтобы не метаться в сторону настоящего black hole.

Изменение Flow Label подтверждает механизм, но не пользовательский результат. Итоговый gate — TTFT, межтокенные паузы, completion rate и cancellation на свежих контролируемых запросах. Проверяли ли вы, что ECN виден именно sender-side gateway, а не только на switch telemetry?

Подходит ли PLB вашему симптому?

bashplb-baseline.sh
uname -r
sysctl net.ipv4.tcp_plb_enabled
sysctl net.ipv4.tcp_plb_idle_rehash_rounds
sysctl net.ipv4.tcp_plb_rehash_rounds
sysctl net.ipv4.tcp_plb_suspend_rto_sec
sysctl net.ipv4.tcp_plb_cong_thresh
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_available_congestion_control
sysctl net.ipv4.tcp_ecn
Только чтение: kernel и effective sysctl до canary
Схема TCP PLB: ECN, DCTCP, смена IPv6 Flow Label и выбор нового ECMP-пути

Сначала докажите path-specific congestion, а не общий timeout

Начните с одной проблемной сессии и одного healthy control. Запишите effective network namespace, локальный и удалённый IPv6-адреса, порт, route lookup, интерфейс и termination point. Для LLM gateway это критично: клиентское соединение может завершаться на внешнем load balancer, а TCP-плечо до inference backend создаёт proxy. PLB на backend hop не изменит client-facing path и наоборот.

Разделите четыре evidence gate. Path: какой next hop и Flow Label реально уходят в fabric. Transport: RTT, retransmissions, delivery rate, ECN negotiation и DCTCP state на конкретном socket. Wire: видят ли paired capture одинаковые потери и CE marks до и после предполагаемого bottleneck. Application: как ведут себя TTFT, pauses, завершение stream и cancellation для того же prompt class.

Абсолютный счётчик ничего не доказывает. Возьмите delta за одинаковое окно и нормализуйте по завершённым запросам, байтам или токенам. Сравните suspected path и healthy path при сопоставимой backend queue. Если ECN растёт у всех путей, PLB лишь перераспределит перегрузку.

Если ECN нет, а есть локальные RX drops, сначала используйте runbook по NIC ring buffers и RX drops. Если capture чистый, а softnet и per-queue counters указывают на CPU pressure, нужен анализ RSS, RPS и IRQ affinity, не PLB.

bashcollect-path-evidence.sh
ip -6 route get 2001:db8:42::20 from 2001:db8:10::15
ss -tin dst '[2001:db8:42::20]'
ip -s link show dev eth0
nstat -az | grep -E 'Tcp|Ip6|ECN|PLB'
ethtool -S eth0 | grep -Ei 'drop|miss|timeout|ecn'
Route, socket и counters для baseline и canary

Проверьте prerequisites от switch до congestion-control

PLB — не отдельный балансировщик, который включается одной строкой. Это последняя ступень цепочки signal → decision → path change. Switch должен маркировать congestion, а не только дропать пакеты. ECN должен сохраниться через tunnel и middleboxes. На sender работает congestion-control, экспортирующий PLB-совместимый congestion measure. Наконец, ECMP policy обязана учитывать изменяемый IPv6 Flow Label.

Наличие sysctl подтверждает интерфейс, но не поддержку вашим congestion-control или fabric. Linux documentation на дату запуска описывает DCTCP как пример поддерживаемого алгоритма. Не переносите синтаксис из experimental tree: сверяйте документацию установленного kernel package и vendor backports.

Для Kubernetes или containerized gateway повторите чтение внутри effective netns. Настройка root namespace может не совпасть с namespace, где создаётся socket. Если TLS завершается в sidecar, owner outgoing TCP socket — sidecar, а не приложение. Вопрос «где включить PLB?» решается по socket owner.

Отдельный disqualifier — IPv4-only fabric. Документация говорит: смена sk_txhash отражается на IPv6 Flow Label, но для IPv4 header это no-op. Encapsulation или дополнительные host/switch изменения требуют отдельного дизайна и проверки; это не автоматическая функция Linux sysctl.

Что доказывает каждый prerequisite?

CE marks и DCTCP state подтверждают signal на sender.
PLB rehash counter подтверждает решение TCP stack.
Flow Label и capture подтверждают другой ECMP next hop.
TTFT, pauses и completion показывают пользовательский эффект.
ECN-маркировка перегруженной очереди в leaf-spine сети перед Linux gateway

Разберите параметры PLB до изменения значений

tcp_plb_enabled открывает возможность PLB; default — disabled. tcp_plb_cong_thresh задаёт долю marked packets за RTT в шкале 0–256. Значение 128 соответствует половине пакетов. Ноль означает repath каждый RTT независимо от congestion и в документации оставлен только для экспериментов.

tcp_plb_idle_rehash_rounds — число последовательных congested rounds перед rehash, когда packets in flight отсутствуют; default 3. tcp_plb_rehash_rounds — порог forced rehash во время активной передачи; default 12. Малое значение повышает риск retransmissions из-за reordering. Для SSE forced branch может встречаться чаще, чем для коротких запросов с idle gaps.

tcp_plb_suspend_rto_sec задаёт базовое время приостановки PLB после RTO; фактическая пауза рандомизируется между 1x и 2x, чтобы connections не rehash одновременно. Default 60 секунд. Подбирайте значение по времени ремонта failed link, а не по желаемой скорости реакции.

Хороший canary начинает с vendor defaults. Меняйте один owner за раз: сначала enable при неизменных порогах, затем при необходимости один параметр. Для изменения заранее запишите stop condition: рост out-of-order или retransmission, отсутствие path change, ухудшение completion либо миграция bottleneck в gateway CPU или GPU queue.

Какой параметр отвечает за наблюдение?

Сбор сетевых доказательств на Linux gateway, ECMP fabric и LLM streaming path

Запустите A/B/A canary с одним owner и одинаковой нагрузкой

Не включайте PLB сразу на всём gateway pool. Выделите один узел или netns, который получает малую, но репрезентативную долю streaming requests. Baseline и canary должны иметь одинаковые kernel build, NIC/driver, ECMP policy, congestion-control, backend pool и prompt class.

Сначала A: PLB выключен. Зафиксируйте route, Flow Label distribution, ECN/DCTCP signal, retransmissions, RTT, TTFT, межтокенные паузы, completion и cancellation. Затем B: включите PLB с default parameters только в canary namespace. Не меняйте routing weights и proxy timeout. Наконец A: верните исходное значение и повторите probes на свежих connections.

Держите две когорты: long-lived streams, переживающие congestion window, и новые requests после этапа. Старый keepalive может скрыть изменение listener, а новый socket — потерять исследуемый hotspot. Обе картины нужны вместе.

Если baseline stream попал на leaf-2 и получает CE marks, canary rehash перевёл его на leaf-3, TTFT уже произошёл до события. PLB может улучшить post-first-byte pauses, но не прошлый TTFT. Измеряйте lifecycle по фазам, как в материале про HTTP/3 для AI API.

Готов ли canary к запуску?

bashplb-canary.sh
BASE=$(sysctl -n net.ipv4.tcp_plb_enabled)
printf 'baseline_tcp_plb_enabled=%s
' "$BASE"
sysctl -w net.ipv4.tcp_plb_enabled=1
# После окна B:
sysctl -w net.ipv4.tcp_plb_enabled="$BASE"
Выполняйте в canary netns, где создаётся TCP socket
Схема A/B/A canary для TCP PLB: path, ECN, TCP_INFO, wire, LLM outcome и rollback

Докажите rehash на wire и свяжите его с LLM outcome

Успешный sysctl -w не означает, что соединение сменило путь. Сравните TCP_INFO и SNMP counters до и после congestion window. Patch series добавил PLB rehash telemetry, но отображение в ss, nstat или exporter зависит от user space и vendor build. Если поле не выводится, не подменяйте его общим retrans counter.

На wire нужен paired capture. Снимайте исходящий IPv6 header на gateway и fabric egress points. Изменение Flow Label без перехода на другой next hop означает, что ECMP policy не использует поле или outer encapsulation скрывает его. Переход без улучшения CE/retransmission указывает на fabric-wide congestion.

Разделите application outcome на pre-first-byte и post-first-byte. PLB, сработавший в середине stream, скорее влияет на pauses, goodput и completion, чем на прошедший TTFT. Короткий запрос может завершиться раньше, чем наберётся нужное число congested rounds: это mismatch workload и control.

Healthy-path negative control не должен часто rehash после enable. Если начинает, вероятны низкий threshold, шумный ECN signal или общий fabric pressure. Canary надо остановить даже при красивом среднем latency: механизм создаёт churn без точной причины.

Как читать результат canary?

Новый next hop, меньше congestion и лучше outcome: оба gates пройдены.
Path изменился, но LLM outcome прежний: механизм доказан, эффект нет.
Проверьте ECN/DCTCP, IPv6 Flow Label и ECMP hash policy.
bashverify-plb.sh
nstat -az | grep -Ei 'PLB|ECN|Retrans'
ss -tin dst '[2001:db8:42::20]'
tcpdump -ni eth0 -vv 'ip6 and tcp and host 2001:db8:42::20'
Transport telemetry и IPv6 Flow Label на wire
Изолированный canary и baseline для проверки TCP PLB на одинаковой LLM-нагрузке

Failure modes, инфраструктурная граница и rollback

Первый failure mode — «enabled, но ничего не произошло». Причины идут по цепочке: congestion-control не поддерживает PLB, ECN не согласован, CE marks теряются, threshold не достигнут, трафик IPv4-only, ECMP hash игнорирует Flow Label или tunnel выбирает path по неизменному outer header. Идите слева направо; уменьшение rounds лишь добавит reordering.

Второй — rehash есть, но стало хуже. Новый путь может иметь больший RTT, а пакеты старого и нового пути приходят вперемешку. Stop condition — рост retransmission или out-of-order вместе с ухудшением pauses либо completion. Верните tcp_plb_enabled=0 в canary netns и повторите path, transport, wire и application probes.

Третий — средние метрики улучшились, но streams обрываются. Проверьте proxy idle timeout, cancellation propagation, drain и retry policy. PLB не создаёт безопасный mid-stream retry и не переносит application state. Четвёртый — bottleneck мигрировал в TLS/softirq, admission или GPU memory. Rollout продолжают только при сохранённом SLO и понятном новом owner.

PLB не аргумент автоматически покупать сервер. VPS достаточен, если есть нужный kernel profile и наблюдаемость fabric. Выделенный gateway оправдан, когда нужны versioned kernel/NIC baseline, собственное окно drain/reboot, paired capture и согласованная ECN/ECMP policy. Ценность — контроль и rollback, не обещание скорости. Общую схему сверяйте с руководством по Private AI API.

Rollback действительно симметричен?

Выделенный Linux gateway с резервными ECMP-путями и контролируемым rollback

Production checklist перед расширением rollout

Перед расширением canary соберите evidence bundle, который другой инженер проверит без устных пояснений: kernel и user-space versions, effective sysctl, congestion-control, ECN negotiation, topology и ECMP policy, route/Flow Label captures, per-socket transport deltas и application metrics. Добавьте время шагов и идентификатор change window.

Сохраните negative controls. Healthy path не должен часто rehash. IPv4 flow не является доказательством PLB. Запрос с искусственно высокой GPU queue должен показать, что PLB не исправляет application bottleneck. Forbidden control защищает от красивой корреляции.

Rollout делите ступенями: один netns, один gateway, небольшой pool, весь failure domain. Между ступенями выдерживайте окно для длинных streams и типичного congestion episode. Не увеличивайте долю только потому, что в спокойный час не было ошибок.

Назначьте owners: Linux/networking отвечает за socket и sysctl, fabric team — за ECN/ECMP, gateway team — за stream lifecycle, inference team — за GPU queue. Если A/B/A не воспроизводится после возврата baseline, причинность не доказана и rollout следует остановить.

Вывод: PLB — точечный control для доказанного ECMP hotspot

TCP PLB полезен в узкой ситуации: длительный IPv6 TCP stream LLM API закреплён за перегруженным ECMP-путём, sender получает качественный congestion signal, а fabric умеет выбрать другой next hop после смены Flow Label. В остальных случаях механизм либо не сработает, либо перенесёт внимание мимо настоящей очереди.

Правильный порядок не начинается с sysctl. Сначала effective path и socket owner, затем ECN/DCTCP signal, rehash telemetry и paired capture, после этого — TTFT, pauses, completion и cancellation. Canary меняет одного owner и заканчивается симметричным A/B/A rollback. Только совместный PASS transport и application gates оправдывает rollout.

Следующий шаг: возьмите один проблемный stream, соберите baseline командами из статьи и заполните canary checklist. Если для проверки не хватает контроля над kernel, NIC или fabric policy, сформулируйте controls как требования к VPS или выделенному gateway. Так решение останется проверяемым и обратимым.

Linux ECMP resilient nexthop для AI API: как пережить отказ пути без лишнего flow churn
Сетевые протоколы

Linux ECMP resilient nexthop для AI API: как пережить отказ пути без лишнего flow churn

Практический runbook по Linux resilient nexthop: buckets, timers, диагностика ECMP, A/B/A canary и границы выбора VPS или dedicated gateway.

Conntrack zones в nftables: изоляция multi-tenant LLM API gateway
Сетевые протоколы

Conntrack zones в nftables: изоляция multi-tenant LLM API gateway

Как разделить одинаковые tenant tuples через nftables conntrack zones: evidence chain, raw priority, NAT, canary, observability и rollback.

fq_codel для LLM API gateway: как найти и убрать bufferbloat
Сетевые протоколы

fq_codel для LLM API gateway: как найти и убрать bufferbloat

Production-runbook по fq_codel на Linux LLM API gateway: как доказать bufferbloat, читать backlog, drops и ECN, провести A/B/A canary и выбрать fq или CAKE.