8(800) 222 32 56
Панель управления
AI

OpenTelemetry tail sampling для LLM: как сохранить ошибки и не потерять трассы

OpenTelemetry tail sampling для LLM: как сохранить ошибки и не потерять трассы
Подберите идеальное решение для ваших задач:
в России, США и Нидерландах обеспечат максимальную скорость. Воспользуйтесь всеми преимуществами надежного оборудования. Базовая помощь и техническое обслуживание входят в пакет услуг.
Ошибка LLM-запроса видна клиенту, но нужной трассы в хранилище нет. Collector при этом может выглядеть исправным: части запроса потерялись раньше, разошлись по репликам или пришли после решения выборки. Разберём, как проверить каждую границу, сохранить важные сбои и не перегрузить инфраструктуру наблюдаемости.

Готовы перейти на современную серверную инфраструктуру?

В King Servers мы предлагаем серверы как на AMD EPYC, так и на Intel Xeon, с гибкими конфигурациями под любые задачи — от виртуализации и веб-хостинга до S3-хранилищ и кластеров хранения данных.

  • S3-совместимое хранилище для резервных копий
  • Панель управления, API, масштабируемость
  • Поддержку 24/7 и помощь в выборе конфигурации

Создайте аккаунт

Быстрая регистрация для доступа к инфраструктуре

Сначала выясните, где исчезает трасса

HTTP-запрос к модели вернул ошибку, а в системе наблюдаемости его трассы нет. При этом Collector отвечает на health check, GPU загружен, а на графике экспорта не видно очевидного провала. Покупать больше памяти для backend или сразу увеличивать процент выборки рано: сначала важно понять, попали ли spans в Collector, встретились ли они на одной реплике и дождалось ли решение sampling фактической ошибки.

Tail sampling принимает решение после накопления данных о трассе. Это позволяет оставить, например, ошибки и медленные запросы, а часть обычных трасс отбросить. Но такой подход не восстанавливает spans, потерянные раньше по пути. Если SDK уже отбросил запрос на входе, downstream Collector не сможет «спасти» его по позднее обнаруженной ошибке.

Для проверки выберите тестовый запрос с известным trace ID и заранее определённым исходом. Сравните его с успешным контрольным запросом через тот же gateway и ту же версию приложения. Зафиксируйте время запроса, версию Collector, адрес приёма, идентификатор трассы и ожидаемые сервисы. Не помещайте в тест реальные персональные данные или секреты.

Удобный результат первого этапа — таблица четырёх границ: приложение создало spans; Collector получил их; sampler принял решение; backend сохранил результат. Наличие записи на одной границе не доказывает успех на следующей. Такой разбор особенно полезен для LLM: ошибка может возникнуть не при установлении HTTP-соединения, а после начала потока токенов.

Постройте путь одной трассы

Типичный путь состоит из инструментированного gateway, сервиса retrieval, inference backend и одного или нескольких Collector. В каждом сервисе создаются spans с общим trace ID и связями parent-child. Затем данные проходят приёмник OTLP, процессоры и экспортер, прежде чем попасть в хранилище трасс. Отдельные сигналы — метрики и логи — имеют собственные pipelines и не обязаны наследовать решение для трасс.

Начните с карты реального пути, а не предполагаемой схемы. На каком процессе завершается TLS? Какой SDK создаёт корневой span? Кто передаёт контекст в очередь или к inference worker? Есть ли прокси, который сбрасывает заголовки? Нарисуйте границу доверия: некоторые участки могут передавать не один HTTP-запрос, а асинхронную задачу.

Проверьте распространение контекста на каждом переходе. Отсутствие дочернего span не обязательно означает ошибку sampler: сервис мог не экспортировать его, создать новую трассу или завершиться до отправки. Сравнение trace ID и времени на соседних этапах полезнее предположения о конкретном компоненте. Для контролируемого эксперимента используйте ограниченный стенд или тестовый tenant, а не вывод содержимого всех запросов в общий лог.

Общий обзор OpenTelemetry: traces, metrics и logs поможет проверить базовые понятия. Здесь задача уже: доказать, что выборка сохраняет нужные трассы при контролируемом расходе ресурсов.

Где искать потерю?

Схема объединения spans одной трассы в коллекторе

Head sampling и tail sampling решают разные задачи

Head sampling решает судьбу трассы при её начале, когда конечный результат ещё неизвестен. Его преимущество — ограничение объёма данных ближе к источнику. Недостаток для расследования редких ошибок очевиден: запрос, который сначала выглядел обычным, позже может закончиться отказом, но его полная трасса уже не будет записана.

При tail sampling Collector удерживает данные некоторое время и применяет политики к накопленным spans. Это позволяет учитывать видимые к моменту решения признаки, например статус ошибки или задержку. Но «оставлять ошибки» означает ошибки, которые действительно представлены в полученных spans до решения. HTTP 200 сам по себе не доказывает успешное завершение streaming-ответа, а семантическая ошибка ответа модели не обязана автоматически становиться span со статусом ERROR.

Составьте список сигналов, которые приложение реально устанавливает: ошибка вызова модели, отмена клиентом, превышение внутреннего deadline, завершение потока и время до первого токена. Решите, какие признаки являются техническими отказами, а какие — отдельными продуктовыми метриками. Не меняйте статус каждого отменённого клиентом запроса на ошибку без согласованной семантики: иначе sampler сохранит много событий, не отвечающих вашему вопросу.

Хороший отрицательный контроль — обычный быстрый запрос без ошибки. Положительный контроль — искусственно вызванный отказ на изолированном тестовом маршруте. Сопоставляйте не только число сохранённых traces, но и полноту ожидаемых spans. При смешивании head и tail sampling заранее оцените, какую долю ошибок источник вообще отправляет на следующий этап.

Сервер анализирует длительные запросы LLM

Длинный ответ и поздние spans

У LLM streaming начало ответа и его окончание могут быть разделены длительной паузой. Если корневой span завершается только после последнего токена, sampler с коротким окном может принять решение по неполной картине. Поздний дочерний span иногда наследует уже принятое решение, но сам больше не влияет на выборку; если решение успело исчезнуть из кэша, возможны другие исходы. Поведение зависит от версии и настроек процессора.

Параметр decision_wait — не универсальный тайм-аут пользовательского запроса. Это часть механизма ожидания sampler. Значение следует выбирать по фактическому распределению времени прихода spans и допустимой задержке появления трассы, а не копировать из чужой конфигурации. Увеличение окна обычно означает больше одновременно удерживаемых трасс и дополнительную нагрузку на память.

Проведите два опыта: короткий запрос и искусственно удлинённый stream, который завершается контролируемой ошибкой. Для каждого проверьте время появления корневого и дочерних spans и наличие итогового статуса. Убедитесь, что тест не обходит production-путь экспорта. Если сбой проявляется только после начала потока, проверьте обработчик закрытия соединения и фактическое завершение span в приложении.

Не пытайтесь лечить каждую долгую операцию одним большим окном. Иногда полезнее изменить модель инструментирования, разделить операции на осмысленные spans или собирать отдельную метрику исхода. Если приложение не сообщает об ошибке до sampling decision, увеличение числа реплик Collector эту информацию не создаст.

Проверка длинного потока

Один trace ID должен попасть к одному sampler

Tail sampler принимает решение по тем spans, которые видит конкретная реплика. Обычное балансирование соединений не гарантирует, что gateway и inference worker отправят части одной трассы одному экземпляру. Результат — неполные трассы и решения, принятые по разным фрагментам, хотя каждый экземпляр Collector по отдельности выглядит здоровым.

Распространённая архитектура использует первый уровень Collector для приёма и маршрутизации по trace ID, а второй — для tail sampling. Официальный load balancing exporter поддерживает такую маршрутизацию. Проверяйте конфигурацию и состав используемого дистрибутива в закреплённой версии: имя компонента loadbalancing в актуальной документации обозначено как устаревший alias для load_balancing, а поддержка traces имеет статус beta.

Согласованность не бесплатна. Добавление или удаление реплики меняет множество получателей; часть уже идущих трасс может попасть к другой реплике. Перезапуск также теряет удерживаемое в памяти состояние, если конкретное развёртывание не обеспечивает его сохранение. Проверьте, как ваш resolver видит terminating endpoints и как выполняются drain и обновление списка адресов.

Для проверки отправьте известную трассу через несколько сервисов и сравните, какая реплика sampler получила каждый span. Затем повторите тест во время управляемого изменения числа реплик. Сохраните контрольную трассу без изменения топологии. Цель — измерить полноту и потери в окне изменения, а не просто убедиться, что после масштабирования поступают новые запросы.

Схема маршрутизации trace ID к репликам Collector

Рассчитайте бюджет памяти и найдите раннее вытеснение

Collector должен удерживать одновременно активные трассы и связанные с ними spans. Грубая отправная оценка — скорость новых трасс, умноженная на окно ожидания, плюс запас на неравномерность и задержки. Это оценка количества трасс, не размера памяти: число spans, атрибуты, события и накладные расходы в разных workloads различаются. Измеряйте RSS и поведение процесса на нагрузке, близкой к вашей.

Параметр num_traces ограничивает число трасс в буфере процессора. Если буфер переполнен, старые трассы могут быть удалены до решения. Повышение лимита без проверки доступной памяти способно перенести проблему в OOM и потерю сразу большой группы данных. Уменьшение окна снижает время удержания, но повышает риск принять решение до поздних spans.

Официальная документация tail sampling processor описывает метрики раннего удаления, возраста удаления и задержки таймера решения. Сверяйте их имена и доступность с закреплённой версией, поскольку компоненты и их телеметрия меняются. Смотрите изменение счётчиков за интервал, а не только накопленное значение с момента старта.

Пример: если в ходе нагрузки вырос счётчик раннего удаления, одновременно сравните входящий поток, размер очередей, память и возраст удаляемых трасс. Затем измените один параметр на canary. Если счётчик улучшился, но появились OOM или очередь экспорта, проблема не решена. Отдельно проверьте ограничения контейнера и ресурсы узла: свободная память хоста не равна доступному лимиту контейнера.

Для планирования ёмкости важна и форма нагрузки. Всплеск после повторной отправки очереди может кратковременно создать больше незавершённых трасс, чем обычный средний поток. Поэтому среднее за сутки не подходит как единственная база расчёта. Снимайте распределение за короткие интервалы, учитывайте число одновременно активных requests и проверяйте поведение после временной недоступности backend.

Проводя нагрузочный тест, фиксируйте версию образа и конфигурацию. Тот же лимит num_traces при разном количестве spans и размере атрибутов может давать разное потребление памяти. Установите предупреждения до точки отказа и отдельно проверьте, кто получит уведомление. Если sampler перезапускается из-за ограничения памяти, проверьте не только причину рестарта, но и сколько проверочных трасс исчезло в переходном окне.

Что проверить первым?

Память и очереди коллектора трасс

Выберите политики по наблюдаемому результату

Начните с небольшого набора решений, который можно объяснить дежурному инженеру: сохранить видимые ошибки, сохранить достаточно медленные операции и оставить случайную долю остальных трасс для контекста. Порог задержки выбирается из SLO и распределения конкретного маршрута, а не из примера конфигурации. Для длинного stream общая длительность, время до первого токена и пауза между токенами описывают разные проблемы.

Комбинирование политик требует отдельной проверки: порядок и семантика решений могут меняться между версиями процессора. Перед внедрением прочитайте документацию именно вашей версии и проверьте сценарии в тесте. Ошибка в составном условии способна оставить гораздо больше трасс, чем ожидалось, либо отбросить нужные. Политика не является гарантией, если span со статусом ошибки не дошёл до sampler вовремя.

Составьте матрицу из четырёх случаев: быстрый успех, медленный успех, техническая ошибка до первого байта и ошибка после начала потока. Для каждого заранее укажите ожидаемое решение и необходимые spans. Добавьте отрицательный случай, который не должен попадать в выборку по ошибочной причине. Результат проверяйте по trace ID в хранилище, а не только по счётчику принятых spans.

Вероятностная доля сохранённых обычных запросов не превращает выборку, специально обогащённую ошибками, в непредвзятое представление обо всём трафике. Для частоты ошибок и SLO используйте подходящие метрики на полном потоке или корректно рассчитанную статистику. Выборочные traces хороши для расследования конкретного пути, но не должны без оговорок заменять счётчик всех запросов.

Сервер обрабатывает трассы ошибок и задержек

Приватность начинается до выборки

Даже если backend хранит небольшую долю трасс, tail sampler сначала получает гораздо больше данных. Поэтому вопрос безопасности возникает до решения об отборе. Prompt, ответ модели, документы retrieval, токены доступа и значения пользовательских атрибутов могут оказаться в памяти Collector, очередях или логах отладки. Сам sampling не является механизмом маскирования.

По умолчанию избегайте записи содержимого prompt и completion, если оно не требуется для конкретной задачи и не разрешено политикой организации. Для расследования задержки обычно достаточно технических атрибутов: имени сервиса, версии модели, времени, статуса и безопасных идентификаторов. Сверяйте набор атрибутов с правилами доступа, сроком хранения и требованиями к удалению данных.

В реестре атрибутов GenAI часть полей помечена как потенциально чувствительная, а семантические соглашения продолжают развиваться. Не считайте их имена и статус неизменными: зафиксируйте используемую версию SDK и conventions. Контролируемый rollout должен включать проверку фактически отправляемых полей, а не только просмотр настроек приложения.

Проверьте права на Collector, TLS между этапами, доступ к backend, журналы ошибок и резервные копии. Если нужна фильтрация, предпочтительно не создавать лишние чувствительные данные в источнике; дополнительная обработка в Collector полезна как второй барьер. На тесте используйте синтетический маркер и убедитесь, что он отсутствует в конечном хранилище и диагностических логах там, где его быть не должно.

Защищённое серверное оборудование для обработки данных

Canary и симметричный rollback

Сначала сохраните baseline: текущие правила sampling, версию образа и конфигурации, число реплик, ресурсные лимиты, входящий объём, ошибки экспорта и полноту тестовых трасс. Определите владельца каждого изменения и критерии остановки. Например, рост раннего вытеснения, недоступность экспорта или утечка чувствительного поля — причины остановить эксперимент, а не усреднить результат за сутки.

На canary меняйте один контролируемый фактор: скажем, политику sampling при прежних маршрутизации и ресурсах. Проведите одинаковый набор коротких, длинных, ошибочных и контрольных запросов. Для анализа сохраните trace ID и ожидаемый набор сервисов, не сохраняя пользовательское содержимое. Важно проверить как момент ответа клиенту, так и последующее завершение backend-работы.

Схема A/B/A означает baseline, изменение и возврат к baseline с повторением тех же проверок. При откате верните не только YAML, но и прежнее число реплик, маршрутизацию и лимиты, если они менялись. Сверьте состояние уже начатых длинных трасс: они могут пережить переключение и попасть в переходное окно. Зафиксируйте длительность окна и кто принимает решение о завершении drain.

Если диагностирована нехватка управляемой памяти или нужна предсказуемая изоляция Collector, сравните VPS и выделенный сервер по наблюдаемости, лимитам и ответственности за обновления. Но новое железо не исправит потерянный контекст, слишком раннее решение или отсутствие статуса ошибки. Сначала докажите границу ресурса на нагрузочном профиле, затем выбирайте инфраструктуру.

В Kubernetes перед изменением определите namespace и точное имя Deployment. Следующие команды демонстрируют просмотр статуса и истории для примера otel-sampler; замените имя и namespace на свои. Они не проверяют полноту трасс и не подтверждают, что применённая политика работает правильно. Для этого всё равно нужны тестовые trace ID и проверка backend.

Откат Deployment возвращает предыдущую ревизию шаблона, но не обязательно восстанавливает отдельно изменённый ConfigMap, внешний сервис или настройки отправителей. Если конфигурация хранится вне шаблона, сохраните её версию и восстановите соответствующие объекты по процедуре вашей команды. Проверьте, что в истории действительно находится нужная ревизия, прежде чем выполнять изменение.

Рядом полезны два материала о соседних границах: HTTP/2 flow control для LLM streaming помогает отличить сетевую паузу от проблем наблюдаемости, а TCP_USER_TIMEOUT для LLM streaming разбирает зависшие соединения. Эти механизмы не заменяют проверку выборки и не должны диагностироваться только по отсутствию трассы.

Готовность к canary

bash
kubectl -n observability rollout status deployment/otel-sampler
Статус развёртывания
bash
kubectl -n observability rollout history deployment/otel-sampler
История ревизий
bash
kubectl -n observability rollout undo deployment/otel-sampler --dry-run=server
Предварительная проверка отката на сервере
Инженер проверяет постепенное внедрение в дата-центре

Короткий порядок действий при пропаже трасс

Когда инцидент уже идёт, не меняйте несколько параметров одновременно. Найдите пример запроса, который должен был сохраниться, и запишите его trace ID, время и ожидаемый исход. Сравните его с успешным запросом на том же маршруте. Проверьте, что оба прошли через известную версию приложения и что диагностические данные не содержат секретов.

Далее пройдите по цепочке: создал ли SDK span; был ли контекст передан следующему сервису; получил ли Collector нужные фрагменты; попали ли они на одну реплику; дождался ли sampler результата; принял ли exporter данные; доступна ли запись в backend. На каждом этапе полезен отдельный контроль. Ответ «Collector работает» закрывает лишь небольшой участок этой цепочки.

Если проблема связана с масштабированием, сравните результат до и во время изменения состава реплик. Если со временем ожидания — проведите короткий и длинный stream. Если подозреваете память — сопоставьте раннее удаление, возраст трасс в буфере и ограничения контейнера. В каждом случае выберите одну гипотезу, безопасную проверку и заранее определённый rollback.

Наконец, проверьте пользовательский результат. Полная трасса не исправляет ошибку inference, но должна помогать её локализовать; уменьшение объёма данных не является успехом, если при этом исчезают важные сбои. Запишите вывод и владельца следующего действия в журнал инцидента, чтобы следующий дежурный мог повторить проверку без догадок.

Что проверить перед внедрением

Tail sampling полезен, когда команда понимает, какие признаки ошибок и задержек доступны до решения и сколько ресурсов стоит удержание трасс. Его главные ограничения — потери до Collector, разрыв одной трассы между репликами, поздние spans, переполнение памяти и чувствительные данные. Ни одно значение конфигурации не устраняет эти риски автоматически.

Начните с одной тестовой трассы и карты её пути. Затем проверьте положительный и отрицательный сценарии, измерьте расход памяти и проведите A/B/A на ограниченном трафике. После этого можно принимать решение о масштабе развёртывания и инфраструктуре, опираясь на наблюдаемый результат, а не только на состояние отдельных компонентов.

nftables flowtable для LLM API gateway: fast path без ложного ускорения
Linux

nftables flowtable для LLM API gateway: fast path без ложного ускорения

Практический runbook по nftables flowtable: проверяем routed path, OFFLOAD, NAT и исключения, проводим A/B/A canary и отделяем сетевой эффект от очереди LLM.

HTTP/2 flow control для LLM streaming: как найти паузы за API gateway
Сетевые протоколы

HTTP/2 flow control для LLM streaming: как найти паузы за API gateway

Production-runbook по HTTP/2 flow control для LLM streaming: как найти исчерпание stream и connection window, проверить Envoy, провести canary и не скрыть медленного consumer.

Qdrant backup и restore для RAG: snapshots без ложного чувства безопасности
AI

Qdrant backup и restore для RAG: snapshots без ложного чувства безопасности

Практический runbook резервного копирования и восстановления Qdrant для RAG: snapshots, cluster mode, recovery priority, application gates, cutover и rollback.