На этой странице

Фоновая работа и восстановление задач

Сначала проверьте операцию, затем доставку

Перед повтором запросите GET /api/v1/spaces/{space_id}/document-operations/{operation_id} с правом чтения пространства. Сверьте сохранённое состояние с журналами воркера и Beat. После потери доставки Beat может восстановить ту же операцию. Celery PENDING может означать, что в хранилище результатов нет итоговой записи.

  1. PostgreSQL

    Core сохраняет принятую операцию с документом.

  2. Redis

    Брокер доставляет задачу в настроенную очередь.

  3. Воркер Celery

    Воркер читает очередь и выполняет операцию.

  4. Статус в приложении

    Core показывает сохранённое состояние и результат операции.

Восстановление операций с документами планируется раз в минуту, когда работает Beat и настроенную очередь читает живой воркер. Захват подготовки считается утраченным через пять минут без отметки активности. На время восстановления также влияют расписание, накопленные задачи и оставшаяся работа. Отдельно проверяйте работу планировщика и фактическое завершение операции.

При расследовании сбоя платной оценки сохраните идентификаторы существующих запусков. Для ещё не запущенной оценки по умолчанию действует часовой предел ожидания (CELERY_EVALUATION_PENDING_TIMEOUT_SECONDS). Истечение срока применяется только до начала работы. Запущенная оценка продолжается, а новый запуск создаёт пользователь после проверки. См. оценка качества.

Разделите пулы воркеров

Быстрый старт по умолчанию использует один пул. Дополнительный слой для воркеров разделяет обычные задачи и жизненный цикл документов. Выполняйте команду из репозитория с тем же именем проекта и переопределениями, которые были при установке.

docker compose --project-directory . -f compose/docker-compose.quickstart.yml \
  -f compose/docker-compose.quickstart.workers.yml up --build -d --wait \
  --scale queue-worker=2

При этих настройках одна реплика worker получает задачи из celery, а две реплики queue-worker — из documents. В каждой реплике этого профиля запускается по одному дочернему процессу prefork. В базовом профиле Core параллельность отличается. Перед масштабированием проверьте фактическую команду и ответы воркеров.

docker compose --project-directory . -f compose/docker-compose.quickstart.yml \
  -f compose/docker-compose.quickstart.workers.yml \
  exec -T worker celery -A server inspect active_queues

У каждой очереди, в которую отправляются задачи, должен быть живой потребитель. Маршрут подготовки документов задаёт CELERY_DOCUMENT_PREPARATION_QUEUE. Переменные CONTEXTBASE_DEFAULT_WORKER_QUEUES и CONTEXTBASE_QUEUE_WORKER_QUEUES задают списки подписок через запятую. Подписка меняет только то, откуда воркер читает. Перед отключением или переименованием очереди приостановите производителей, включая Beat, и дождитесь завершения накопленных, выполняемых, зарезервированных и отложенных доставок. Завершайте процесс с ожиданием активной работы, установив достаточный срок до принудительной остановки.

Запустите отдельный воркер из исходников

Установите CELERY_DOCUMENT_PREPARATION_QUEUE=documents для API, Beat и воркеров. Сохраните текущие подписки обычного воркера. Из корня репозитория запустите воркер документов.

export CELERY_DOCUMENT_PREPARATION_QUEUE=documents
poetry run celery -A server worker --pool=prefork --concurrency=4 -Q documents

По умолчанию Core отправляет задачи документов в celery. Слой воркеров быстрого старта задаёт documents. Перед добавлением процессов prefork проверьте лимит соединений PostgreSQL.

Подготовка документов параллельная. В каждом пространстве блокировка записи сериализует чтение актуального состояния, подготовку неизменяемых данных и публикацию.

Параметр

По умолчанию (секунды)

Назначение

DOCUMENT_PUBLICATION_WRITER_WAIT_SECONDS

30

Ожидание разрешения на запись.

DOCUMENT_PUBLICATION_WRITER_POLL_SECONDS

0,2

Интервал проверок. Отдельную проверку ограничивает таймаут SQL.

CELERY_DOCUMENT_REDELIVERY_SECONDS

1

Повторная доставка отложенной операции, которая ещё ожидает в SQL.

После сбоя брокера принятую операцию может подобрать периодическое восстановление.

Масштабируйте узкое место

Измеряйте число завершённых задач, возраст очереди, ожидание соединений PostgreSQL и память воркеров с рабочими провайдерами и хранилищем. Каждый дочерний процесс может держать свои веса модели и соединение с БД. В производственном слое из исходников GRANIAN_WORKERS задаёт число процессов HTTP и тем самым верхний предел числа копий загруженной модели. Штатный быстрый старт задаёт один HTTP-процесс на контейнер в команде Compose. Внешний сервис эмбеддингов может выполнять плотное векторное кодирование для всех процессов. Другие выбранные локальные этапы загружают свои модели.

При изменении мягкого или жёсткого лимита задачи проверьте вместе с ним CELERY_BROKER_VISIBILITY_TIMEOUT Redis. Окно должно быть длиннее самого большого жёсткого лимита. Core подтверждает доставку после выполнения задачи и использует сохранённую операцию для восстановления прерванной обработки документов. Возможны повторные доставки, а снимок Redis может не содержать самого свежего уведомления. Параметры по умолчанию, правила повторов, сроки хранения и проверочные сценарии описаны в справке о фоновой доставке.

ContextBase0.1.0

Поиск в документации