На этой странице
Фоновая работа и восстановление задач¶
Сначала проверьте операцию, затем доставку¶
Перед повтором запросите
GET /api/v1/spaces/{space_id}/document-operations/{operation_id}
с правом чтения пространства. Сверьте сохранённое состояние с журналами
воркера и Beat. После потери
доставки Beat может восстановить ту же операцию. Celery PENDING
может означать, что в хранилище результатов нет итоговой записи.
PostgreSQL
Core сохраняет принятую операцию с документом.
Redis
Брокер доставляет задачу в настроенную очередь.
Воркер Celery
Воркер читает очередь и выполняет операцию.
Статус в приложении
Core показывает сохранённое состояние и результат операции.
Восстановление операций с документами планируется раз в минуту, когда работает Beat и настроенную очередь читает живой воркер. Захват подготовки считается утраченным через пять минут без отметки активности. На время восстановления также влияют расписание, накопленные задачи и оставшаяся работа. Отдельно проверяйте работу планировщика и фактическое завершение операции.
При расследовании сбоя платной оценки сохраните идентификаторы
существующих запусков. Для ещё не запущенной оценки по умолчанию
действует часовой предел ожидания
(CELERY_EVALUATION_PENDING_TIMEOUT_SECONDS). Истечение срока
применяется только до начала работы. Запущенная оценка продолжается, а
новый запуск создаёт пользователь после проверки. См.
оценка качества.
Разделите пулы воркеров¶
Быстрый старт по умолчанию использует один пул. Дополнительный слой для воркеров разделяет обычные задачи и жизненный цикл документов. Выполняйте команду из репозитория с тем же именем проекта и переопределениями, которые были при установке.
docker compose --project-directory . -f compose/docker-compose.quickstart.yml \
-f compose/docker-compose.quickstart.workers.yml up --build -d --wait \
--scale queue-worker=2
При этих настройках одна реплика worker получает задачи из celery,
а две реплики queue-worker — из documents. В каждой реплике этого
профиля запускается по одному дочернему процессу prefork. В базовом
профиле Core параллельность отличается. Перед масштабированием проверьте
фактическую команду и ответы воркеров.
docker compose --project-directory . -f compose/docker-compose.quickstart.yml \
-f compose/docker-compose.quickstart.workers.yml \
exec -T worker celery -A server inspect active_queues
У каждой очереди, в которую отправляются задачи, должен быть живой
потребитель. Маршрут подготовки документов задаёт
CELERY_DOCUMENT_PREPARATION_QUEUE. Переменные
CONTEXTBASE_DEFAULT_WORKER_QUEUES и
CONTEXTBASE_QUEUE_WORKER_QUEUES задают списки подписок через запятую.
Подписка меняет только то, откуда воркер читает. Перед отключением или
переименованием очереди приостановите производителей, включая Beat,
и дождитесь завершения накопленных, выполняемых, зарезервированных и
отложенных доставок. Завершайте процесс с ожиданием активной работы,
установив достаточный срок до принудительной остановки.
Запустите отдельный воркер из исходников¶
Установите CELERY_DOCUMENT_PREPARATION_QUEUE=documents для API, Beat
и воркеров. Сохраните текущие подписки обычного воркера. Из корня
репозитория запустите воркер документов.
export CELERY_DOCUMENT_PREPARATION_QUEUE=documents
poetry run celery -A server worker --pool=prefork --concurrency=4 -Q documents
По умолчанию Core отправляет задачи документов в celery. Слой воркеров
быстрого старта задаёт documents. Перед добавлением процессов prefork
проверьте лимит соединений PostgreSQL.
Подготовка документов параллельная. В каждом пространстве блокировка записи сериализует чтение актуального состояния, подготовку неизменяемых данных и публикацию.
Параметр |
По умолчанию (секунды) |
Назначение |
|---|---|---|
|
30 |
Ожидание разрешения на запись. |
|
0,2 |
Интервал проверок. Отдельную проверку ограничивает таймаут SQL. |
|
1 |
Повторная доставка отложенной операции, которая ещё ожидает в SQL. |
После сбоя брокера принятую операцию может подобрать периодическое восстановление.
Масштабируйте узкое место¶
Измеряйте число завершённых задач, возраст очереди, ожидание соединений
PostgreSQL и память воркеров с рабочими провайдерами и хранилищем.
Каждый дочерний процесс может
держать свои веса модели и соединение с БД. В производственном слое из
исходников GRANIAN_WORKERS задаёт число процессов HTTP и тем самым
верхний предел числа копий загруженной модели. Штатный быстрый старт
задаёт один HTTP-процесс на контейнер в команде Compose. Внешний
сервис эмбеддингов может выполнять плотное векторное кодирование для
всех процессов. Другие выбранные локальные этапы загружают свои модели.
При изменении мягкого или жёсткого лимита задачи проверьте вместе с ним
CELERY_BROKER_VISIBILITY_TIMEOUT Redis. Окно должно быть длиннее
самого большого жёсткого лимита. Core подтверждает доставку после
выполнения задачи и использует сохранённую операцию для восстановления
прерванной обработки документов. Возможны повторные доставки, а снимок
Redis может не содержать самого свежего уведомления. Параметры по
умолчанию, правила повторов, сроки хранения и проверочные сценарии описаны
в справке о фоновой доставке.