На этой странице
Извлечение текста и OCR¶
Выберите способ извлечения¶
Встроенный декодер. Загружайте
.txt,.mdили файлы с типомtext/*в UTF-8. Декодер возвращает обычный текст. При некорректной кодировке или неподдерживаемом двоичном формате текст будет пустым.ContextBase Extractor. Запустите этот сервис для PDF, офисных файлов и сканов. Поддержка зависит от установленных средств разбора и OCR. Укажите
EXTRACTOR_BACKEND=http,EXTRACTOR_SERVICE_URLиEXTRACTOR_API_KEYдля API и воркеров. Проверьте доступность сервиса из обоих. Ключ храните на сервере.
Если в файле есть текстовый слой, экстрактор может прочитать его напрямую. Чанкер может использовать проверенную структуру с границами разделов, страниц и таблиц. Если в обычном текстовом файле фрагменты пустые, сначала проверьте кодировку.
Встроенный декодер · Извлечение через HTTP · Проверка структуры
Подберите настройки OCR¶
Откройте Настройки → Извлечение текста и OCR. Выберите доступный
движок и проверьте его на странице с нужным языком и разметкой. Чтобы узнать
настройки по умолчанию, доступные параметры, версии окружения или причину
недоступности движка, отправьте GET /api/v1/extraction/capabilities/ с
Authorization: Bearer <access_token>. У встроенного декодера OCR нет.
Идентификаторы движков — tesseract, xiaomi, paddle,
paddle_vl, unlimited_ocr_2 и vision_llm.
Укажите extraction_config при создании пространства. Владелец может
изменить его в настройках или через PATCH /api/v1/spaces/{space_id}
с токеном своей сессии. Для примера оба языка должны быть установлены
в наборе Tesseract fast. См.
аутентификацию сессии.
{
"extraction_config": {
"engine": "tesseract",
"tesseract": {
"languages": ["eng", "rus"],
"model_set": "fast",
"page_segmentation": "auto"
}
}
}
Tesseract учитывает порядок кодов языков. Указывайте каждый код один раз.
fast и best выбирают установленные наборы весов LSTM. В поле
page_segmentation задайте auto для автоматического анализа разметки,
single_block для одного блока текста или sparse для разрозненного
текста.
В PATCH пропустите extraction_config, чтобы сохранить профиль,
передайте объект для полной замены или null для наследования настроек
установки. Пропущенные поля объекта берут значения по умолчанию из
окружения. При включённых профилях принятая операция хранит версию
окружения и параметры. Сохраняйте набор, на который ссылаются задачи.
Для старого формата запросов EXTRACTOR_USE_LLM по умолчанию равен
false. Значение true разрешает обработку сложных страниц PDF
моделью с поддержкой изображений. Явно выбранный движок OCR имеет
приоритет над этим режимом и сохраняет быстрое чтение текстового слоя.
Веса, пути к программам и параллелизм задавайте в настройках Extractor.
Проверьте новый профиль на свежей загрузке или замените исходник в управляемом пространстве. Обычная переиндексация делит уже принятый текст и может восстановить недостающую структуру с сохранёнными параметрами. Выберите операцию с документом.
Параметры OCR · Выбор профиля · Переменные окружения для извлечения
Дополнительная обработка¶
Как добавлять в индекс название, заголовки и сгенерированный контекст, см. в разделе чанкинга. Найденный фрагмент по-прежнему содержит извлечённый текст источника.
Чтобы извлекать термины и псевдонимы из принятых документов, настройте
LLM и включите dictionary_extraction.enabled. Для документов,
которые уже в пространстве, откройте Словарь пространства →
Сформировать словарь. Задача выполняется отдельно от индексации.
Для REST задайте BASE_URL, SPACE_ID и ключ владельца с областью
manage в CONTEXTBASE_API_KEY.
curl --fail-with-body -sS -X POST \
-H "X-API-Key: ${CONTEXTBASE_API_KEY}" \
"${BASE_URL}/api/v1/spaces/${SPACE_ID}/dictionary/builds"
Проверяйте статус через GET /dictionary/builds/{build_id} по тому
же адресу пространства, подставив полученный id. При
dictionary_extraction.auto_publish=true (по умолчанию) новые записи
без конфликтов публикуются автоматически. Задайте false, чтобы
сверить записи с источниками и вручную опубликовать нужные
преобразователю запросов.
Параметры извлечения словаря · Запуск и список задач построения словаря