На этой странице

Поиск и объединение фрагментов

Начните с плотного поиска для перефразированных вопросов или с BM25 для точных терминов и кодов. Если способы находят разные полезные фрагменты, сравните каждый из них с объединённой выдачей на одних и тех же вопросах, документах, фильтрах и глубине выдачи.

Плотный поиск (dense)

Плотный поиск строит вектор вопроса и находит близкие векторы в индексе. Проверьте, что модель эмбеддингов пространства совпадает с моделью индекса, особенно для подключённого хранилища.

Для HNSW в pgvector действуют значения по умолчанию hnsw_m=32 и hnsw_ef_construction=200. Они определяют число связей и ширину поиска при построении графа индекса. Для применения новых значений к уже существующему индексу его нужно перестроить. Предварительная проверка показывает состояние индекса и поддержку параметров хранилищем. hnsw_ef_search задаёт глубину просмотра кандидатов при запросе. Если параметр не задан, ширина просмотра зависит от глубины поиска. Увеличивайте её с замером задержки и полноты выдачи.

Реализация

Лексический поиск (bm25)

BM25 подходит для кодов ошибок, названий и терминов, которые есть в тексте документов. По умолчанию language="multilingual" выбирает многоязыковой анализ. Для одноязычного корпуса можно задать english или russian. Параметр k1=1.2 ограничивает вклад повторений термина, а b=0.75 нормализует оценку по длине фрагмента. Без настройки sparse_top_k используется общая глубина кандидатов. При изменении language, k1 или b нужно перестроить индекс BM25.

Реализация

Модельный разрежённый поиск (splade)

Модель SPLADE добавляет родственные термины в представления запроса и фрагментов. Сравните этот способ с плотным поиском и BM25, если в корпусе важны и точные термины, и синонимы. Многоязычная модель по умолчанию (model) — opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1. Её веса должны быть доступны установке. Параметр stored_terms оставляет 256 наибольших весов фрагмента по умолчанию (от 1 до 1000). Изменение модели или числа весов перестраивает разрежённое представление. По умолчанию sparse_top_k следует за общей глубиной кандидатов.

Реализация

Поиск по графу (graph)

Локальный поиск по графу сопоставляет сущности в вопросе и возвращает связанные фрагменты и контекст графа. Он подходит для вопросов о конкретной сущности и её связях. Сначала постройте граф пространства. Поддерживаемые хранилища, настройки сборки и различия между локальным и глобальным режимами описаны в Построение и использование графа знаний.

Реализация

Плотный поиск, BM25 и SPLADE доступны в пространствах на pgvector, Qdrant, Chroma и Weaviate. Разрежённые индексы хранит ContextBase. Для подключённого корпуса доступность разрежённого поиска зависит от состояния дополнительного индекса. Для графа требуется управляемое хранилище на pgvector, Qdrant или Weaviate. См. Подключения и хранилища о выборе и проверке подключения.

Объединение и глубина кандидатов

Задайте candidate_top_k в ноде объединения. По умолчанию это 50, минимальное значение — 5. Так задаётся размер списка кандидатов перед переранжированием. Параметр запроса top_k задаёт число возвращаемых источников (по умолчанию 5, максимум 20). Если список кандидатов шире итоговой выдачи, переранжирование может поднять фрагменты из глубины списка. Для каждой ноды переранжирования задавайте top_n в пределах глубины кандидатов.

Один ретривер (identity)

Для одного ретривера требуется identity. Нода передаёт его ранжирование дальше без изменений. Например, используйте dense и {"node": "identity", "params": {"candidate_top_k": 30}}.

Реализация

Объединение по рангу (rrf)

RRF объединяет кандидатов по позициям в каждом списке. Это удобно, когда оценки близости векторов и лексического поиска имеют разные шкалы. Значение k по умолчанию — 60. Массив retriever_weights позволяет задать вес каждого ретривера в порядке перечисления. Если веса опущены, вклад ретриверов одинаков.

Реализация

Объединение по нормализованным оценкам (relative_score)

Нода приводит оценки каждого ретривера к общей шкале внутри его списка, затем объединяет оценки. Сохраняется то, насколько первые кандидаты выделяются на фоне остальных результатов того же ретривера. Сравните этот способ с RRF на своём корпусе. Параметр retriever_weights работает так же, как в RRF. Для двух или более разных ретриверов используйте один из этих способов объединения.

Для начального сравнения плотного и лексического поиска используйте этот фрагмент конфигурации. Сохраните существующий чанкер и прочие настройки пространства:

{
  "retrievers": [{"node": "dense"}, {"node": "bm25"}],
  "fusion": {
    "node": "relative_score",
    "params": {"candidate_top_k": 30, "retriever_weights": [1, 1]}
  }
}

Реализация

Независимые поисковые ветки

Для вопроса об оборудовании TR-12 используйте BM25 на исходном запросе, чтобы сохранить код. Плотный поиск по новым формулировкам найдёт инструкции, в которых используются другие термины.

Исходный вопрос

Где находится кнопка сброса на TR-12?

Точные слова

BM25 ищет по словам и обозначениям из исходного вопроса.

Поиск по смыслу

Переформулирование готовит новые запросы. Плотный поиск выполняет каждый из них, RRF объединяет выдачи внутри ветки.

Объединение выдач веток

Общий RRF формирует список кандидатов. Затем выполняется переранжирование, если оно включено.

Настройте две ветки и итоговое объединение в редакторе. Для той же настройки через API примените этот фрагмент конфигурации.

{
  "query_branches": [
    {
      "id": "exact-terms",
      "retrievers": [{"node": "bm25"}],
      "fusion": {"node": "identity"},
      "weight": 1
    },
    {
      "id": "expanded-meaning",
      "query_transform": [{"node": "rephrase", "params": {"rephrasings": 2}}],
      "retrievers": [{"node": "dense"}],
      "fusion": {"node": "identity"},
      "max_queries": 2,
      "weight": 1
    }
  ],
  "branch_fusion": {"node": "rrf", "params": {"candidate_top_k": 30}},
  "branch_concurrency": 2
}

Каждая ветка начинается с исходного вопроса и задаёт свои преобразования, ретриверы и объединение. При наличии query_branches используются списки преобразований и ретриверов веток. Общие rerank, generate и postgeneration выполняются после объединения. Ветка с преобразованиями ищет по изменённым формулировкам и сводит их выдачи через RRF. Если новых формулировок нет, ветка пропускается. Оставьте ветку без преобразований для поиска по исходному вопросу. Правила asked_lead и subquestion_passages действуют только при поиске без веток.

Дайте каждой ветке уникальный непустой идентификатор и оставьте хотя бы одну активной. Вес 0 отключает ветку. Параметр max_queries по умолчанию равен 1 и ограничивает число новых формулировок в ветке. Параллельность веток (branch_concurrency) по умолчанию равна 2. Веса итогового объединения задаются в самих ветках. Для branch_fusion используются rrf (по умолчанию) или relative_score. Ветки используют общие физические индексы пространства. При использовании одного вида ретривера в нескольких ветках укажите согласованные настройки совместно используемого индекса. Успешная ветка может дать результат, если другая завершилась ошибкой. Если вклад ветки не виден, посмотрите branch_trace в ответе поиска, ответе конвейера или завершающем событии потока done. Запись содержит branch_id, состояние status (success, skipped или failed), запросы queries, число найденных фрагментов hit_count и возможный тип ошибки error_type.

Конфигурация ветки · Проверка совместимости · Планирование ветки · Результаты веток

ContextBase0.1.0

Поиск в документации