На этой странице

Переранжирование и разнообразие выдачи

Переранжируйте выдачу, когда нужные фрагменты есть среди кандидатов, но стоят слишком низко. Сравните их позиции и задержку на одних и тех же вопросах с переранжированием и без него.

Ноды выполняются в порядке перечисления. У нод с оценкой задайте top_n не выше candidate_top_k или пропустите его, чтобы сохранить всех кандидатов. Оставьте запас, если следующая нода убирает почти одинаковые фрагменты. Поставьте mmr последней.

Локальный кросс-энкодер (cross_encoder)

Сервер ContextBase оценивает пары «вопрос и фрагмент». По умолчанию он использует BAAI/bge-reranker-v2-m3 и batch_size=8 (от 1 до 64). Предоставьте серверу доступ к весам модели. Подберите размер пакета замером на типичных фрагментах и своём оборудовании.

Стандартный профиль — profile="library". Для соответствующих семейств моделей доступны ettin, nemotron и jina_listwise. Выберите согласованные модель и профиль. В зависимости от профиля параметры revision, input_mode, input_template, max_length, truncation и padding уточняют настройки по умолчанию. В редакторе можно проверить итоговый профиль, проверенную ревизию и условия лицензии. Предварительная проверка показывает пример входных данных. Точность вычислений выбирает сервер.

{"node": "cross_encoder", "params": {"top_n": 10, "batch_size": 4}}

Реализация · Поддерживаемые профили

Локальный ансамбль (cross_encoder_ensemble)

Используйте ансамбль, чтобы сравнить взвешенное объединение оценок на одном и том же списке кандидатов. Укажите минимум два элемента members с настройками локальной модели и неотрицательным весом weight (по умолчанию 1). Хотя бы один вес должен быть положительным. Элементы с нулевым весом пропускаются. Модели работают последовательно, нормализация выполняется по методу population_zscore, а оценки сводятся взвешенной суммой (weighted_sum). Одинаковые оценки всех кандидатов дают нулевой вклад. По умолчанию deduplicate_documents=true оставляет один фрагмент на документ, если документ можно определить. Затем применяется общий предел top_n.

По умолчанию timeout равен 120 секундам. Политика failure_policy="fail_closed" требует успешного завершения всех включённых моделей. Ошибка или таймаут одной модели прерывает всё переранжирование. Для сравнения закрепите совместимые ревизии и сопоставьте качество и стоимость ансамбля с одной моделью.

Реализация

Оценка языковой моделью (llm_judge)

Используйте языковую модель, если критерий ранжирования удобнее выразить словами. Модель оценивает каждый фрагмент вместе с вопросом. Необязательная instruction задаёт критерий. Параметры model, api_base и temperature уточняют настройки модели пространства. Ограничьте число одновременных вызовов через judge_concurrency. Без него действует лимит установки. Параллельность не меняет число кандидатов, которое модель должна оценить. Измерьте задержку и стоимость до включения большого списка.

Например, попросите выше оценить фрагменты инструкции, в которых указаны и нужное действие, и срок, чем простые упоминания процедуры.

Реализация

Внешний сервис (remote)

Укажите полный адрес POST сервиса переранжирования в endpoint. Сервис получит вопрос и тексты фрагментов в формате {"query": "...", "texts": [...]} и должен вернуть конечную числовую оценку для каждой позиции, например [{"index": 0, "score": 0.8}, ...]. Используйте сервис, которому разрешено передавать эти данные. Необязательный секрет api_key отправляется как Bearer-токен. Пустое значение при обновлении сохраняет записанный ключ. По умолчанию timeout составляет 30 секунд на вызов.

Реализация

Разнообразие и близкие копии (mmr)

MMR сравнивает сохранённые векторы кандидатов, чтобы первые позиции не занимали почти одинаковые фрагменты. Поставьте MMR после ноды оценки, если хотите учесть её сигналы релевантности и убрать повторы.

По умолчанию relevance="score" использует предыдущие оценки. Режим relevance="query" использует сходство с вектором исходного вопроса. При relevance_weight=1 решает релевантность, меньшие значения отдают больший вес разнообразию. По умолчанию collapse_threshold=0.95 удаляет близкие копии по косинусному сходству. Значение null отключает удаление копий. В per_document_limit можно задать максимум фрагментов одного документа. По умолчанию ограничения нет. Итоговая оценка равна единице, делённой на новую позицию.

Хранилище должно отдавать сохранённые векторы фрагментов. Для подключённого хранилища требуется подходящее сопоставление полей идентификатора и метаданных. Без вектора нода не сможет сравнить этот кандидат с другими. Если после удаления повторов фрагментов мало, увеличьте глубину списка до MMR.

{"node": "mmr", "params": {"relevance_weight": 0.8, "per_document_limit": 2}}

Реализация

ContextBase0.1.0

Поиск в документации