На этой странице

Преобразования запроса

Добавьте преобразование, если нужный фрагмент не попадает в кандидаты. Сравните поиск на одних и тех же вопросах до и после изменения. Преобразования выполняются при запросе, поэтому индекс остаётся прежним. Переранжирование и генерация получают исходный вопрос.

Добавьте ноду в список query_transform конвейера или поисковой ветки. Полный список полей есть в каталоге конвейера. Ноды с языковой моделью наследуют настройки и авторизацию из пространства. Для отдельной ноды можно задать model, api_base и temperature.

Возврат к исходному вопросу и правила ранжирования для asked_lead и subquestion_passages ниже относятся к списку преобразований верхнего уровня. Внутри ветки итоговый поиск использует только новые формулировки и объединяет их выдачу по правилам веток. Добавьте ветку без преобразований, чтобы исходный вопрос участвовал в поиске при любом результате переформулировки.

Расширение по словарю (dictionary)

Чтобы находить термин по сокращению, откройте Словарь пространства и выберите Создать запись. Укажите «датчик давления» в поле Основное название, а «ДД» внесите в поле Варианты названия (по одному на строку). Выберите Опубликовано и нажмите Сохранить. Названия и их варианты также можно извлечь из документов.

В редакторе пайплайна выберите Добавить исходную и словарную ветки, если веток ещё нет. Список преобразований в исходной ветке будет пустым, а словарная получит только dictionary. Перенесите нужные преобразования верхнего уровня в те ветки, где они должны работать. Если ветки уже есть, добавьте Преобразование по словарю в ту ветку, где нужно расширять запрос.

Сохраните пайплайн и задайте вопрос с «ДД». Нода читает опубликованные записи при поиске. В результате откройте блок Трасса поиска и доказательств и в разделе Словарное преобразование проверьте использованные записи и новую формулировку запроса. В ответе API эти данные находятся в dictionary_trace.

API-клиент с правом добавлять документы в пространство может отправить POST /api/v1/spaces/{space_id}/dictionary с телом {"canonical":"датчик давления","aliases":["ДД"],"status":"published"}. Добавьте этот объект в пайплайн для режима правил.

{"node": "dictionary", "params": {"mode": "rules"}}

Используйте опубликованные словарные статьи для терминов, сокращений и разных названий одного понятия. В режиме mode="rules", который действует по умолчанию, нода сохраняет вопрос и дополняет его найденными значениями без вызова языковой модели. Для русского языка учитываются известные однозначные словоформы. Для других языков сопоставляются точные фразы и явно заданные варианты. Регистр сокращений и кодов сохраняется.

В режиме mode="llm" модель переформулирует вопрос по выбранным словарным статьям и инструкции prompt. Для этого нужна языковая модель. Действуют ограничения max_entries=20, max_input_chars=8000 и max_tokens=512 для вывода модели. Если подходящих статей нет, в поиск идёт исходный вопрос.

Реализация

Создание записи · Опубликованные записи

Гипотетический фрагмент (hyde)

Попробуйте HyDE, если вопрос и подтверждающий его текст сформулированы по-разному. Модель пишет гипотетический фрагмент по вопросу, а ретриверы используют этот текст для поиска. Он помогает найти документы. Выводы проверяйте по найденным источникам.

Режим hyde_mode="substitute", заданный по умолчанию, ищет только по сгенерированному фрагменту. Режим augment ищет и по фрагменту, и по самому вопросу. Первые asked_lead результатов исходного вопроса идут перед объединённой выдачей. По умолчанию сохраняется 1 результат, допустим и 0. Инструкция модели задаётся в prompt. Лимит max_tokens по умолчанию следует за длиной фрагмента в пространстве. При пустом ответе модели используется исходный вопрос. При отказе провайдера запрос может завершиться ошибкой.

Если в инструкции по обслуживанию симптом описан другими словами, начните с расширения, чтобы сохранить полезные точные совпадения:

{"node": "hyde", "params": {"hyde_mode": "augment", "asked_lead": 1}}

Реализация

Разбиение вопроса (decompose)

Используйте разбиение, когда сведения разбросаны по документам. Например: «Какое оборудование проверяют ежеквартально и кто подписывает журнал?» Модель составляет подвопросы, а поиск выполняется и по ним, и по исходному вопросу. Сначала в объединённой выдаче остаются asked_lead (1) результатов исходного вопроса, затем по subquestion_passages (1) результатов каждого подвопроса, затем прочие результаты. Повторяющиеся источники учитываются один раз, итоговая оценка отражает позицию в списке.

Ставьте эту ноду первой. В режиме по умолчанию split_decision="separate" модель в отдельном коротком вызове решает, нужно ли разбиение. Вызов настраивается через decide_prompt и decide_max_tokens=16. При in_plan решение принимает сразу планирующий вызов. Число подвопросов ограничивает max_subquestions (3), а правила разбиения задаёт prompt. Режим по умолчанию split_mode="chain" использует resolve_prompt и до chain_passages=2 фрагментов предыдущего поиска, чтобы подставить найденный факт в зависимый подвопрос. Режим parallel ищет по независимым подвопросам и пропускает зависимые. Если разбить вопрос не удалось, выполняется исходный запрос.

{"node": "decompose", "params": {"split_mode": "parallel"}}

Реализация

Переформулировки (rephrase)

Используйте, когда один и тот же смысл в документах выражен разными словами. Модель пишет до rephrasings=3 вариантов по инструкции prompt с ограничением rephrase_max_tokens=256. Платформа ищет по исходному вопросу и уникальным вариантам. Первые asked_lead результатов исходного вопроса (1) идут перед результатами голосования по рангам. Если вызов модели дал ошибку или не вернул новых вариантов, поиск выполняется по исходному вопросу.

Например, запросите две переформулировки вопроса «Как перезапустить блок управления?» и проверьте, появились ли инструкции по отключению питания:

{"node": "rephrase", "params": {"rephrasings": 2}}

Ставьте ноду до HyDE и используйте один раз в каждой ветке.

Реализация

Расширение по первой выдаче (feedback)

Эта нода подбирает термины из корпуса без генеративной модели. Сначала она ищет по исходному вопросу, затем берёт слова из первых feedback_passages=10 фрагментов. В расширенный запрос попадает до expansion_terms=10 терминов. Общеупотребительные служебные слова русского и английского языков и слова, уже присутствующие в вопросе, пропускаются. Итоговый поиск объединяет исходную и расширенную выдачу. По умолчанию перед объединённым списком оставляется первый результат исходного вопроса (asked_lead=1). Начните с корпуса, где первые попадания по типовым вопросам релевантны: иначе новые термины могут увести выдачу в сторону.

{"node": "feedback", "params": {"feedback_passages": 5}}

Ставьте ноду до HyDE и используйте один раз в каждой ветке. Предварительная проверка предупреждает, если глубина первой выдачи превышает число кандидатов объединения.

Реализация

Проверьте вклад дополнительных запросов

Преобразования выполняются по порядку. В списке верхнего уровня задайте asked_lead меньше числа результатов на следующем этапе. Тогда у дополнительных формулировок будет возможность изменить выдачу. Для нескольких независимых формулировок используйте ветки. Например, обычная лексическая ветка найдёт точный код модели, а ветка HyDE поищет описания этой же ошибки. Про бюджеты и объединение веток см. Поиск и объединение фрагментов.

ContextBase0.1.0

Поиск в документации