На этой странице

Прочитайте метрики и сравните запуски

Найдите вопросы, на которых изменился результат

  1. Оцените A и B на одном датасете, с одинаковой глубиной выдачи, отсечкой и моделью-судьёй. Меняйте по одной настройке, чтобы измерить её вклад.

  2. В блоке Сравнение выберите завершённый базовый запуск A и завершённый запуск B на том же датасете. Изменение считается как B минус A. В сравнении конфигураций видно, какие настройки зафиксировал каждый запуск.

  3. Откройте вопросы с улучшениями и ухудшениями. Сравните позиции размеченных документов или прочитайте оба ответа и оценки. Перед выбором проверьте число сопоставимых вопросов.

Попарные результаты используют вопросы, по которым оба запуска сохранили оценку. Они показывают число улучшений, ухудшений и совпадений. Попарный доверительный интервал, если он доступен, показывает неопределённость средней разницы. Для маленькой выборки или интервала, включающего ноль, соберите дополнительные данные. При попарном сравнении ответов используются исходные оценки запусков, а в ответе API видны обе модели-судьи. Исторический запуск может хранить средние без ответов по отдельным вопросам.

В датасете Next Product Lab у вопроса о сроке подготовки заметок к выпуску один релевантный документ. Если переранжирование поднимет его со второго места в A на первое в B, обратный ранг вырастет с 0,5 до 1. Полнота останется равна 1, если обе позиции входят в отсечку.

Путь

Когда использовать

GET /api/v1/eval-datasets/{dataset_id}/compare

Разница сохранённых средних завершённых запусков датасета. Укажите run_a и run_b.

GET /api/v1/spaces/{space_id}/evaluations/compare

Средние и попарные результаты двух завершённых запусков одного пространства. Укажите run_a и run_b.

GET /api/v1/spaces/{space_id}/evaluations/compare/queries

Попарные результаты по вопросам с пагинацией. Укажите metric и при необходимости фильтр change.

Входные данные расчёта видны в коде попарного сравнения.

Значения метрик

Перед сравнением средних проверьте, почему группа метрик пропущена. Без меток релевантности, доступной модели-судьи или выбора группы соответствующих измерений в результате нет.

Метрика

Что измеряет

MRR

Как высоко найден первый релевантный документ. Первое попадание на второй позиции даёт 0,5.

Recall

Долю размеченных документов, которые попали в выдачу до отсечки.

nDCG

Порядок релевантных документов до отсечки с большим весом у верхних позиций.

Достоверность

Долю оценённых ответов, которые подтверждаются использованным контекстом.

Релевантность

Долю оценённых ответов, которые отвечают на вопрос.

Корректность

Средний балл судьи по шкале от 1 до 5 для вопросов с эталоном.

Для метрик поиска чанки одного документа объединяются по ID документа в датасете. В ответе API metrics.retrieval.cutoff задаёт отсечку в документах, а metrics.retrieval.query_count показывает, сколько размеченных вопросов вошло в среднее. При оценке ответов пустой ответ считается провалом, а при наличии эталона получает нижний балл корректности. Сопоставляйте среднее со счётчиками empty_count, faithfulness_count, relevancy_count и reference_count. Например, высокое среднее по корректности для нескольких вопросов с эталонами относится только к этим вопросам.

Переоцените сохранённые ответы

Чтобы переоценить ответы завершённого запуска другой моделью, отправьте {"judge_model":"PROVIDER/MODEL"} в POST /api/v1/spaces/{space_id}/evaluations/{run_id}/assessments. Судья прочитает сохранённые ответы и подтверждающий контекст. Исходная оценка сохранится, поиск и генерация пропускаются. Так можно проверить влияние самой модели-судьи. GET по тому же адресу показывает список переоценок и их состояние. В деталях запуска блок Оценки судей показывает результаты. Версии и оценки отдельных критериев описаны в Оцените ответы по критериям.

ContextBase0.1.0

Поиск в документации