На этой странице
Прочитайте метрики и сравните запуски¶
Найдите вопросы, на которых изменился результат¶
Оцените A и B на одном датасете, с одинаковой глубиной выдачи, отсечкой и моделью-судьёй. Меняйте по одной настройке, чтобы измерить её вклад.
В блоке Сравнение выберите завершённый базовый запуск A и завершённый запуск B на том же датасете. Изменение считается как B минус A. В сравнении конфигураций видно, какие настройки зафиксировал каждый запуск.
Откройте вопросы с улучшениями и ухудшениями. Сравните позиции размеченных документов или прочитайте оба ответа и оценки. Перед выбором проверьте число сопоставимых вопросов.
Попарные результаты используют вопросы, по которым оба запуска сохранили оценку. Они показывают число улучшений, ухудшений и совпадений. Попарный доверительный интервал, если он доступен, показывает неопределённость средней разницы. Для маленькой выборки или интервала, включающего ноль, соберите дополнительные данные. При попарном сравнении ответов используются исходные оценки запусков, а в ответе API видны обе модели-судьи. Исторический запуск может хранить средние без ответов по отдельным вопросам.
В датасете Next Product Lab у вопроса о сроке подготовки заметок к выпуску один релевантный документ. Если переранжирование поднимет его со второго места в A на первое в B, обратный ранг вырастет с 0,5 до 1. Полнота останется равна 1, если обе позиции входят в отсечку.
Путь |
Когда использовать |
|---|---|
|
Разница сохранённых средних завершённых запусков датасета. Укажите
|
|
Средние и попарные результаты двух завершённых запусков
одного пространства. Укажите |
|
Попарные результаты по вопросам с пагинацией. Укажите |
Входные данные расчёта видны в коде попарного сравнения.
Значения метрик¶
Перед сравнением средних проверьте, почему группа метрик пропущена. Без меток релевантности, доступной модели-судьи или выбора группы соответствующих измерений в результате нет.
Метрика |
Что измеряет |
|---|---|
MRR |
Как высоко найден первый релевантный документ. Первое попадание на второй позиции даёт 0,5. |
Recall |
Долю размеченных документов, которые попали в выдачу до отсечки. |
nDCG |
Порядок релевантных документов до отсечки с большим весом у верхних позиций. |
Достоверность |
Долю оценённых ответов, которые подтверждаются использованным контекстом. |
Релевантность |
Долю оценённых ответов, которые отвечают на вопрос. |
Корректность |
Средний балл судьи по шкале от 1 до 5 для вопросов с эталоном. |
Для метрик поиска чанки одного документа объединяются по ID документа
в датасете. В ответе API metrics.retrieval.cutoff задаёт отсечку в
документах, а metrics.retrieval.query_count показывает, сколько
размеченных вопросов вошло в среднее. При оценке ответов пустой ответ
считается провалом, а при наличии эталона получает нижний балл
корректности. Сопоставляйте среднее
со счётчиками empty_count, faithfulness_count, relevancy_count и
reference_count. Например, высокое среднее по корректности для нескольких
вопросов с эталонами относится только к этим вопросам.
Переоцените сохранённые ответы¶
Чтобы переоценить ответы завершённого запуска другой моделью, отправьте
{"judge_model":"PROVIDER/MODEL"} в
POST /api/v1/spaces/{space_id}/evaluations/{run_id}/assessments.
Судья прочитает сохранённые ответы и подтверждающий контекст. Исходная
оценка сохранится, поиск и генерация пропускаются. Так можно проверить
влияние самой модели-судьи. GET по тому же адресу показывает список
переоценок и их состояние. В деталях запуска блок Оценки судей
показывает результаты. Версии и оценки отдельных критериев описаны в
Оцените ответы по критериям.