На этой странице
Оцените ответы по критериям¶
Проверьте, указывает ли ответ о командировке срок подачи заявки из источника. Для структурированного ответа проверьте, что текст разбирается как JSON и соответствует схеме. Сохраните критерии в наборе и опубликуйте его версию.
Опубликуйте критерии перед запуском¶
Откройте Библиотеку критериев и создайте набор.
У каждого критерия задайте уникальный ключ, инструкцию и признак обязательности. Выберите тип. Проверка LLM использует инструкцию и требует явно заданной модели-судьи. Регулярное выражение использует шаблон, режим, флаги и ожидаемое совпадение. Проверка JSON использует схему Draft 2020-12.
Опубликуйте версию и выберите именно её для оценки. Публикация изменений создаёт новую версию. Запуски и проверки пайплайна сохраняют прежнюю закреплённую версию. Архивный набор исчезает из новых списков выбора, прежние ссылки на его версии сохраняются.
Через API отправьте POST /api/v1/rubrics/ с name, затем
POST /api/v1/rubrics/{id}/versions с criteria. Для обоих запросов
передайте токен доступа учётной записи в заголовке
Authorization: Bearer <access_token>. В ответе есть UUID версии и
хэш её содержимого. Поля правил перечислены в
схеме критерия.
Измерьте пайплайн или оцените сохранённые ответы¶
Новый запуск. В форме оценки включите Критерии ответа, укажите версию набора и задайте судью для критериев LLM. Пространство должно уметь формировать ответы. Для оценки только по критериям выберите Только критерии (без числовых метрик). В REST используйте поле
rubricсrubric_version_idи необязательнымjudge. Запуск только по критериям задаётся полемselected_metrics: [].Завершённый запуск. В деталях выберите Оценить сохранённые ответы. Можно выбрать другие критерии или судью. Поиск и генерация пропускаются, прежние оценки сохраняются. Через REST отправьте
POST /api/v1/spaces/{space_id}/evaluations/{run_id}/rubric-assessmentsдля запуска илиGETдля списка. Для результатов по каждому вопросу добавьте/{assessment_id}/results.Проверки реальных ответов. Нода критерия в пайплайне проверяет один закреплённый критерий при формировании каждого ответа. Выбранное действие определяет публикацию и возможную попытку исправления. Оценка сохранённых ответов даёт собственные результаты проверки.
Прочитайте и сравните результаты¶
У вопроса есть результат публикации и оценка по критерию. Для
заблокированного ответа оценка может проверить последнюю сохранённую попытку.
Сам ответ остаётся заблокированным. Если попытка недоступна, вопрос помечается
как неоценённый. Доля пройденных критериев считается как
passed / (passed + failed). Перед выбором пайплайна проверьте отдельные
счётчики технических ошибок, неоценённых вопросов и неполного контекста.
На экране сравнения явно выберите две завершённые оценки. Должны совпадать
датасет, версия и хэш критериев, настройки судьи. Пара по отдельному критерию
и вопросу может остаться несопоставимой, если нет оценки или не хватает
контекста для смысловой проверки. Смотрите причину рядом со значениями
«До» и «После». В REST используйте
GET /api/v1/spaces/{space_id}/evaluations/rubric-comparison
с assessment_a и assessment_b.
См. правила сравнения.