На этой странице

Оцените ответы по критериям

Проверьте, указывает ли ответ о командировке срок подачи заявки из источника. Для структурированного ответа проверьте, что текст разбирается как JSON и соответствует схеме. Сохраните критерии в наборе и опубликуйте его версию.

Опубликуйте критерии перед запуском

  1. Откройте Библиотеку критериев и создайте набор.

  2. У каждого критерия задайте уникальный ключ, инструкцию и признак обязательности. Выберите тип. Проверка LLM использует инструкцию и требует явно заданной модели-судьи. Регулярное выражение использует шаблон, режим, флаги и ожидаемое совпадение. Проверка JSON использует схему Draft 2020-12.

  3. Опубликуйте версию и выберите именно её для оценки. Публикация изменений создаёт новую версию. Запуски и проверки пайплайна сохраняют прежнюю закреплённую версию. Архивный набор исчезает из новых списков выбора, прежние ссылки на его версии сохраняются.

Через API отправьте POST /api/v1/rubrics/ с name, затем POST /api/v1/rubrics/{id}/versions с criteria. Для обоих запросов передайте токен доступа учётной записи в заголовке Authorization: Bearer <access_token>. В ответе есть UUID версии и хэш её содержимого. Поля правил перечислены в схеме критерия.

Измерьте пайплайн или оцените сохранённые ответы

  • Новый запуск. В форме оценки включите Критерии ответа, укажите версию набора и задайте судью для критериев LLM. Пространство должно уметь формировать ответы. Для оценки только по критериям выберите Только критерии (без числовых метрик). В REST используйте поле rubric с rubric_version_id и необязательным judge. Запуск только по критериям задаётся полем selected_metrics: [].

  • Завершённый запуск. В деталях выберите Оценить сохранённые ответы. Можно выбрать другие критерии или судью. Поиск и генерация пропускаются, прежние оценки сохраняются. Через REST отправьте POST /api/v1/spaces/{space_id}/evaluations/{run_id}/rubric-assessments для запуска или GET для списка. Для результатов по каждому вопросу добавьте /{assessment_id}/results.

  • Проверки реальных ответов. Нода критерия в пайплайне проверяет один закреплённый критерий при формировании каждого ответа. Выбранное действие определяет публикацию и возможную попытку исправления. Оценка сохранённых ответов даёт собственные результаты проверки.

Прочитайте и сравните результаты

У вопроса есть результат публикации и оценка по критерию. Для заблокированного ответа оценка может проверить последнюю сохранённую попытку. Сам ответ остаётся заблокированным. Если попытка недоступна, вопрос помечается как неоценённый. Доля пройденных критериев считается как passed / (passed + failed). Перед выбором пайплайна проверьте отдельные счётчики технических ошибок, неоценённых вопросов и неполного контекста.

На экране сравнения явно выберите две завершённые оценки. Должны совпадать датасет, версия и хэш критериев, настройки судьи. Пара по отдельному критерию и вопросу может остаться несопоставимой, если нет оценки или не хватает контекста для смысловой проверки. Смотрите причину рядом со значениями «До» и «После». В REST используйте GET /api/v1/spaces/{space_id}/evaluations/rubric-comparison с assessment_a и assessment_b.

См. правила сравнения.

ContextBase0.1.0

Поиск в документации