На этой странице

Оцените качество поиска и ответов

Запустите первую оценку

  1. В разделе Датасеты → Новый датасет загрузите датасет Next Product Lab или возьмите пример из интерфейса. Датасет принадлежит вашей учётной записи. Его можно использовать в пространствах, которые вам доступны для оценки.

  2. Откройте раздел Оценка пространства, выберите датасет в блоке Запустить оценку и нажмите Запустить оценку. Проверьте, что воркеры запущены. Интерфейс использует временное пространство и настройки установки.

  3. Выберите запуск в списке Запуски. Дождитесь состояния Готово и откройте Метрики. Строки по вопросам одного запуска доступны через REST, попарные результаты двух завершённых запусков — в Прочитайте метрики и сравните запуски.

Входные данные для метрик

Откройте документ и связанный вопрос в деталях датасета. У каждого элемента corpus нужны уникальный в датасете id и text. В каждом элементе queries нужен question. Для метрик поиска передайте relevant_ids со ссылками на ID документов. Для метрик ответов нужны генерация и модель-судья. Если метрика требует эталон, добавьте golden_answer. Рабочий пайплайн выбирайте по данным, которые отражают реальные документы и вопросы.

  1. Датасет

    Подготовьте документы, вопросы и доступные эталоны.

  2. Запуск

    ContextBase сохраняет настройки пайплайна и оценивает вопросы.

  3. Результаты

    Посмотрите рассчитанные метрики и группы, для которых нет оценки.

  4. Сравнение

    Сопоставьте завершённые запуски на одном датасете.

Для оценки на реальных вопросах соберите их из журнала запросов своего пространства.

Отправьте запуск через REST

Задайте CONTEXTBASE_BASE_URL, CONTEXTBASE_SPACE_ID и CONTEXTBASE_API_KEY по инструкции Подключите ContextBase к приложению. Нужен ключ manage, выданный текущим владельцем пространства. Сохраните next-product-lab-evaluation.json в рабочем каталоге терминала.

curl --fail-with-body "$CONTEXTBASE_BASE_URL/api/v1/eval-datasets/" \
  -H "X-API-Key: $CONTEXTBASE_API_KEY" \
  -H 'Content-Type: application/json' \
  --data-binary @next-product-lab-evaluation.json

Сохраните id из ответа в DATASET_ID. Ответ также содержит число документов и вопросов и признаки наличия меток и эталонов. Этот запуск рассчитывает только метрики поиска во временном пространстве.

EVALUATIONS_URL="$CONTEXTBASE_BASE_URL/api/v1/spaces/$CONTEXTBASE_SPACE_ID/evaluations"
curl --fail-with-body "$EVALUATIONS_URL" \
  -H "X-API-Key: $CONTEXTBASE_API_KEY" \
  -H 'Content-Type: application/json' \
  --data "{\"dataset_id\":\"$DATASET_ID\",\"selected_metrics\":[\"retrieval\"]}"

Сервер отдаёт 202 с id запуска. Сохраните его в RUN_ID и проверяйте состояние до done или failed. После завершения прочитайте строки вопросов.

curl --fail-with-body "$EVALUATIONS_URL/$RUN_ID" \
  -H "X-API-Key: $CONTEXTBASE_API_KEY"

curl --fail-with-body "$EVALUATIONS_URL/$RUN_ID/queries?page=1&page_size=20" \
  -H "X-API-Key: $CONTEXTBASE_API_KEY"

Датасет загружается одним запросом JSON. API проверяет корпус и отклоняет неизвестную метку релевантности или повтор ID документа. Стандартный лимит тела запроса на сервере — 96 МиБ. При 413 уменьшите размер или попросите администратора проверить DATA_UPLOAD_MAX_MEMORY_SIZE и ограничение входного прокси. Корпус и вопросы можно прочитать отдельно постранично по адресам /api/v1/eval-datasets/{id}/corpus и /api/v1/eval-datasets/{id}/queries.

Выберите условия запуска

  • top_k — глубина выдачи в чанках на вопрос. В стандартной конфигурации по умолчанию 30. Отсечка в метриках поиска считает уникальные документы, по умолчанию 10, и задаётся для установки. При запросе метрик поиска API отклоняет глубину меньше этой отсечки.

  • query_concurrency — максимальное число одновременно выполняемых вопросов в запуске. По умолчанию 4. Уменьшите параллелизм, если провайдер модели или база данных не успевают принимать запросы.

  • judge_model — необязательная модель для числовой оценки ответов. Если её не задать, используется модель пространства, когда она доступна для оценки. Доступ к провайдеру настраивается на сервере.

  • selected_metrics — если поле пропущено, запрашиваются обе группы числовых метрик. Чтобы запросить одну группу, передайте ["retrieval"] или ["answer_quality"] через REST. В интерфейсе доступны режим по умолчанию и оценка только по критериям. Последняя соответствует [] при заданном наборе критериев. См. Оцените ответы по критериям.

  • space_use — определяет, где проходит оценка. Задайте его в запросе REST, чтобы выбрать режим. Интерфейс использует временное пространство.

Режим

Когда выбирать

throwaway

Для изолированной оценки корпуса во временном пространстве. ContextBase удаляет пространство после запуска. Это режим по умолчанию.

kept

Чтобы изучить загруженное пространство или использовать его позже. ContextBase сохраняет его в списке ваших обычных пространств.

in_place

Предыдущая оценка уже заполнила пространство тем же корпусом. Режим пропускает загрузку корпуса и построение графа.

Для запуска на месте сначала оцените датасет в режиме kept. После завершения найдите evaluation-corpus-<ID запуска> в разделе Пространства. Откройте это пространство, дождитесь готовности индексов и актуальности графа знаний, если он нужен, и запустите in_place с тем же датасетом. Сервер сверяет отпечаток корпуса, сохранённый при оценке. Обычная загрузка тех же документов не создаёт отпечаток и не позволяет запустить оценку на месте.

Для воспроизводимого сравнения сохраните config_snapshot вместе с ID датасета, top_k, отсечкой cutoff из metrics.retrieval, effective_judge_model и platform_build, если он записан. Снимок содержит пайплайн и идентификаторы модели эмбеддингов и векторного хранилища. Вошедший в систему пользователь может прочитать действующие общие настройки установки по адресу GET /api/v1/installation/settings с заголовком Authorization: Bearer <access_token>.

Следите за прогрессом и устраняйте сбои

pending означает ожидание в очереди, running — выполнение воркером, done и failed — завершение. Прогресс показывает очередь, загрузку корпуса, построение графа или оценку вопросов. Счётчик измеряет единицы текущего этапа, если известен его объём. Объём загрузки и расчёта эмбеддингов растёт с размером корпуса. Построение графа дополнительно потребляет запросы к языковой модели. Расчёт зависит от числа вопросов и проходов по ним. При оценке ответов добавляются запросы на генерацию и оценку моделью-судьёй.

Выберите действие по полю failure_reason.

Причина

Действие

configuration_changed

Индекс изменился после постановки в очередь. Проверьте конфигурацию пространства.

embedder_unreachable или judge_unreachable

Проверьте доступность модели и квоту.

timed_out

Возьмите меньший датасет или проверьте предел времени воркера.

error

Прочитайте журнал воркера.

abandoned

Восстановите воркер и очередь, затем запустите новую оценку.

Мягкий лимит задачи расчёта по умолчанию составляет 6 часов, жёсткий — 6 часов 30 минут. Их задают CELERY_CORPUS_TASK_SOFT_TIME_LIMIT и CELERY_CORPUS_TASK_TIME_LIMIT.

После прерванной загрузки корпуса может остаться пространство evaluation-fill-…. Следующий временный или сохраняемый запуск того же владельца на том же датасете может продолжить работу, если настройки загрузки совпадают. Сохраняйте пространство, пока запуск ещё жив. Чтение или список запусков могут закрыть остановившийся запуск после истечения его контрольной отметки активности. Проверьте журналы воркера и настройки оценки.

ContextBase0.1.0

Поиск в документации