На этой странице

Подключения и хранилища

Что происходит с данными

Управляемый режим (managed)

Для нового корпуса. ContextBase создаёт таблицу или коллекцию, записывает данные и удаляет её вместе с пространством. Несколько пространств могут использовать один сервер.

Подключённый режим (attached)

Для поиска по готовой таблице или коллекции. Для записи нужны совместимая схема и подтверждение владельца пространства. Исходный корпус сохраняется при удалении пространства.

Оба режима работают с внешним сервером. Одна подключённая запись реестра обслуживает одно пространство. Если две записи указывают на одну таблицу или коллекцию, оба пространства ищут по всем строкам, включая добавленные соседним пространством. Чтобы разделить доступ, укажите разные хранилища или используйте учётные данные с доступом к разным хранилищам.

Регистрация сервера

  1. Откройте Хранилища → Добавить подключение, выберите бэкенд и режим.

  2. Укажите хост, доступный серверу ContextBase. Для контейнерного запуска используйте имя сервиса. Для удалённого сервера задайте TLS и учётные данные. Пропущенные поля возьмут значения развёртывания, если адаптер их поддерживает.

  3. В подключённом режиме заполните Таблица или коллекция. Для PostgreSQL схему укажите в параметрах соединения. Если в pgvector, Chroma или Weaviate свои имена полей, задайте сопоставление. В управляемом режиме имя таблицы или коллекции назначает ContextBase.

  4. Сохраните подключение. Core проверит соединение, а в подключённом режиме ещё и наличие таблицы или коллекции и схему полей. В Пространства → Создать пространство выберите зарегистрированный бэкенд, модель эмбеддингов и совместимый пайплайн. Проверьте плотный поиск на известном фрагменте.

Все четыре адаптера из таблицы ниже входят в Core. Для регистрации через API возьмите схему в GET /api/v1/vector-backends/catalog и отправьте POST /api/v1/vector-backends с bearer-токеном пользователя. Пример регистрирует управляемый Qdrant.

{
  "kind": "qdrant",
  "mode": "managed",
  "connection": {
    "location": "http://qdrant:6333"
  }
}

Замените адрес и укажите параметры своего сервера. Подставьте полученный ID в vector_backend_id. Ответ не содержит параметров подключения и секретов. Доступны общие записи установки и записи вашего аккаунта. Создание пространства и права доступа

При смене учётных данных передайте настройки целиком в Хранилища или через PUT /api/v1/vector-backends/{id}. Это сбросит подтверждение записи для подключённого бэкенда. Удаляйте регистрацию после снятия всех привязок к пространствам.

Совместимость с видами поиска

Бэкенд

Плотный поиск

BM25

SPLADE

Граф знаний

PostgreSQL (pgvector)

Да

Да

Да

Только managed

Qdrant

Да

Только managed

Только managed

Только managed

Chroma

Да

Да

Да

Недоступен

Weaviate

Да

Да

Да

Только managed

  • PostgreSQL принимает хост, базу, схему и учётные данные. Qdrant принимает URL и необязательный ключ API.

  • Chroma поддерживает хост, TLS, токен, арендатора и базу. Weaviate принимает отдельные адреса HTTP и gRPC и необязательный ключ API.

  • Допустимые значения есть в GET /api/v1/vector-backends/catalog.

Плотные векторы хранятся в выбранном бэкенде, а BM25, SPLADE и граф — в базе ContextBase. Для BM25 и SPLADE по подключённому корпусу сначала постройте дополнительные индексы. Для графа нужны совместимый управляемый бэкенд и LLM. Подключённый Weaviate не поддерживает структурные и иерархические чанки. Проверка перед сохранением выявляет несовместимый пайплайн. Поиск и ответы

Подключение готового индекса

Выберите исходную модель эмбеддингов, размерность и совместимые параметры нормализации и префикса запроса. В pgvector укажите столбец совпадающей размерности и vector_cosine_ops для плотного индекса с косинусной метрикой. Управляемый индекс pgvector поддерживает до 2 000 измерений. Для векторов большей размерности выберите меньшую размерность эмбеддинга или другой бэкенд. Ограничения pgvector

  • pgvector, Chroma и Weaviate. В разделе Хранилища сопоставьте роли со столбцами, свойствами или полями метаданных. Форма показывает, какие имена можно менять.

  • Qdrant. У каждой точки должен быть один безымянный вектор и ключи node_id, text и document_id в payload. Оставьте field_mapping пустым. При регистрации ContextBase проверит ключи на выборке точек. Проверьте размерность, метрику расстояния и результат поиска известного фрагмента в нужной коллекции.

Роль

Что хранит поле

vector

Плотный вектор для поиска по близости.

text

Текст, который возвращается в найденном фрагменте.

identity

Стабильный идентификатор строки. Он задаёт порядок при равных оценках.

chunk

Идентификатор фрагмента для записи и последующего чтения добавленных данных. Проход по корпусу также использует пригодный идентификатор фрагмента для каждой строки.

described

Описание и метаданные фрагмента. Нужны для добавления документов.

document

Необязательный идентификатор для группировки строк из одного документа. Без него внешние строки показываются как отдельные документы.

Для чтения сопоставьте vector, text и identity. Для добавления документов укажите также chunk и described. Схема должна пройти проверку. Пустое сопоставление предполагает структуру ContextBase. Если имена отличаются, перечислите нужные роли явно.

Проверка на небольшом примере

Подключите таблицу PostgreSQL knowledge.passages с вектором embedding, текстом body и ключом record_id.

{
  "kind": "pgvector",
  "mode": "attached",
  "connection": {
    "schema": "knowledge"
  },
  "storage": "passages",
  "field_mapping": {
    "vector": "embedding",
    "text": "body",
    "identity": "record_id"
  }
}

Заполните параметры своего сервера. Это сопоставление даёт доступ только для чтения. При создании пространства выберите исходную модель эмбеддингов и проверьте отчёт о совместимости. Найдите фразу из существующей строки и сверьте текст и источник. Для пустого корпуса перед записью проверьте адрес, имя и сопоставление.

Добавление и удаление документов

Для загрузки нужны соединение с правом записи и схема с уровнем append в реестре. Схема только для чтения отклоняет загрузку. Владелец проверяет образцы строк и подтверждает корпус в форме загрузки или через POST /api/v1/spaces/{id}/storage/confirm с bearer-токеном. Загрузите один тестовый документ и найдите его поиском. При записи и удалении ContextBase различает добавленные строки по меткам владения.

При удалении пространства интерфейс показывает число добавленных строк, если его удалось определить. API требует appended_rows, даже если это число равно нулю или неизвестно. Если параметр пропущен, 428 возвращает имя хранилища, доступное число строк и рекомендуемый вариант.

  • ?appended_rows=keep оставляет добавленные строки читателям внешнего корпуса.

  • ?appended_rows=purge удаляет строки, добавленные пространством.

Построение и проверка дополнительных индексов

Для подключённых pgvector, Chroma и Weaviate начните с плотного поиска. Владелец запускает построение в Настройки → Хранилище и диагностика или через POST /api/v1/spaces/{id}/storage/index. Запрос GET по тому же пути показывает статус, готовые индексы и число обработанных и пропущенных строк. После построения добавьте BM25 или SPLADE в пайплайн.

Проход строит оба индекса по внешним строкам. Он может прочитать весь корпус и вызвать модель SPLADE. Строки пространства индексируются при загрузке и пропускаются в этом проходе. Плотный поиск продолжает работать.

После изменений внешних строк или настроек индекса вызовите POST /api/v1/spaces/{id}/storage/index/check. Перестройте устаревшие индексы. Если в индексе не хватает данных, проверьте число пропусков и сопоставление полей. Фильтры метаданных проверяйте на известной строке. Им доступны только сопоставленные описания, которые записал владелец корпуса.

совместимость хранилищ, StorageFieldMapping, SpaceStorageConfirm и SpaceSideIndex.

ContextBase0.1.0

Поиск в документации