Создание коллекции

Создать коллекцию можно, нажав на кнопку “Создать RAG-коллекцию” в правой верхней части раздела.

При создании необходимо ввести название коллекции, а также выбрать стратегию добавления (разбиение на чанки) и хранения документов внутри коллекции, которая будет использоваться по умолчанию.

Варианты стратегии добавления документов в коллекции:

построчно: каждая строка документа будет сохранена, как отдельный документ
по количеству символов: задается размер чанка в символах и количество символов, которое будет браться с предыдущего чанка, чтобы сохранить контекст
по количеству предложений: задается размер чанка в предложениях и количество предложений, которое будет браться с предыдущего чанка, чтобы сохранить контекст. Кроме того, в данной стратегии можно анализировать текст на наличие markdown заголовков и списков и учитывать это при делении на чанки, чтобы точно сохранить важные данные.

Типы документов внутри коллекции:

документ: обычный текстовый документ
запись: одна строка информации

Другие параметры создания коллекции:

Размер чанка: в зависимости от выбранной стратегии это количество строк, предложений или символов
Перекрытие: количество элементов (в зависимости от выбранной стратегии это количество строк, предложений или символов), которое будет браться от предыдущего чанка и добавляться к новому, чтобы не потерять важные данные
Сохранять заголовки: распознавать и сохранять (не выносить отдельно) markdown заголовки в чанке
Сохранять списки: распознавать и сохранять (не выносить отдельно) markdown списки в чанке