Добавление документов

Для добавления документов в RAG коллекцию необходимо нажать на кнопку “Добавить RAG-документ” в верхней части раздела. При создании небходимо ввести название создаваемого документа, скопировать содержимое документа в поле RAG и при необходимости скорректировать стратегию добавления (разбиение на чанки) и хранения документа, которая была задана по умолчанию при создании коллекции.

Варианты стратегии добавления документов в коллекции:

• построчно: каждая строка документа будет сохранена, как отдельный документ
• по количеству символов: задается размер чанка в символах и количество символов, которое будет браться с предыдущего чанка, чтобы сохранить контекст
• по количеству предложений: задается размер чанка в предложениях и количество предложений, которое будет браться с предыдущего чанка, чтобы сохранить контекст. Кроме того, в данной стратегии можно анализировать текст на наличие markdown заголовков и списков и учитывать это при делении на чанки, чтобы точно сохранить важные данные.

Другие параметры создания документа:

• Размер чанка: в зависимости от выбранной стратегии это количество строк, предложений или символов
• Перекрытие: количество элементов (в зависимости от выбранной стратегии это количество строк, предложений или символов), которое будет браться от предыдущего чанка и добавляться к новому, чтобы не потерять важные данные
• Сохранять заголовки: распознавать и сохранять (не выносить отдельно) markdown заголовки в чанке
• Сохранять списки: распознавать и сохранять (не выносить отдельно) markdown списки в чанке

Для каждого документа можно добавить переменные, которые потом использовать в работе.

Для добавления переменных необходимо нажать на кнопку “Добавить переменную”, а в появившихся полях заполнить имя переменной и значение. Для каждого документа можно добавлять несколько переменных со значениями.

Можно загрузить содержимое при добавлении документа из файла txt, xls, csv. Для этого необходимо нажать на кнопку “Загрузить” под полем названия документа.

Важно: время добавления документа зависит от размера документа. Если документ объемный просим набраться терпения - обработка может быть не быстрой.