Як налаштувати сегменти в FastLinePro?

Сегменти — це фрагменти тексту, витягнуті з документів у базі знань. Налаштування сегментів дозволяє керувати тим, як документи розбиваються, редагувати окремі сегменти та оптимізувати точність пошуку. Ця інструкція покаже, як налаштувати параметри сегментів та керувати сегментами в FastLinePro.

Коли знадобиться

• Потрібно налаштувати, як документи розбиваються на сегменти для кращого пошуку.
• Хочете відредагувати або видалити конкретні сегменти з документа.
• Потрібно оптимізувати налаштування сегментів для покращення точності пошуку.
• Хочете переглянути, які сегменти найчастіше використовуються (hit count).

Що важливо знати

• Сегмент — фрагмент тексту, витягнутий з документа для індексації та пошуку.
• Ідентифікатор сегмента — роздільник, який використовується для розбиття документів на сегменти (наприклад, --- або \n\n).
• Hit count — кількість разів, коли сегмент був витягнутий під час пошуку (показує релевантність сегмента).
• Налаштування сегментів — конфігурація, яка визначає, як документи розбиваються та обробляються.
• Сегменти можна вмикати або вимикати окремо.

Перед початком

• Ви увійшли в систему з правами інтегратора або адміністратора.
• Ви перейшли в модуль FastLinePro через Меню -> FastLinePro.
• У вас є база знань з завантаженими документами.
• Ви відкрили dataset (базу знань), для якої потрібно налаштувати сегменти.

Покрокова інструкція

1. Відкрити налаштування сегментів

1. У модулі FastLinePro перейдіть до розділу "Datasets" або "База знань".
2. Виберіть dataset (базу знань), який вам потрібен.
3. Відкрийте налаштування dataset або перейдіть на вкладку "Segments" або "Сегменти".
4. Система відображає список сегментів, витягнутих з документів.

2. Налаштувати параметри сегментів (фрагментація)

1. У налаштуваннях dataset знайдіть розділ "Налаштування сегментів" або "Налаштування фрагментації".
2. Налаштуйте "Ідентифікатор сегмента" (роздільник):
   • Введіть символ або послідовність символів, які використовуються для розбиття тексту (наприклад, ---, \n\n, !--).
   • Поширені роздільники:
     • --- (три дефіси) — стандартний роздільник для тем
     • \n\n (подвійний перенос рядка) — для абзаців
     • \n (одинарний перенос рядка) — для рядків
     • Кастомні роздільники типу !-- або ***
   • Роздільник має точно відповідати тому, що використано у ваших документах.
3. Налаштуйте "Правила попередньої обробки тексту":
   • "Замінити послідовні пробіли, переноси рядків та табуляції" — вмикає автоматичне очищення зайвих пробілів.
   • "Видалити всі URL та email адреси" — видаляє URL та email з сегментів (опційно).
4. Налаштуйте "Максимальна довжина сегмента" (якщо доступно):
   • Встановіть максимальну кількість символів на сегмент.
   • Запобігає створенню занадто довгих сегментів.
5. Увімкніть "Hybrid пошук" (рекомендовано):
   • Hybrid пошук поєднує векторний та повнотекстовий аналіз.
   • Підвищує точність пошуку релевантної інформації.
   • Рекомендується залишати увімкненим.
6. Налаштуйте параметр "Top K":
   • Визначає, скільки сегментів AI-агент враховує під час формулювання відповіді.
   • Рекомендовано: 2–3
   • Більші значення збільшують шанс знайти відповіді, але використовують більше токенів.
7. Натисніть "Зберегти" або "Застосувати" для збереження налаштувань сегментів.

3. Переглянути список сегментів

1. У dataset перейдіть на вкладку "Segments" або "Сегменти".
2. Система відображає список усіх сегментів з документів у dataset.
3. Для кожного сегмента можна побачити:
   • Контент — текст сегмента
   • Кількість слів — кількість слів у сегменті
   • Hit count — скільки разів сегмент був витягнутий
   • Джерельний документ — з якого документа сегмент
   • Статус — увімкнено або вимкнено

4. Відредагувати окремий сегмент

1. У списку сегментів знайдіть сегмент, який потрібно відредагувати.
2. Натисніть кнопку "Редагувати" або натисніть на сегмент.
3. У діалоговому вікні редагування:
   • Змініть текст сегмента за потреби.
   • Перегляньте інформацію про сегмент (кількість слів, джерельний документ).
4. Натисніть "Зберегти" для збереження змін.

5. Увімкнути або вимкнути сегмент

1. У списку сегментів знайдіть сегмент, який потрібно увімкнути або вимкнути.
2. Використайте перемикач або checkbox для увімкнення/вимкнення сегмента.
3. Вимкнені сегменти не використовуються в пошуку, але залишаються в dataset.
4. Зміни набувають чинності одразу.

6. Видалити сегмент

1. У списку сегментів знайдіть сегмент, який потрібно видалити.
2. Натисніть кнопку "Видалити".
3. Підтвердіть видалення в діалоговому вікні.
4. Сегмент безповоротно видаляється з dataset.

Що відбувається після

Після налаштування параметрів сегментів:

• Документи обробляються та розбиваються на сегменти згідно з вашими налаштуваннями.
• Сегменти індексуються для пошуку.
• AI-агент може використовувати сегменти для пошуку релевантної інформації.

Після редагування сегментів:

• Зміни зберігаються та одразу стають доступними для пошуку.
• Hit counts продовжують відстежувати використання сегментів.

Після вимкнення сегментів:

• Вимкнені сегменти виключаються з пошуку.
• Вони залишаються в dataset і можуть бути знову увімкнені пізніше.

Як переконатися, що все вдалось

• Перевірте, що сегменти створені згідно з вашими налаштуваннями роздільника.
• Переконайтеся, що контент сегментів відповідає структурі документів.
• Протестуйте пошук, щоб переконатися, що сегменти використовуються правильно.
• Перегляньте hit counts, щоб побачити, які сегменти найбільш релевантні.

Рекомендації з налаштування

Ідентифікатор сегмента

• Використовуйте --- як стандартний роздільник для найкращої сумісності.
• Переконайтеся, що роздільник точно відповідає тому, що є у ваших документах.
• Якщо у документах немає роздільників, система автоматично розбиє, але ручні роздільники дають кращий контроль.

Попередня обробка тексту

• Увімкніть "Замінити послідовні пробіли" — допомагає очистити проблеми форматування.
• Увімкніть "Видалити URL та email" — корисно, якщо не хочете URL/email у результатах пошуку.

Hybrid пошук

• Завжди увімкнено — забезпечує найкращу точність пошуку.
• Поєднує переваги як векторного, так і повнотекстового пошуку.

Top K

• Для простих запитань: 2 сегменти
• Для складних запитань: 3–4 сегменти
• Для дуже складних запитань: 4–5 сегментів (збільшує витрати на токени)

Пов'язані матеріали

• Налаштувати фрагментацію — детальний гайд з налаштування фрагментації
• Розбити файл через Ask AI — смислове чанкування через Instance Agent
• Створити базу знань — як створити базу знань
• Завантажити файли до KB — як завантажити файли до бази знань
• Підключити базу знань до агента — як підключити KB до AI-агента

Важливі примітки

• ⚠️ Ідентифікатор сегмента: Має точно відповідати роздільникам у ваших документах. Якщо не відповідає, сегменти можуть бути створені неправильно.
• 📊 Hit count: Показує, які сегменти найбільш корисні. Сегменти з високим hit count часто витягуються і, ймовірно, містять важливу інформацію.
• 🔄 Повторна обробка: Якщо змінюєте налаштування сегментів, можливо, потрібно повторно обробити документи для застосування нових налаштувань.
• 🚫 Видалення сегментів: Видалення безповоротне. Переконайтеся, що дійсно хочете видалити сегмент перед підтвердженням.