Як налаштувати ліміти AI-оцінки?

Якщо команді потрібно оцінювати більше діалогів за один запуск або, навпаки, обмежити навантаження на AI — ці параметри задаються в налаштуваннях інстансу. Ця інструкція пояснює, за що відповідає кожен параметр картки «Оцінка якості» та коли його варто змінювати.

Коли знадобиться

  • Супервайзери просять збільшити ліміт масової AI-оцінки, бо 30 діалогів на запуск замало.
  • Масові запуски створюють завелике навантаження — треба зменшити кількість одночасних оцінок.
  • AI-оцінки завершуються помилкою через повільні відповіді — треба збільшити час очікування.

Що важливо знати

  • Налаштування доступні адміністратору системи в розділі «Налаштування інстансу» і діють на весь інстанс.
  • Параметри згруповані у три блоки картки «Оцінка якості»: «Загальні параметри», «Масова оцінка», «Критерії та групування».
  • Збільшення лімітів прямо впливає на тривалість запусків і навантаження на AI-сервіс — підвищуйте значення поступово й перевіряйте результат на реальному запуску.

Перед початком

  • Ви увійшли в систему з правами адміністратора.
  • Ви відкрили Меню -> Налаштування -> Налаштування інстансу.
  • Ви знайшли картку «Оцінка якості».

Параметри та коли їх змінювати

Блок «Загальні параметри»

  • Таймаут heartbeat (хвилини) — скільки хвилин система чекає на дані від AI в межах одного запиту, перш ніж вважати оцінку невдалою. Стандартно 4, діапазон 1–30. Збільшуйте, якщо оцінки регулярно завершуються помилкою «AI-сервіс не відповідає» на довгих діалогах.

Блок «Масова оцінка»

  • Ліміт масової AI-оцінки (діалогів) — скільки діалогів супервайзер може вибрати для одного масового запуску. Стандартно 30, максимум 100. Значення понад 30 суттєво збільшують тривалість запуску: 100 діалогів можуть оцінюватися десятки хвилин.
  • Паралельність масової оцінки — скільки діалогів оцінюється одночасно в межах одного запуску. Стандартно 5, діапазон 1–10. Більше значення пришвидшує запуск, але підвищує навантаження на AI-сервіс; менше — розтягує запуск у часі, зате працює стабільніше.

Блок «Критерії та групування»

  • Макс. критеріїв у чеклисті — обмеження кількості критеріїв під час створення чек-листа. Для нових інстансів стандартно 15, діапазон 1–15. Порожнє значення вимикає обмеження.
  • Згрупована оцінка — режим, у якому критерії чек-листа оцінюються групами за кілька AI-запитів замість одного. Підвищує стабільність результатів, але збільшує кількість AI-запитів у 3–4 рази.
  • Розмір пакету критеріїв — скільки критеріїв потрапляє в один AI-запит у згрупованому режимі. Рекомендовано 4–5, діапазон 1–20.
  • Макс. пакетів (захист) — запобіжник від надмірної кількості AI-запитів на один діалог. Стандартно 8, діапазон 1–30. Якщо чек-лист потребує більше пакетів, оцінка не запуститься — зменшіть кількість критеріїв або збільшіть розмір пакету.

Покрокова інструкція

  1. У картці «Оцінка якості» змініть потрібні значення — наприклад, підвищте «Ліміт масової AI-оцінки (діалогів)» з 30 до 100.
  2. Натисніть «Зберегти» внизу картки — нові значення почнуть діяти одразу, без перезапуску.
  3. Попросіть супервайзера запустити тестову масову оцінку та переконайтеся, що запуск завершується без помилок.

Як переконатися, що все вдалось

  • Відкрийте вікно масової оцінки в Операторській панелі: підказка про ліміт показує нове значення.
  • Тестовий запуск завершився сповіщенням «Масову оцінку завершено» без помилок, пов'язаних з перевантаженням AI-сервісу.

Пов'язані матеріали