Як налаштувати ліміти AI-оцінки?

Якщо команді потрібно оцінювати більше діалогів за один запуск або, навпаки, обмежити навантаження на AI — ці параметри задаються в налаштуваннях інстансу. Ця інструкція пояснює, за що відповідає кожен параметр картки «Оцінка якості» та коли його варто змінювати.

Коли знадобиться

Супервайзери просять збільшити ліміт масової AI-оцінки, бо 30 діалогів на запуск замало.
Масові запуски створюють завелике навантаження — треба зменшити кількість одночасних оцінок.
AI-оцінки завершуються помилкою через повільні відповіді — треба збільшити час очікування.

Що важливо знати

Налаштування доступні адміністратору системи в розділі «Налаштування інстансу» і діють на весь інстанс.
Параметри згруповані у три блоки картки «Оцінка якості»: «Загальні параметри», «Масова оцінка», «Критерії та групування».
Збільшення лімітів прямо впливає на тривалість запусків і навантаження на AI-сервіс — підвищуйте значення поступово й перевіряйте результат на реальному запуску.

Перед початком

Ви увійшли в систему з правами адміністратора.
Ви відкрили Меню -> Налаштування -> Налаштування інстансу.
Ви знайшли картку «Оцінка якості».

Параметри та коли їх змінювати

Блок «Загальні параметри»

Таймаут heartbeat (хвилини) — скільки хвилин система чекає на дані від AI в межах одного запиту, перш ніж вважати оцінку невдалою. Стандартно 4, діапазон 1–30. Збільшуйте, якщо оцінки регулярно завершуються помилкою «AI-сервіс не відповідає» на довгих діалогах.

Блок «Масова оцінка»

Ліміт масової AI-оцінки (діалогів) — скільки діалогів супервайзер може вибрати для одного масового запуску. Стандартно 30, максимум 100. Значення понад 30 суттєво збільшують тривалість запуску: 100 діалогів можуть оцінюватися десятки хвилин.
Паралельність масової оцінки — скільки діалогів оцінюється одночасно в межах одного запуску. Стандартно 5, діапазон 1–10. Більше значення пришвидшує запуск, але підвищує навантаження на AI-сервіс; менше — розтягує запуск у часі, зате працює стабільніше.

Блок «Критерії та групування»

Макс. критеріїв у чеклисті — обмеження кількості критеріїв під час створення чек-листа. Для нових інстансів стандартно 15, діапазон 1–15. Порожнє значення вимикає обмеження.
Згрупована оцінка — режим, у якому критерії чек-листа оцінюються групами за кілька AI-запитів замість одного. Підвищує стабільність результатів, але збільшує кількість AI-запитів у 3–4 рази.
Розмір пакету критеріїв — скільки критеріїв потрапляє в один AI-запит у згрупованому режимі. Рекомендовано 4–5, діапазон 1–20.
Макс. пакетів (захист) — запобіжник від надмірної кількості AI-запитів на один діалог. Стандартно 8, діапазон 1–30. Якщо чек-лист потребує більше пакетів, оцінка не запуститься — зменшіть кількість критеріїв або збільшіть розмір пакету.

Покрокова інструкція

У картці «Оцінка якості» змініть потрібні значення — наприклад, підвищте «Ліміт масової AI-оцінки (діалогів)» з 30 до 100.
Натисніть «Зберегти» внизу картки — нові значення почнуть діяти одразу, без перезапуску.
Попросіть супервайзера запустити тестову масову оцінку та переконайтеся, що запуск завершується без помилок.

Як переконатися, що все вдалось

Відкрийте вікно масової оцінки в Операторській панелі: підказка про ліміт показує нове значення.
Тестовий запуск завершився сповіщенням «Масову оцінку завершено» без помилок, пов'язаних з перевантаженням AI-сервісу.