Як запитати AI-суддю, чому він так оцінив критерій?

Оцінку діалогу ставить AI-агент чек-листа — «AI-суддя». Коли вердикт по критерію здається дивним, можна попросити AI Помічника запитати самого суддю: на яке повідомлення оператора він спирався, яке правило вирішило (текст критерію чи відповідь бази знань) і до яких баз знань він звертався.

AI Помічник показує поруч збережену оцінку AI (і правку людини, якщо вона є) та відповідь судді. Оцінка при цьому не змінюється — нічого не записується.

Функція вимкнена за замовчуванням, і кожне питання — окремий платний запит до AI-агента чек-листа.

Коли знадобиться

• AI не зарахував критерій, а ви не бачите в діалозі порушення — хочете знати, яку цитату бачив суддя.
• Є підозра, що суддя взяв правило з бази знань не про цю тему.
• Готуєте правку чек-листа або бази знань і хочете зрозуміти, що саме заплутало суддю.

Що важливо знати

• Це новий запит до того самого AI-агента. Своєї розмови під час оцінки суддя не бачить — лише той самий діалог, поточний текст критерію і збережений вердикт. Якщо інструкції агента, критерій або база знань змінилися після оцінки, суддя відповідає вже за новими.
• Вердикт може відрізнятися. Суддя може зараз дійти іншого висновку, ніж у збереженій оцінці, — AI Помічник про це попередить. Оцінку це не змінює: рішення за людиною (Корегувати AI-оцінки).
• Один запит — один критерій. Щоб розібрати кілька критеріїв, питайте про кожен окремо.
• Денний ліміт. Кількість питань до судді на інстансі за добу (UTC) обмежена — за замовчуванням 30. Після вичерпання AI Помічник скаже, коли ліміт оновиться.
• Витрати. Кожне питання — запит до AI-агента чек-листа (токени моделі). У статистику «AI-відповідей» такі запити не потрапляють, але коли ліміт AI-відповідей тарифу вичерпано, суддю теж не запитати.
• Лише в режимі редагування AI Помічника. У режимі лише читання, у режимі «Запитати» і в режимі «План» до підтвердження плану суддю не запитати — помічник скаже, що змінити.

Перед початком

• Увімкнено модуль Оцінка якості і Instance Agent Integration.
• Root увімкнув перемикач Instance Agent: Ask AI QA judge (крок 1).
• У вашої ролі є право редагувати оцінки в модулі «Оцінка якості» і право «Дозволити агенту створювати, змінювати та видаляти дані (режим редагування)» для AI Помічника; Agent Read-Only Mode вимкнено.
• У чек-листа є AI-агент, і оцінка має вердикт AI по критерію.

Покрокова інструкція

1. Увімкнути функцію на інстансі (root)

1. Перейдіть Меню → Налаштування → Налаштування інстансу.
2. Розгорніть категорію Instance Agent.
3. Увімкніть Instance Agent: Ask AI QA judge.
4. За потреби змініть Instance Agent: AI QA judge questions per day — скільки питань до судді на добу дозволено всьому інстансу (від 1 до 1000; порожнє або некоректне значення — 30).

2. Надати права ролям

1. Перейдіть Меню → Налаштування → Користувачі → Ролі і відкрийте роль.
2. У модулі Оцінка якості для розділу Оцінки надайте право на редагування — питати суддю можуть лише ті, хто може змінювати оцінки.
3. У модулі AI-асистент (Instance Agent) увімкніть «Дозволити агенту створювати, змінювати та видаляти дані (режим редагування)».
4. Збережіть роль.

3. Запитати суддю в чаті

1. Відкрийте AI Помічник у режимі «Агент».
2. Напишіть прямо, що хочете запитати суддю, наприклад:
   • «Спитай суддю, чому в оцінці 4055 не зараховано критерій "Повернення коштів за правилами БЗ"»;
   • «Запитай AI-суддю по оцінці 4055: на яке повідомлення він спирався?»
3. Якщо не назвати критерій, помічник візьме єдиний критерій, який AI не зарахував; якщо таких кілька — перепитає, про який саме.

На загальне питання «чому AI зняв бал?» помічник відповідає зі збереженої оцінки і суддю сам не питає; наприкінці він може запропонувати запитати суддю. Окремий платний запит іде лише тоді, коли ви прямо попросите або відповісте «так» на таку пропозицію.

Що у відповіді

1. Критерій і оцінка — назва критерію, номер оцінки.
2. Збережена оцінка AI — зараховано чи ні, бали, коментар AI; якщо людина змінювала оцінку — її правка й коментар.
3. Відповідь AI-судді — його пояснення (довгу відповідь помічник скорочує, зберігаючи ключові цитати). Якщо суддя замість відповіді на питання просто переоцінив критерій, спершу стоїть його вердикт зараз.
4. Повідомлення, на які спирався суддя — номери й початок повідомлень діалогу.
5. Запити судді до бази знань — що суддя шукав і що отримав; запит до бази, не підключеної до цього критерію, позначено окремо. Далі — фрагменти бази знань, якщо вони прийшли.
6. Застереження — наприклад, що це новий запит, що вердикт зараз інший, що критерій або діалог змінилися після оцінки, що суддя не звертався до підключеної бази знань.
7. «Оцінку не змінено. Запитів до судді сьогодні: N з M.»

Обмеження

Що відбувається після

• Оцінка, критерії та налаштування чек-листа не змінюються; відповідь судді лишається в історії чату AI Помічника.
• Якщо відповідь показала помилку AI — скорегуйте оцінку вручну, а причину (текст критерію, база знань) виправте в чек-листі.

Пов’язані матеріали

• Корегувати AI-оцінки
• Переглянути деталі оцінки
• Що таке AI Помічник
• Як налаштувати доступ до AI Помічника