Протестувати чек-лист на реальному діалозі

Перш ніж застосовувати новий чи змінений чек-лист для масової AI-оцінки, варто перевірити, як він працює на конкретному діалозі. Це дозволяє одразу побачити результат AI та поправити формулювання критеріїв до того, як вони вплинуть на реальні оцінки операторів.

Коли знадобиться

  • Ви щойно створили або змінили критерії чек-листа і хочете перевірити, чи AI оцінює їх правильно.
  • AI регулярно помиляється по одному й тому самому критерію в реальних оцінках — потрібно зрозуміти чому.
  • Хочете переконатися, що формулювання критерію не заплутує AI, перш ніж застосувати чек-лист масово.

Що важливо знати

  • Тестування чек-листа — запуск AI-оцінки на одному обраному діалозі без збереження результату у звіти якості.
  • Результат тестування показує ті самі дані, що й реальна оцінка: пройдено/порушено, бали та AI-коментар для кожного критерію.
  • Повідомлення, якими AI обґрунтував оцінку критерію, можна відкрити прямо в транскрипті — з переходом і підсвіткою.
  • Тестування не впливає на звіти та статистику — це лише перевірка перед використанням чек-листа.

Перед початком

  • Ви увійшли в систему з правами адміністратора або інтегратора.
  • Ви перейшли в Меню -> Оцінка якості -> Чек-листи.
  • Ви відкрили чек-лист, у якому додано щонайменше один критерій.

Покрокова інструкція

1. Обрати діалог для тестування

  1. У лівій колонці сторінки редагування чек-листа натисніть поле пошуку та введіть ChatID або назву діалогу.
  2. Оберіть потрібний діалог зі списку результатів пошуку.
  3. Транскрипт обраного діалогу завантажується в лівій колонці — вона має власну прокрутку, незалежну від колонки критеріїв.

2. Запустити тестування

  1. Переконайтеся, що в чек-листі (права колонка) додано критерії.
  2. Натисніть кнопку «Протестувати критерії оцінки» внизу колонки з критеріями.
  3. Дочекайтеся завершення аналізу — кнопка тимчасово показує напис «Аналіз діалогу...».

3. Переглянути результати тестування

  1. Кожен критерій показує результат: «Без порушень» або «Є порушення», бали та AI-коментар з поясненням оцінки.
  2. Якщо для чек-листа налаштовано промпт для підсумку діалогу, над списком критеріїв з'являється AI-підсумок діалогу.
  3. Повідомлення, які AI використав як доказ для критерію, підсвічуються в транскрипті кольором.

4. Перейти до повідомлень-доказів

  1. Якщо критерій має пов'язані повідомлення, під його результатом з'являється бейдж «N повід.» та кнопка «Перейти до повідомлень».
  2. Натисніть цю кнопку — транскрипт плавно прокручується до першого пов'язаного повідомлення й підсвічує його, а решту повідомлень тимчасово приглушує. Напис на кнопці змінюється на «Показано».
  3. Якщо пов'язаних повідомлень декілька, скористайтеся перемикачем ‹ N / M › біля результату критерію, щоб переглянути кожне по черзі.
  4. Щоб зняти виділення й побачити весь діалог знову, натисніть ту саму кнопку («Показано») ще раз або оберіть інший критерій.

5. Скоригувати критерій за результатами (за потреби)

  1. Якщо AI неправильно оцінив критерій, натисніть «Редагувати» біля цього критерію та уточніть опис або інструкцію перевірки.
  2. Збережіть зміни та запустіть тестування ще раз, щоб перевірити новий результат.

Що відбувається після

Ви бачите, чи AI правильно оцінює критерії чек-листа на реальному прикладі, і можете скоригувати формулювання до того, як чек-лист почне використовуватися для масової оцінки. Результати тестування не потрапляють у звіти якості.

Як переконатися, що все вдалось

  • Результат тестування для кожного критерію відповідає тому, що ви очікували від цього діалогу.
  • Повідомлення, підсвічені як докази, справді стосуються критерію, за яким вони показані.
  • AI-коментар пояснює оцінку зрозуміло, без плутанини між критеріями.

Інші способи

  • Можна протестувати чек-лист на кількох різних діалогах поспіль — натисніть «Змінити» біля обраного діалогу, щоб підібрати інший приклад для перевірки.

Пов'язані матеріали