Як налаштувати автооцінку AI QA?

Налаштування автооцінки збирає в одному місці модуля Контроль якості все, що вирішує, які діалоги оцінює AI і яким чек-листом: правила пропуску, маршрути тем, окремі налаштування ботів і список тих, кого не оцінювати автоматично. Налаштування живуть у модулі, сценарії під них переписувати не треба. Але автооцінка при закритті чату працює лише для ботів, у сценарії яких є блок оцінки AI QA на закритті чату, — його додає ConnectiveOne.

Коли знадобиться

• Потрібно не оцінювати діалоги певних тем або оцінювати різні теми різними чек-листами.
• Потрібно пропускати діалоги, які не варто оцінювати: клієнт не відповів, заблокував бота, діалог був надто коротким або його передавали іншому оператору.
• Один бот (наприклад, поштовий) має працювати за іншими правилами, ніж решта.
• Діалоги за участі адміністраторів або стажерів не мають потрапляти в автоматичну оцінку.

Що важливо знати

• Основне налаштування «Для всіх ботів» діє на всіх ботів, для яких немає окремого налаштування.
• Окреме налаштування для бота — копія основного, яку можна змінити. Воно повністю замінює основне для цього бота; подальші зміни основного на нього не діють.
• Маршрут теми — рядок «тема → що робити»: оцінити вибраним чек-листом або не оцінювати. Рядок на родину тем діє на всі її теми; рядок конкретної теми важливіший за рядок родини. Теми без власного рядка йдуть за рядком «Усі інші теми».
• Три види оцінки. Масова — багато чатів за один запуск: з таблиці, з файлу, вставкою номерів або за посиланням. Разова — один чат з картки в операторській панелі або з модуля. Автоматична — система ставить її сама, коли чат закрили; її правила завжди з перемикачів «Правила пропуску». На масову і разову оцінку правила пропуску діють, лише якщо в налаштуванні увімкнена відповідна галочка — окремо для кожного виду.
• Налаштування автооцінки вмикає ConnectiveOne на вашому інстансі. Доки його не ввімкнено, вкладки «Налаштування автооцінки» немає, а оцінки працюють як раніше.

Перед початком

• ConnectiveOne увімкнув налаштування автооцінки на вашому інстансі.
• Щоб бачити налаштування, вашій ролі надано перегляд розділу «Оцінки» модуля «Контроль якості».
• Щоб змінювати налаштування, вашій ролі надано право «Налаштування автооцінки AI QA» (Налаштування → Ролі → модуль «Оцінка якості», колонка «Збереження»). Без нього всі поля доступні лише для перегляду.
• У модулі є хоча б один активний чек-лист.

Як створити основне налаштування

Цей крок виконується один раз — коли налаштування автооцінки щойно ввімкнули.

1. Відкрийте Контроль якості → Налаштування автооцінки.
2. На картці «Автооцінку ще не налаштовано» оберіть «Чек-лист для «Усі інші теми»» — чек-лист, яким ви оцінюєте діалоги зараз.
3. Прочитайте попередження: після створення основного налаштування параметри чек-листа в блоці оцінки сценарію перестають діяти — чек-лист береться з цього екрана.
4. Натисніть «Створити основне налаштування».

Після створення правила пропуску вимкнені, поріг короткого діалогу — 4 повідомлення, «Чат без теми» і «Усі інші теми» оцінюються вибраним чек-листом.

Як налаштувати правила пропуску

1. Відкрийте Контроль якості → Налаштування автооцінки, вкладка «Налаштування».
2. У списку ліворуч оберіть «Для всіх ботів» або окреме налаштування бота.
3. У блоці «Правила пропуску» увімкніть потрібні правила:
   • «Клієнт не відповів» — оператор писав, клієнт не відповів жодного разу;
   • «Клієнт заблокував канал» — працює для Telegram; у віджеті та email клієнт не може заблокувати бота;
   • «Діалог передавали іншому оператору» — передача оператору чи в скілгрупу, або в діалозі писали два й більше операторів;
   • «Короткий діалог» — діалог, де клієнт і оператор разом написали менше повідомлень, ніж задано в полі «Мінімум повідомлень» (мінімум 3).
4. У блоці «Чат без теми» оберіть «Оцінити чек-листом» (і сам чек-лист) або «Не оцінювати».
5. Натисніть «Зберегти». Кнопка активна, лише коли є зміни і всі поля заповнено правильно.

Admin і стажерів задають не тут, а на вкладці «Хто не оцінюється автоматично» (див. нижче).

Як вказати, які теми оцінювати і яким чек-листом

1. У формі налаштування знайдіть блок «Маршрути тем».
2. Натисніть «Додати теми».
3. У дереві тем клацніть одну або кілька тем чи родин тем. Клік по родині вибирає лише родину, а не всі її теми; теми, що вже мають рядок, вибрати не можна. Для пошуку використовуйте поле над деревом — так зручно вибрати тему-виняток, що повторюється в кількох родинах.
4. Оберіть, що робити: «Оцінити чек-листом» (і сам чек-лист) або «Не оцінювати».
5. Натисніть «Додати (N)» — для кожної вибраної теми створиться свій рядок.
6. Перевірте рядок «Усі інші теми»: він діє на всі теми без власного рядка, зокрема нові.
7. Натисніть «Зберегти».

Рядки з однаковою дією показуються групою, наприклад «Не оцінювати — тем: 12 ▸»; клік по групі розгортає її. Щоб змінити дію рядка, видаліть його і додайте тему знову.

Якщо тему з рядка видалили, екран покаже попередження, а рядок — позначку «Тему видалено»: такий рядок не діє, її чати йдуть за рядком родини або за «Усі інші теми». Натисніть «Видалити неактивні рядки» і збережіть.

Якщо чек-лист, що стоїть у налаштуванні, став недоступним, екран покаже попередження, а біля місця, де він стоїть, — значок ⚠. Чати з цим маршрутом не оцінюватимуться, доки ви не оберете інший чек-лист.

Як зробити окреме налаштування для бота

1. Відкрийте Контроль якості → Налаштування автооцінки.
2. Під списком налаштувань натисніть «Окреме налаштування для бота».
3. Оберіть бота (за замовчуванням — бот, у якому відкрито модуль) і натисніть «Створити». Налаштування створиться копією основного.
4. Змініть потрібне — правила, «Чат без теми», маршрути тем, галочки для масової і разової оцінки — і натисніть «Зберегти».

Над вкладками екран показує, за яким налаштуванням працює бот, у якому відкрито модуль: «Для всіх ботів» чи окремим.

• Якщо основне налаштування змінювали після того, як ви налаштували бота, над формою бота з'явиться «Основне змінювали після того, як ви налаштували цей бот (дата)». Щоб бот знову працював за основним, натисніть «Повернути до основного» — окреме налаштування видаляється.
• Якщо бота видалили, його налаштування в списку позначене «Бот видалено» і доступне лише для перегляду. Його можна видалити кнопкою «Видалити налаштування»; якщо бота відновлять, налаштування знову діятиме.

Як позначити роль як Admin або стажера

1. Відкрийте Контроль якості → Налаштування автооцінки → Хто не оцінюється автоматично.
2. У таблиці «Ролі» оберіть для потрібної ролі «Admin — не оцінювати» або «Стажер — не оцінювати». Зміна зберігається одразу.

Автоматична оцінка при закритті чату не створюється, якщо в діалозі брав участь оператор з таким профілем. Стажера позначайте тут — роллю або винятком оператора; слово «стажер» в імені оператора нічого не змінює.

На картці ролі (Налаштування → Ролі) з'явиться рядок лише для читання, наприклад «AI QA: Admin (змінюється в модулі AI QA)» з посиланням на цей екран.

Як задати виняток для конкретного оператора

1. Відкрийте Контроль якості → Налаштування автооцінки → Хто не оцінюється автоматично.
2. У таблиці «Оператори» знайдіть людину пошуком за ім'ям. Галочка «Лише з винятком» показує операторів, яким виняток уже задано.
3. У колонці «Виняток» оберіть «Успадковувати від ролі», «Звичайний», «Admin» або «Стажер». Зміна зберігається одразу.

Колонки «Діє» і «Джерело» показують фактичний профіль оператора і звідки він узятий (роль, виняток або типово). Значок ⚠ означає, що виняток відрізняється від профілю ролі. Деактивовані оператори в списку не показуються, але їхній виняток зберігається і знову діє, коли оператора повернуть у роботу.

Як перевірити, чому автоматичну оцінку пропущено

Якщо автоматична оцінка пропустила чат, у картці діалогу операторської панелі з'являється поле «Причина пропуску AI QA». Його заповнює лише автоматична оцінка при закритті чату.

За потреби оцініть такий чат вручну — див. наступний розділ.

Як вручну оцінити пропущений чат

1. Відкрийте діалог в операторській панелі й оберіть «Відправити на оцінку» (або відкрийте вікно «Оцінити діалог» у модулі «Контроль якості» і знайдіть чат).
2. Перевірте чек-лист: він підставлений за маршрутом теми чату, а для чату без теми — з поля «Чат без теми». Під полем видно підказку «Чек-лист підставлено з налаштувань автооцінки». За потреби оберіть інший.
3. Якщо вікно показує «Ця тема не оцінюється автоматично», це лише нагадування: оберіть чек-лист і запустіть оцінку.
4. Натисніть «Запустити оцінку».
5. Якщо вікно показує «Чат не оцінено: …», чат зупинило правило пропуску: у налаштуванні бота увімкнені правила для разової оцінки. Причина — після двокрапки; оцінку не створено, вікно лишається відкритим. Заздалегідь про це попереджає підказка «Для цього чату діють правила пропуску: якщо правило спрацює, оцінку не буде створено.»

Як увімкнути правила пропуску для масової і разової оцінки

1. Відкрийте потрібне налаштування (для всіх ботів або для бота).
2. У блоці «Масова і разова оцінка» увімкніть потрібні галочки — вони незалежні:
   • «Застосовувати правила пропуску до масової оцінки» — для запусків на багато чатів;
   • «Застосовувати правила пропуску до разової оцінки» — для оцінки одного чату з картки в операторській панелі або з модуля (типово вимкнена).
3. Натисніть «Зберегти».

Після ввімкнення галочки для масової у вікні масової оцінки з'являється перемикач «Застосувати правила пропуску», типово увімкнений; на конкретний запуск його можна зняти. Теми з «Не оцінювати» на масовій оцінці не оцінюються незалежно від галочки: це налаштування тем, а не правило пропуску.

З галочкою для разової вікно разової оцінки попереджає, що правила діють, а якщо правило спрацювало — показує «Чат не оцінено: <причина>» і оцінку не створює. Тема з «Не оцінювати» разову оцінку не зупиняє — вікно лише нагадує про неї. Автоматичну оцінку при закритті чату галочки не змінюють: її правила завжди з перемикачів «Правила пропуску».

Що відбувається після

• Збережене налаштування діє одразу: на підстановку чек-листа у вікнах ручної оцінки, на масову і (з галочкою) на разову оцінку.
• Автооцінка при закритті чату працює лише для ботів, у сценарії яких є блок оцінки AI QA на закритті чату, — його додає ConnectiveOne; про це нагадує рядок над вкладками екрана. Для таких ботів оцінка бере чек-лист і правила з цього екрана; у конструкторі сценаріїв блок оцінки показує «Керується з модуля AI QA».
• Якщо на інстансі ведеться журнал змін налаштувань, кожна зміна налаштування, маршрутів, профілю ролі чи винятку оператора записується в нього.

Як переконатися, що все вдалось

• Після «Зберегти» з'явилося повідомлення «Налаштування збережено».
• Відкрийте вікно оцінки для чату теми з маршрутом — чек-лист підставлено; для теми з «Не оцінювати» — видно «Ця тема не оцінюється автоматично».
• Над вкладками видно, за яким налаштуванням працює бот.

Чому не вдається видалити або вимкнути чек-лист?

Чек-лист використовується в налаштуванні автооцінки — у маршруті теми, в «Усі інші теми» чи в «Чат без теми». Повідомлення при видаленні перелічує, де саме, наприклад «Для всіх ботів: маршрути тем (3)». Спершу замініть чек-лист у налаштуванні.

Пов'язані матеріали

• Як створити нову оцінку діалогу
• Як налаштувати чеклист для AI QA
• Налаштувати ролі