24.02.2024, 19:00:00
Кейс Skillbox: ИИ бот забрал 25% обращений и позволил нам уделять больше внимания сложным запросам


Это кейс нашего клиента. Оригинал статьи на VC
Сегодня хочу рассказать, как мы ввели чат-бота на основе ChatGPT, который отвечает студентам по нашей базе знаний и забирает 25% обращений на себя. Описала весь путь: как продумали логику его работы и встроили в обработку обращений без страданий для пользователя, какие выбрали показатели и цели, как их отслеживаем, про ошибки, радости и счастливый финал 🙂
Меня зовут Снежана Майская, я руковожу Службой заботы в Skillbox. Это третья статьи в серии, здесь я писала про то, как росла и менялась поддержка, а тут — про то, как мы ведем базу знаний.
После прочтения статьи вы поймете, нужен ли вам ИИ-бот и готовы ли вы к его внедрению. Для смелых в конце будет чек-лист, чтобы вы могли использовать материал как инструкцию с учетом наших ошибок и успехов. Надеюсь, будет полезно!
Выбрали бот
Или бот выбрал нас. Команда Wikibot предложила проиндексировать наш существующий FAQ для пользователей в Notion и посмотреть, как работает ИИ-бот. Он выдавал ответы по теме, хоть пока и далеко от идеала — решили пробовать.
Сейчас бот, используя ChatGPT, работает на основе нашей новой открытой базы знаний для пользователей: zabota.skillbox.ru.
Платим по тарифу за пакет «кредитов». Кредит — это стоимость обращения к боту. Основные вопросы стоят 1 кредит, первая линия* — 0,5 кредита, приветствия и благодарности — 0,2 кредита.
*Первая линия — это вопросы, на которые бот не обращается в базу знаний, а дает один заготовленный и фиксированный ответ или переводит на оператора.
Интегрировали с хелпдеском
От подписания договора до интеграции с Юздеск и запуска бота прошло 2 дня.
Мы решили начать с канала Telegram, так как там поступает меньше всего обращений. Каких-то особых проблем в подключении не было, по крайней мере для нас 🙂
С этого момента мы начали совместную непрерывную работу над совершенствованием нашего бота и продукта в целом, потому что Wikibot — это стартап, у которых мы одни из первых клиентов.
Продумали логику работы бота
Мы не любим, когда нужно долго добираться до агента поддержки, поэтому решили не создавать препятствий и нашим студентам. Сразу задумали, что человека можно будет вызвать с помощью слова «оператор», и прописали это в его ответе.
Сначала бот обрабатывал первое и каждое следующее сообщение, пока студент не позовет оператора.
Минусы:
- не все дочитывали до конца, что нужно назвать волшебное слово и просто продолжали писать и задавать вопросы — так может продолжаться вечно и мы не узнаем, если специально не следим;
- каждый запрос стоит денег, бесконечные диалоги съедят запас «кредитов».
Плюсы:
- студент мог получить правильный ответ бота на каждое сообщение;
- в конце боту говорили «спасибо» и иногда даже не замечали, что с ними говорит ИИ :)
Поэтому оставили обработку только первого сообщения.
Также решили, что все ответы бота будут перепроверять агенты. Тем более все тикеты мы помечаем темой для статистики, а бот этого не умел. Поэтому правила в Юздеске сильно менять не пришлось, просто в цепочку обработки тикета ворвался ИИ, который давал ответ. Получилась такая схема обработки:
Прописали шаблоны бота
Решили, чтобы в первой части сообщения от бота будет его сформированный ответ из базы знаний, а в конце — шаблонная приписка: «Если остались вопросы, напишите оператор».
Подумали, что если написать про бота в начале ответа, то студент не станет читать и сразу попросит оператора, так как пока доверия к ботам не сложилось, и опыт у многих скорее негативный.
Еще важно составить список слов, которыми пользователь захочет позвать агента — диапазон примерно от «позовите человека» до «император».
Позже поняли, что бота нужно еще обучать, а его ответы иногда были прямо сказать ужасные и невпопад, и стоит все таки предупреждать студентов, что с ними общается бот, чтобы в случае обмана или чуши с его стороны, перестраховаться. Придумали такой текст:
Здравствуйте! Я бот Skillbox и учусь вместе с вами 💙 тут ответ Если остались вопросы, напишите «оператор» — переведу вас на человека. Мой ответ составлен на основе базы знаний Skillbox. В ней вы найдете более подробную информацию: — ссылка на одну статью
На практике оказалось, что негатива наличие бота не вызывает. Если ответ не подошел, студент спокойно дожидается агента.
Позже добавили и другие реакции бота на разные случаи:
- Исключение, если в сообщении только приветствие без вопроса, чтобы он не пытался найти ответ и не отвечал «у меня нет ответа на этот вопрос». Сделали к таким случаям отдельный шаблонный ответ, чтобы бот просто здоровался: «Здравствуйте! Чем могу помочь?».
- То же самое проделали со «спасибо» и добавили отдельный ответ: «Рад помочь! Пишите, если будут вопросы».
- Добавили еще одно сообщение, когда студент вызывает оператора: «Хорошо, передал ваше обращение в работу — скоро вернёмся с ответом».
- И сделали специальные автоответы в завис имости от времени дня. Если это нерабочее время, то бот отвечал, что сейчас Служба заботы отдыхает, но он постарается помочь. И дальше сгенерированный ответ бота.
Получились такие шаблоны:
Встретили приколы бота (и проводили)
Поделюсь, с чем мы работали и с чего начинали.
Не нравилось, что поначалу он отвечал, будто не имеет отношения к Skillbox: «в данной документации не указано» или «документация предоставляет несколько вариантов». Однажды так и сказал: «Я не являюсь представителем Skillbox и не имею доступа к их политике обучения. Рекомендую вам обратиться в их службу поддержки». Что в этот момент думал про нас студент, остается только догадываться 🙂
Или отфутболивал в поддержку, хотя студент уже в одном из наших каналов: «напишите в Службу заботы Skillbox на hello@skillbox.ru, через виджет чата на платформе или же в Telegram — @Skillbox_support_bot». Так получалось, потому что в статьях нашей базы знаний мы писали, куда обращаться, если не нашли ответ.
Еще в ходе донастройки регулировали волю ИИ, потому что иногда он выдумывал ответы, отправлял искать на платформе то, чего нет, или давал личные рекомендации, какой курс выбрать:
Ввели показатели для отслеживания успеха бота
Мы читали статьи, как другие измеряют успешность бота, и пришли к выводу, что каждый считает по-своему. Поэтому подробнее остановлюсь, как именно выбрали замерять успешность бота, а если что — спрашивайте в комментариях, откуда цифры, объясню.
Первый раз мы проверили ответы бота спустя неделю его работы.
В первой выгрузке я ввела такие столбцы:
- Верно или нет.
- Какая ошибка:
- отправил к нам же;ответ неверно сформулирован;придумал от себя;нужно было передать оператору;ответ не по делу;неполный ответ.
- Недочеты:
- слеши;опечатка;странная формулировка;кавычки.
- Как надо? Как лучше? — здесь пишем словами, что должен был ответить бот.
Первые результаты были такие:
- От общего числа тикетов, прошедших через бота, верных ответов или переводов на оператора — 28%, можно лучше — 20%, неверно — 52%.
- Среди запросов, где бот совершал поп ытку ответить, верно — 23%, можно лучше — 22%, неверно — 55%.
- Из общего числа ошибок нужно было передать оператору в 43% случаев. Отправил писать к нам же в поддержку — 24%.
Сначала получились такие два показателя, которые мы стали отслеживать:
- Количество верных срабатываний — правильный ответ на вопрос или верное решение передать в этом случае оператору. Так как очевидно, что не на все вопросы может и должен отвечать бот, что-то надо сразу отдавать человеку.
- Количество верных ответов — считаем от общего числа тикетов, которые прошли через бота.
*Количество верных ответов среди всех попыток ответить по базе знаний не стали сразу считать, но потом вспомнили про этот показатель и ввели его задним числом.
Окей, столько он правильно переводит, столько дает правильных ответов. А польза есть?
Мы поняли, что не хватает ключевого — какой процент обращений обрабатывается полностью без агента. Исходя из которого мы как раз и сможем посчитать экономическую полезность бота для бизнеса. Поэтому в следующих проверках добавили еще два столбца в выгрузке — вернулся ли пользователь и вер нулся ли саппорт.
Мы начали это измерять, но пока себе еще врали — так как агенты продолжали проверять тикеты после бота и возвращаться, если что, и проставлять тему обращения. А значит мы еще тратим человеческие ресурсы.
Выделили ИИ-менеджера
На этом этапе, через месяц после старта, я призвала на помощь человека из моей команды проверять выборочно выгрузки с ответами бота и помечать, верный ли он дал ответ и как можно было лучше. А также править формулировки в статьях базы знаний, чтобы помогать боту лучше понимать контекст и верно отвечать.
Классно, если бы такой человек шел в комплекте с «кредитами», но никто лучше нас не знает, правильно ли бот дал ответ, даже если есть база знаний. Делегировать этот вопрос — ухудшить совершенствование бота.
Поставили цели для бота
Откуда взяли целевые значения: — ориентировались на текущие значения и прикидывали, на сколько еще это может вырасти в реалистичном и оптимистичном сценарии; — заложили свои надежды и желания, потому что ниже нам неинтересно и не надо.
Цели получились такие:
- Верных срабатываний из всех тикетов — 95%.
- Верно отвеченных из всех тикетов — 50%.
- Верно отвеченных из попыток ответить — 97%.
- Успешно закрытых полностью ботом из всех тикетов — 30%.
Проблемы: бот не работает?
Спустя полтора месяца работы стало казаться, что становится только хуже. Работа над базой знаний с нашей стороны и донастройка алгоритмов со стороны Wikibot не дает результатов. Энтузиазм падает — то бот придумывает ответы от себя, то перестает отвечать сегодня на то, на что вчера давал хороший ответ.
Команда Wikibot предложила вариант сделать дополнительный шаг в обработке — гугл-таблицу с вопросами и ответами, на которые бот срабатывает пока некорректно. Бот бы обрабатывал в таком порядке: сначала искал близкий по смыслу вопрос в таблице, а если не находил, переходил к поиску по открытой базе знаний с применял свой ИИ.
Идея мне понравилась — мы начнем больше тикетов обрабатывать верно.
Когда мы начали прорабатывать вопрос-ответ в табличке, быстро пришло понимание, что мы скатываемся в тот бот, что у нас раньше был в Юздеске. Так как оказалось, что надо добавлять разные вариации запросов для одного ответа: «ошибка отправки», «ошибка при отправке сообщения» и так далее.
Возник вопрос — зачем нам тогда этот ваш хваленый ИИ, если я сижу и придумываю, какой формулировкой студент может задать вопрос. Напрашивался вывод: бот пока не готов взять на себя часть работы поддержки!
Позже команда Wikibot признала, что файл QA в гугл-таблице спутал им поиск, и вдобавок они превратили свой продукт в сценарного бота.
Но как принято в захватывающих историях, эти сложности были толчком к переломному моменту. На этом этапе мы договорились, что убираем гугл-таблицу, возвращаемся к изначальному сценарию и будем регулярно совместно работать над улучшением бота — мы правим базу знаний, они алгоритмы.
Ввели теги для автоматического подсчета показателей
Кроме ручной выборочной проверки, нужен автоматический подсчет. Мы завязали простановку тегов по определенным фразам бота в зависимости от ситуации — когда он дал ответ, когда ответа не знает или когда сработало наше настроенное исключение. Здесь процен т рассчитывается от общего числа тикетов.
Также правилом проставляем тег, когда студент написал после ответа бота. Так мы понимаем, когда ответу бота не поверили или он не подошел – полностью или частично. Бывают случаи, когда обращаются к оператору с первого сообщения в тикете – срабатывает тег и здесь. И настроили тег на случаи благодарности боту.
В табличке по описанию и в первичной настройке кажется все просто. Но на деле сталкиваешься с разными сценариями и неучтенными условиями, так как помимо бота есть еще 300 настроенных правил в хелпдеске по распределению тикетов и другим процессам. Получается примерно так 🙂:
Как изменился бот спустя 6 месяцев работы
Появился личный кабинет, где можно менять шаблоны ответа бота, просматривать отчеты и тестировать ответы бота.
Wikibot сделали «первую линию поддержки», где можно указать вопросы, на которые нужно дать фиксированный ответ или передать оператору.
К проиндексированным статьям теперь можно задавать ключевые слов а и фразы, чтобы бот лучше распознавал вопросы.
Добавили в исключения на почтовом канале список спамеров и формулировки автоответов студентов типа «я в отпуске», чтобы не тратить кредиты.
Wikibot ввели возможность выставлять тему обращения, соответствующую статье в базе знаний, где боту удалось найти ответ. Ура!
Нам оставалось только переключить правила в Юздеске, чтобы теперь тикеты назначались на агентов только тогда, когда студент попросил оператора. Теперь мы можем замерить реальное количество тикетов, которые решились без агента.
Результаты бота: что сейчас
Момент истины — насколько бот справляется с задачей забрать на себя часть обращений пользователей. Лучше слов скажут только цифры — он взял на себя 25% обращений, которые полностью закрываются без агента:
Ответы бота сегодня выглядят так:
Кроме того, бот нам подарил красивое время первого ответа – меньше двух минут.
Cколько экономит нам бот
При условии, что один эффективный агент на первой линии обрабатывает 75 тикетов в смену, а бот забирает 25% обращений — мы экономим на 5 агентах. Стоимость обслуживания бота не больше, чем оплата труда одного сотрудника, поэтому экономия выражена и в деньгах для бизнеса.
Мы довольны тем, что получилось. В 2024 году большие языковые модели станут умнее и доступнее, а значит наш бот сможет закрывать больше задач.
Готовы ли вы к ИИ-боту в службе поддержки
Нужен ли вам ИИ-бот:
- Если в поддержке работает пара человек, то внедрение бота будет экономически нецелесообразно. Бот даст значимое улучшение показателей и эффект для бизнеса, если в команде от 5 специалистов. Для маленьких компаний имеет смысл запустить бота отвечать по ночам и выходным.
- Если у вас меньше 500 тикетов в месяц, также не торопитесь с ботом.
Бот своими силами или готовое решение:
Да, разработать своего чат-бота сейчас можно за пару часов, однако реальное продакшн-решение потребует инвестиции на содержание штата разработчиков, которые будут готовы на постоянные доработки и непрерывную работу над улучшением алгоритмов. Мы посчитали, сравнили и нам оказалось выгоднее работать с подрядчиками.
К чему нужно быть готовым:
Бот будет плохо отвечать какое-то время. Невозможно сначала сделать идеально бота, а потом его запустить. Это итеративные процесс совершенствования продукта, только реальные вопросы пользователей покажут слабые места. Потребуется вложить силы и время. Наш опыт показывает, что к успеху можно прийти при интенсивной и системной совместной работе заказчика и исполнителя.
Чек-лист: как внедрить ИИ-бот в службу поддержки
- Собрать открытую базу знаний
- Интегрировать бот в хелпдеск
- Продумать схему обработки обращения
- Настроить правила и триггеры в хелпдеске
- Написать шаблонные части ответа бота
- Выделить ИИ-менеджера для совместной работы с командой бота
- Продумать показатели для отслеживания работы бота
- Продумать целевые показатели успеха мероприятия
- Ввести теги для автоматического подсчета показателей
- Продумать вопросы-исключения и L1 бота
- Проиндексировать базу знаний
- Запустить бота
- Непрерывно улучшать базу знаний и алгоритмы
Создать бота или попробовать готовый шаблон
Умные боты Wikibot — это автономные программы на базе искусственного интеллекта, способные решать задачи без участия человека. ИИ бот Wikibot:
- Поддерживает диалог, помнит всю беседу, задает уточняющие вопросы клиентам.
- Собирает с клиентов любые данные и передает менеджерам.
- Вызывать API других систем, например, чтобы узнать статус заказа или получить список товаров по критериям клиента.
Создать бота или попробовать готовый шаблон на https://app.wikibot.pro/bots/new
Похожие статьи

вторник, 22 апреля 2025 г.
AI-агент в тени, человек в кадре. Как компания «Периодика» сделала поддержку более человечной, используя ИИ
«Периодика» помогает сохранять воспоминания, превращая их в фотокниги, которые можно пересматривать и передавать из поколения в поколение. Подробный кейс о запуске AI-агента для работы с клиентами.

четверг, 14 ноября 2024 г.
Настраиваем ИИ бота для доставок и франшиз питания
Клонируем преднастроенный шаблон бота, прописываем правила, обучаем частым вопросам и переключаем в «прод».
