ИИ бот для технической поддержки в компании Adesk

О компании Adesk

Adesk — это сервис финансовой аналитики и управленческого учёта для бизнеса и предпринимателей.

Более 1500 компаний по всей России, странам СНГ и Восточной Европы взяли учёт финансов под контроль и начали зарабатывать больше с Adesk. Сервис интегрируется с банками, CRM-системами и 1С, автоматически загружает финансовые данные и строит необходимые отчёты.

Adesk помогает:

• Избавиться от рутины учёта финансов в таблицах и освободить время.
• Понимать чистую прибыль бизнеса в реальном времени.
• Заранее узнавать о недостатке денег, чтобы не попадать в кассовые разрывы.
• Составлять бюджеты и отслеживать их выполнение.
• Видеть реальную рентабельность каждого направления и проекта компании.

Задачи технической поддержки

В службе поддержки работает 3 человека, график с 8 до 17 по Мск. В техподдержке нет разделения на первую и вторую линию. Сложные вопросы переадресуются либо разработчикам, либо более опытным по финучету сотрудникам. В среднем техподдержка получает 700-800 обращений в месяц. Для организации службы поддержки используется Carrot quest, в этом же сервисе находится база знаний.

Чтобы стать ещё удобнее для пользователей компания Adesk хотела обеспечить быстрые ответы на вопросы в службу поддержки, а также отвечать на типовые вопросы в нерабочее время. Было принято решение создать бота, который обучается на документации компании и помогает пользователям, отвечая на русском языке.

Решение

Был выбран Wikibot — сервис для поддержки клиентов при помощи искусственного интеллекта. Чат-бот обучается по документации, подключается в хелпдеск, работает 24/7.

Wikibot как ChatGPT, работает по процессам компании: не только отвечает пользователям, но и задаёт уточняющие вопросы, открывает и закрывает тикеты, узнаёт информацию из других систем по API.

Мнение команды Adesk о Wikibot

Плюсы

Хорошая поддержка и коммуникации со стороны команды Wikibot. Практически все запросы, которые у нас появлялись мы оперативно и решали в телеграм чате. Так например, проблемы с тем, когда бот не отвечал на вопрос, на который точно был ответ в базе — разбирался в течение дня и быстро возвращал боту корректное поведение. Даже с маломальски собранной базой знаний % корректных и релевантных ответов составляет 30%, и по мере доработки базы знаний видно, как бот отвечает точнее и корректнее.

Минусы

Интерфейс личного кабинета и функциональность, пока отнесем минусам, но с поправкой на то, что Wikibot недавно стартовали, и динамику того, что происходит в личном кабинете мы рады видеть. Отдельно радует, то что «мы приняли ваше пожелание во внимание» — это не отписка. Так например, мы приятно удивились когда, попросили возможность создавать вопросы и ответы через жесткие формулировки без подключения AI. И Wikibot добавили это в одном из своих обновлений.

Мы используем в Wikibot в связке с базой знаний на Carrot Quest для того, чтобы разгрузить с технической поддержки часть «простых вопросов». Со сложными, где требуется знать много контекста, бот пока не справляется, хотя тут скорее вопрос к базе знаний.

Настройка бота дисциплинирует нашу команду тех поддержки. Надо регулярно обращать внимание на то, что пишет бот, на сколько он релевантно распознает вопросы пользователей, и по ощущениям, что команда поддержки стала более вовлечена в актуализацию HelpDesk, и самостоятельно пишет доработки для базы обучения бота. К тому же подобная работа в попытке «дообучить» бота — помогает лучше слышать запросы пользователей и держать больше фокуса внимания на том, как строятся коммуникации с клиентом.

Итоги: бот экономит время специалистов саппорта, а совместная работа позволяет подсветить те места, которые раньше ускользали от нашего взгляда.

Интервью с командой Adesk через 6 месяцев после старта бота

1. Какое отношение пользователей к боту?

Негатива явного не было. Чат-бот иногда сам успешно закрывает вопросы, иногда клиенты просят переключить на оператора. В целом, бот не вызывает недовольства и часто успешно помогает. Были пара пользователей, которые интересовались конкретно ботом (какая версия гпт, например).

2. Какое отношение к боту службы у поддержки?

Успех бота зависит от его обучения, т.е. насколько заполнена база данных (откуда он берет информацию), сколько у него подходящих знаний для ответа есть в базе. Бот – это инструмент, его настройка зависит от нас. Конечно, бывает, когда бот придумывает информацию или выдает очевидно неподходящий ответ, но это чаще всего потому, что: 1) пользователь некорректно задал вопрос; 2) в базе нет нужной информации; 3) вопрос специфичный и глубокий, который не покрывается базой знаний.

3. Как изменились метрики?

В целом бот не добавил новых обращений, так или иначе работа операторов осталась. Бот, сокращает время первого ответа, поскольку отвечает и приветствует пользователя мгновенно, и научился закрывать самостоятельно простые вопросы. В примерных цифрах: раньше бот только 18-20% корректно закрывал, то теперь на 40-45% обращений может давать корректный ответ. Но зачастую пользователи приходят с более конкретными кейсами, которые пока бот не может решать (в силу нашей специфики). Бот в нашем случае позволяет закрыть простые вопросы, и завязать разговор, до того момента, как к разговору подключится оператор.

4. Что больше всего НЕ нравится в боте?

Проблемы с пониманием контекста ранних сообщений пользователя, не всегда отвечает согласно контексту. Фразы-шаблоны (когда бот не знает ответа и признается в этом), от которых мы пока не поняли, как избавиться.

5. Учитывая что грядет GPT5+ и боты станут намного умнее, как вы видите идеального бота-саппорта через 3 года?

Наш бот все еще на гпт 3.5, насколько мне известно. Гпт 4 и гпт 4 турба уже гораздо умнее гпт3.5, это заметно и очевидно. Четверка замечает больше деталей, отвечает гораздо логичней и корректней. Предположу, что при наличии достаточной базы знаний, бот уже на четверке смог бы решать более сложные вопросы. На гпт5 у меня только лучшие ожидания, потому что разница даже между гпт 3.5 и 4 огромная. Гпт 4 vision умеет распознавать изображения, и если этот модуль прикрутить в чаты, то бот также сможет решать некоторые проблемы по скриншотам пользователей. Не отрицаю, что в будущем боты смогут заменить большую часть функций техподдержки, оставив на поддержку более технические вопросы, которые нельзя решить только с базой знаний.