Жизнь после запуска ИИ-агента

Когда компании начинают работать с ИИ-агентами, кажется, что самая сложная часть — запуск.

Нужно написать инструкцию, загрузить базу знаний, настроить интеграции и добиться первых хороших ответов. Но на практике запуск — это только начало.

После выхода в продакшен агент сталкивается с реальными клиентами, новыми вопросами и нестандартными сценариями. Именно в этот момент становится понятно, что даже хороший агент требует постоянной доработки.

Чтобы сделать улучшение агентов быстрее и проще, несколько месяцев назад мы запустили Ассистента в Викибот. Нам казалось, что его основная задача — помогать пользователям создавать инструкции для агентов.

Но после разговоров с клиентами выяснилось, что используют его чаще всего совсем для другого: для постоянного улучшения агента уже после запуска.

После запуска агента всё равно приходится дообучать

Один из наших клиентов использует Викибот для поддержки пользователей систем видеонаблюдения. Сегодня его агент обрабатывает несколько сотен обращений в месяц и закрывает больше половины вопросов без участия операторов.

Но к этому результату команда пришла не сразу.

После запуска постоянно находились ситуации, которые требовали доработки. Где-то нужно было уточнить правило. Где-то добавить исключение. Где-то скорректировать ответ для конкретного сценария.

Раньше такие изменения приходилось делать вручную.

• Найти нужный фрагмент инструкции.
• Переписать формулировку.
• Проверить результат.

Если не помогло — повторить всё заново. Во время интервью клиент описал это так:

«Раньше я мог по десять раз переделывать какой-то пункт. Сейчас просто объясняю Ассистенту, что нужно изменить».

Теперь процесс выглядит иначе.

Пользователь описывает проблему обычным языком, получает предложение по изменению инструкции и сразу проверяет результат. Если ответ всё ещё не устраивает — продолжает диалог. По словам клиента, чаще всего нужного поведения удаётся добиться за две-три итерации.

Чем быстрее находишь ошибку, тем быстрее растёт качество

Когда агент отвечает неправильно, важно не только исправить ответ — важно понять, почему он так ответил:

• Какое правило сработало?
• Почему произошёл перевод на оператора?
• Какая инструкция повлияла на результат?

Один из клиентов сформулировал проблему очень просто:

«Иногда я просто не могу понять, какое правило его сбивает».

Именно здесь Ассистент оказался особенно полезен. Он сокращает цикл улучшения агента:

нашли проблему → написали Ассистенту → изменили инструкцию → проверили результат.

Похожую обратную связь мы услышали и от других пользователей.

Один из клиентов рассказал, что после начала активной работы с Ассистентом ему стало проще находить ошибки и конфликты в инструкциях. По его оценке, количество обращений, которые бот закрывает самостоятельно, выросло почти в 1,5 раза.

Неочевидные выводы из интервью

Во время разговоров с клиентами нас удивили ещё две вещи.

Во-первых, многие пользователи всё реже редактируют инструкции вручную. На вопрос, как часто он открывает инструкцию для самостоятельного редактирования, один из клиентов ответил:

«Очень редко».

Для него Ассистент постепенно стал основным способом настройки агента. Вместо поиска нужного правила среди тысяч символов текста проще описать задачу в диалоге и получить готовое предложение по изменению.

Во-вторых, пользователи гораздо спокойнее относятся к размеру инструкции, чем мы ожидали. Один из клиентов рассказал, что после работы с Ассистентом его инструкция выросла примерно с 4 до 7 тысяч символов.

Мы предполагали, что это станет проблемой. Но обратная связь оказалась противоположной.

«Лучше подробное правило, которое работает стабильно, чем короткая формулировка, из-за которой агент ошибается.»

Что мы поняли после разговоров с клиентами

Когда мы запускали Ассистента, нам казалось, что он будет помогать создавать ИИ-агентов. После общения с пользователями стало понятно, что его главная ценность раскрывается уже после запуска.

Когда агент начинает работать с реальными обращениями, его нужно постоянно улучшать: находить ошибки, уточнять правила, проверять новые сценарии и анализировать результаты.

Именно здесь Ассистент оказался наиболее полезен. Он помогает сократить путь от найденной проблемы до её исправления. А значит — значительно ускоряет улучшение качества ответов.