Дообучение бота

Введение

Если загрузить в бота неподготовленную базу знаний, бот будет отвечать, но иногда он не сможет найти ответ или ответ будет неточным. Эта статья — ключевой документ для понимания работы Wikibot и тонкой настройки бота. Овладев материалом, вы сможете добиться правильной работы бота практически в любых случаях.

Ядро Wikibot - большая языковая модель (далее LLM - Large Language Model). LLM обучается на текстах и большая часть успеха работы Wikibot зависит от качества подготовленных материалов.

LLM понимает текст, но важно помнить, что LLM знает о вашем бизнесе только из документации и что LLM не является специалистом в вашей предметной области.

Общая логика при составлении документации

Пишите статьи простым языком. Разделяйте статьи заголовками похожими на вопросы, например: “Как запустить аппарат”. Если в статье есть заголовок “Как запустить аппарат”, то после него желательно писать: “Чтобы запустить аппарат:…”. Часто содержание статьи не соответствует заголовкам, это снижает качество ответов бота. Используйте разные формулировки при описании одного и того же понятия, например: “Войти в аккаунт”, и “Войти в личный кабинет”, и “Авторизоваться”.

Общая логика обучения бота

Настройте инструкцию агента — инструкция на русском языке о том, что должен делать бот. Пишите её так, как если бы объясняли новичку. Важно понимать что умеет и не умеет агент, подробнее читайте в документации по агентам. Инструкция агента и качество документации играют решающую роль в качестве ответов бота. Если на определенный тип вопросов нужен ответ строго по регламенту без изменений формулировок, то используйте модуль “Первая линия”. Настройте Глоссарий — в каждой сфере есть множество общепринятых аббревиатур, сокращений, сленговых и жаргонных слов. Чтобы бот лучше понимал ваши термины, добавьте их в глоссарий.

Бот всегда отвечает:

• Либо на основании инструкции агента;
• Либо ответом из первой линии;
• Либо на основании документов из базы знаний;
• Либо на основании истории беседы с клиентом;
• Либо на основании общих знаний LLM (только если разрешить в инструкции агента).

Увидев, на основании какой информации ответил бот, выберете вашу ситуацию и следуйте инструкции.

Кейс 1. Бот придумал информацию в ответе

Основная мысль — любая серая зона может рождать галлюцинации, эта проблема всех современных LLM. Если ответ есть в документации, то бот найдет. Если ответа нет документации, то бот может додумать.

Ключевые данные компании, например, реквизиты и контакты, стоит добавить в инструкцию агента.

Кейс 2. Нужная первая линия не сработала

Для поиска в первой линии бот формирует упрощенный вопрос, который учитывает контекст всей беседы. В Журнале можно нажать на кнопку Анализ ответа - откроется панель с детальным анализом. На этой панели показываются объяснение ответа бота, пошаговое описание обработки сообщения, а также весь предыдущий диалог.

Шаг Search for L1 содержит упрощенный вопрос, с помощью которого бот искал первую линию.

Добавьте в нужную первую линию данный упрощенный вопрос пользователя.

Если Упрощенный вопрос пользователя сильно отличается от вопросов нужной первой линии, то добавьте в первую линию новый вопрос-ответ.

Если Упрощенный вопрос пользователя содержит числа, даты, имена, то первая линия может не срабатывать т.к. в вопросе пользователя есть дополнительная значимая информация. Что делать с конкретными данными от пользователя нужно прописывать в инструкции агента.

Если срабатывает не та первая линия, усильте нужную первую линии дополнительными вопросами.

Кейс 3. Бот не нашел нужную статью, в которой есть ответ

Если бот не нашел статью, то необходимо добавить к ней больше содержания по сути вопросы. Например, вопрос: “Как скачать фотошоп”. В документации могут быть статьи: Как оплатить или продлить подписку на Adobe Photoshop, Компания Adobe запретила оплату и продление подписки на свои продукты гражданам РФ

Однако обе статьи могут лишь косвенно задевать вопрос пользователя “Как скачать фотошоп”. Если это частный вопрос, то в одной из статей нужно сделать раздел с заголовком “Как скачать фотошоп” и в этом разделе написать конкретные шаги. Также нужно в Глоссарий добавить термин “фотошоп”.

Если статью в вашей документации нельзя поправить, например, по юридическим причинам, то в Обучение => База знаний найдите нужную статью и добавьте “Дополнительный контент”. Такой контент для бота равносилен обычному тексту статьи.

Ещё раз суммаризируем: чтобы бот находил вашу статью, в ней должен быть явно прописан вопрос пользователя и ответ не него.

Кейс 4. Бот нашел нужную статью, но ответил не по той статье

Часто у вас в документации есть похожие статьи на разные случаи. Т.е. бот находит все нужные статьи, но для ответа выбирает не ту статью. Золотое правило — любая серая зона рождает галлюцинации. Бот начинающий сотрудник, когда он понимает контекст, работает хорошо, когда не понимает пытаться угадывать. Наша задача дать боту нужный контекст и/или в инструкции агента писать в каких случаях нужно уточнять контекст.

Поясним на примере, вопрос: “Как сменить онлайн курс”. Предположим в разных разделах документации могут быть статьи с одинаковым “Как сменить онлайн курс” одна статья описывает процесс для физических лиц другая юридических.

Что нужно сделать: В дополнительный контент к каждой статье добавить пояснение для бота: “Данная статья описывает как сменить курс только для Юридического лица”. Переименовать статью из “Как сменить онлайн курс” в “Как сменить онлайн курс для Юридического лица””. Это даст боту больше контекста и он сам сможет уточнять, клиент Физическое лицо или Юридическое лицо.

Однако лучше пойти дальше и написать в инструкции: Если вопрос про смену онлайн курса то уточни, клиент Физическое лицо или Юридическое лицо.

Получив больше информации, агент ответит правильно.

Кейс 5. Бот ответил верно, но ответ не соответствует ожиданиям

Если вам нужен фиксированный ответ по данному вопросу, добавьте его в первую линию.

Кейс 6. Бот не следует инструкции агента

Напишите нам в техподдержку.

Формат запроса:

• Идентификатор бота и номер диалога из журнала (нам нужен вопрос клиента и ответ бота).
• Пояснение, что неправильно ответил бот.
• Строка из инструкции, которая отвечает за поведение бота в данном вопросе.