Открытое письмо BI компаниям — проект DashboardAI
Привет, аналитики, руководители и основатели Business intelligence компаний!
Я создаю сервис Wikibot, который обучается по документации и консультирует пользователей в чате, как специалист первой линии поддержки. Наш чат-бот понимает вопрос и отвечает как человек.
Весь мир двигается в сторону использования ИИ-помощников. Людям нравится получать результаты просто давая команды на родном языке.
Предлагаю вам, совместно с моей командой, создать продукт Dashboard.AI, который будет обладать следующим функционалом:
- **Поиск отчетов.** Менеджер может попросить бота найти нужный отчет. Например: ”Найди отчет о расходах на рекламу за прошлый год”. Бот, на основе списка отчетов, которые находятся в дата-каталоге, конфлюенс или другой вики, присылает ссылку в чат.
- **Написание SQL-запросов.** Вместо поиска нужного отчета, менеджер пишет в чате боту: "прибыль по Москве по электронике с мая по июль". Бот присылает нужные показатели и ссылку на нужный отчет, c установленными фильтрами. Если подходящего отчета нет, то сам пишет sql запрос.
- **Автоматическое создание дашбордов**. Менеджер может попросить чат-бота создать дашборд. Бот, задав несколько уточняющих вопросов, выберет оптимальный шаблон и соберет в нем все необходимые SQL-запросы и фильтры.
## Реализация
**Поиск отчетов.** Список отчетов обычно располагаются в базе знаний, документации или каталоге данных. Современные продукты, такие как SiteGPT, ChatBase, WonderChat, Wikibot (далее агент) отлично умеют делать семантический поиск:
Документация индексируется и сохраняется в векторную базу данных.
Когда пользователь вводит запрос, в векторной базе находится 5-10 наиболее близких векторов (семантический поиск). Каждый вектор это название и описание отчета.
Запрос пользователя и топ близких векторов отправляются в LLM - большую языковую модель (LLaMA, Falcon, Google Bard, Anthropic Claude) и она выбирает отчёты которые подходят пользователю.
**Написание SQL-запросов**
Современные LLM уже неплохо пишут SQL (статья с сравнением GPT, Claude, Bard https://www.linkedin.com/pulse/great-sql-bot-bake-off-comparing-big-llm-beasts-code-ian-thomas/) для этого им нужно задать вопрос и в промпте передать описание таблиц. Получив запрос пользователя, агент может взять название таблиц из документации, а все поля таблицы из метаданных СУБД.
Сейчас набирают обороты проекты:
- DB-GPT - позволяет генерировать запросы к базам данных используя локальные LLM
- PandasAI - делает pandas (и другие популярные библиотеки анализа данных) разговорными, позволяя вам задавать вопросы к вашим DataFrame на естественном языке.
**Автоматическое создание дашбордов**
GPT, получив таблицу данных, уже может выбрать из нее наиболее значимые и подходящие для визуализации столбцы. Комплексный пример, как это делать, описан в в статье “Create AI-powered dashboards” https://www.luzmo.com/blog/ai-powered-dashboards-tutorial. Добавив к этому шаблоны дашбордов, различные best practice в виде эвристик и уточняющие запросы от бота, можно получить Junior BI-разработчика.
## Взгляд в будущее
В разделе реализации я описал то, что можно сделать уже сейчас.
Пара идей на будущее:
Если научить проект “Dashboard_AI” создавать дашборды, то следующем шагом станет возможным переносить дашборды из одной системы в другую. Сейчас требуется громадное количество ресурсов, чтобы перенести аналитическую отчетность компании в альтернативный BI-продукт. Кроме того, станет возможным создавать дашборды сразу для нескольких популярных продуктов (Tableau, Power BI, Superset, Metabase, Redash)
Персональный аналитик который помогает менеджерам быстро получать нужные показатели и искать инсайты может стать супер востребованным продуктом.
Свяжитесь со мной если:
- Вам интересно добавить в свой продукт описанный выше функционал
- Вы хотите создать похожий продукт совместно с нашей командой, на основе популярных BI-продуктов (Tableau, Power BI, Superset, Metabase, Redash).
Весь мир двигается в сторону использования ИИ-помощников. Людям нравится получать результаты просто давая команды на родном языке.
