Открытое письмо BI компаниям — проект DashboardAI

Привет, аналитики, руководители и основатели Business intelligence компаний!

Я создаю сервис Wikibot, который обучается по документации и консультирует пользователей в чате, как специалист первой линии поддержки. Наш чат-бот понимает вопрос и отвечает как человек.

Весь мир двигается в сторону использования ИИ-помощников. Людям нравится получать результаты просто давая команды на родном языке.

Предлагаю вам, совместно с моей командой, создать продукт Dashboard.AI, который будет обладать следующим функционалом:

• Поиск отчетов. Менеджер может попросить бота найти нужный отчет. Например: ”Найди отчет о расходах на рекламу за прошлый год”. Бот, на основе списка отчетов, которые находятся в дата-каталоге, конфлюенс или другой вики, присылает ссылку в чат.
• Написание SQL-запросов. Вместо поиска нужного отчета, менеджер пишет в чате боту: "прибыль по Москве по электронике с мая по июль". Бот присылает нужные показатели и ссылку на нужный отчет, c установленными фильтрами. Если подходящего отчета нет, то сам пишет sql запрос.
• Автоматическое создание дашбордов. Менеджер может попросить чат-бота создать дашборд. Бот, задав несколько уточняющих вопросов, выберет оптимальный шаблон и соберет в нем все необходимые SQL-запросы и фильтры.

Реализация

Поиск отчетов. Список отчетов обычно располагаются в базе знаний, документации или каталоге данных. Современные продукты, такие как SiteGPT, ChatBase, WonderChat, Wikibot (далее агент) отлично умеют делать семантический поиск:

Документация индексируется и сохраняется в векторную базу данных.

Когда пользователь вводит запрос, в векторной базе находится 5-10 наиболее близких векторов (семантический поиск). Каждый вектор это название и описание отчета.

Запрос пользователя и топ близких векторов отправляются в LLM - большую языковую модель (LLaMA, Falcon, Google Bard, Anthropic Claude) и она выбирает отчёты которые подходят пользователю.

Написание SQL-запросов Современные LLM уже неплохо пишут SQL (статья с сравнением GPT, Claude, Bard https://www.linkedin.com/pulse/great-sql-bot-bake-off-comparing-big-llm-beasts-code-ian-thomas/) для этого им нужно задать вопрос и в промпте передать описание таблиц. Получив запрос пользователя, агент может взять название таблиц из документации, а все поля таблицы из метаданных СУБД.

Сейчас набирают обороты проекты:

• DB-GPT - позволяет генерировать запросы к базам данных используя локальные LLM
• PandasAI - делает pandas (и другие популярные библиотеки анализа данных) разговорными, позволяя вам задавать вопросы к вашим DataFrame на естественном языке.

Автоматическое создание дашбордов GPT, получив таблицу данных, уже может выбрать из нее наиболее значимые и подходящие для визуализации столбцы. Комплексный пример, как это делать, описан в в статье “Create AI-powered dashboards” https://www.luzmo.com/blog/ai-powered-dashboards-tutorial. Добавив к этому шаблоны дашбордов, различные best practice в виде эвристик и уточняющие запросы от бота, можно получить Junior BI-разработчика.

Взгляд в будущее

В разделе реализации я описал то, что можно сделать уже сейчас.

Пара идей на будущее: Если научить проект “Dashboard_AI” создавать дашборды, то следующем шагом станет возможным переносить дашборды из одной системы в другую. Сейчас требуется громадное количество ресурсов, чтобы перенести аналитическую отчетность компании в альтернативный BI-продукт. Кроме того, станет возможным создавать дашборды сразу для нескольких популярных продуктов (Tableau, Power BI, Superset, Metabase, Redash)

Персональный аналитик который помогает менеджерам быстро получать нужные показатели и искать инсайты может стать супер востребованным продуктом.

Свяжитесь со мной если:

• Вам интересно добавить в свой продукт описанный выше функционал
• Вы хотите создать похожий продукт совместно с нашей командой, на основе популярных BI-продуктов (Tableau, Power BI, Superset, Metabase, Redash).

Весь мир двигается в сторону использования ИИ-помощников. Людям нравится получать результаты просто давая команды на родном языке.