Семь проверок перед тем, как нести руководителю вывод от ИИ
Руководитель спрашивает, почему просела выручка в регионе. ИИ через минуту отвечает связным текстом, с цифрами и объяснением. Ещё через час финансовый директор уточняет, включён ли в цифру НДС и из какой она таблицы, и ответа ни у кого нет.
Мы в GlowByte внедряем BI и пилотируем GenBI-решения на данных клиентов, поэтому постоянно видим такие уверенные ответы без источника.
Ниже семь проверок, которые стоит пройти до того, как цифра от ИИ уйдёт наверх, и отдельно о том, где они не спасают. Большинство пунктов аналитик знает и без нас. Раньше их за него делало совещание, где два человека приносили разные цифры. Теперь цифру озвучивает система, и спорить с ней некому.
Чек-лист целиком стоит в конце статьи, его можно скопировать.
Мы в GlowByte внедряем BI и пилотируем GenBI-решения на данных клиентов, поэтому постоянно видим такие уверенные ответы без источника.
Ниже семь проверок, которые стоит пройти до того, как цифра от ИИ уйдёт наверх, и отдельно о том, где они не спасают. Большинство пунктов аналитик знает и без нас. Раньше их за него делало совещание, где два человека приносили разные цифры. Теперь цифру озвучивает система, и спорить с ней некому.
Чек-лист целиком стоит в конце статьи, его можно скопировать.
Почему ответ ИИ надо проверять отдельно
Если в компании три версии выручки, модель может выбрать не ту. Чаще всего она берёт версию, которую нашла первой, и отвечает уверенно. Отчёт, собранный за минуту, при первом уточняющем вопросе превращается в полдня ручной перепроверки.
Цепочка работы аналитика из-за этого удлиняется. Было «отчёт → вывод», стало «задача → контекст → ИИ → проверка → решение». Проверку нельзя отдавать той же модели, которая готовила ответ.
Цепочка работы аналитика из-за этого удлиняется. Было «отчёт → вывод», стало «задача → контекст → ИИ → проверка → решение». Проверку нельзя отдавать той же модели, которая готовила ответ.
К этому правилу мы пришли на внутреннем хакатоне AI Seasons. ИИ там ускорял черновики, структуру и формулировки, а результат перед клиентом подписывал человек. Каждый участник вёл «паспорт делегирования»: что отдал ИИ, что поправил руками и почему. Проверки ниже устроены как такой паспорт, только для аналитического вывода.
Если система уверенно ошибётся, доверие потеряет вся аналитика, а не один отчёт.
1. Та ли это метрика
Показатель называется одинаково, а считается по-разному. С НДС и без, с возвратами и без, активный клиент за 30 дней или за 90. Аналитик держит эти нюансы в голове. У модели их нет, и она берёт первое найденное определение.
Как проверить. Возьмите формулу и источник показателя из запроса, который выполнила модель (см. проверку 3), и сверьте с карточкой метрики или с её владельцем. Пересказу модели на слово верить нельзя: она может описать формулу не так, как её посчитал запрос. Если карточек нет, начните с пяти показателей, которые чаще всего звучат на совещаниях. Как их описать, мы разбирали в статье о готовности данных к ИИ-агенту.
2. Те ли данные и тот ли период
Ошибка часто возникает на входе, до всякого расчёта. Последний день ещё не загрузился, фильтр по региону потерялся, в выборку попали тестовые заказы или внутренние перемещения.
Как проверить. Сверьте итог с одним известным числом из BI-отчёта за тот же период. Сверка проверяет данные и период, но не определение метрики: если BI-отчёт и модель считают одинаково неверно, итог сойдётся. Контрольная сумма не сошлась — интерпретацию можно не читать.
3. Можно ли повторить расчёт
Хорошо написанный текст легко принять за доказательство. Доказательство здесь одно — путь расчёта, который можно пройти руками и получить те же цифры.
Как проверить. Откройте запрос, который выполнила модель, и прогоните его сами. В FineBI и в платформе дата-агентов Dora SQL-запрос агента можно открыть и скачать. Если запроса не видно, вывод остаётся гипотезой, как бы уверенно он ни звучал.
4. Факт или гипотеза
В одном абзаце ответа рядом стоят посчитанное («продажи в регионе снизились») и предположенное («вероятно, из-за акции конкурента»). Звучат они одинаково уверенно, а весят по-разному.
Как проверить. Пометьте каждое утверждение: посчитано, взято из источника или предположено. Гипотезы уходят руководителю с пометкой и планом проверки.
5. Связь или причина
ИИ охотно находит связи вроде «выросли расходы на рекламу, выросли продажи». Рядом при этом может оказаться сезонность, изменение цен или эффект маленькой базы, когда рост с 10 до 20 заказов выглядит как удвоение.
Как проверить. Составьте список того, что ещё могло дать тот же эффект: модель подскажет варианты, но выбирает и проверяет аналитик. Проверьте на данных хотя бы одно альтернативное объяснение. Подойдёт тот же период прошлого года, контрольный регион или сегмент, где ничего не меняли.
6. Можно ли это показывать
Пока дашборд открывает человек, права на регион или юрлицо применяет сам BI-инструмент. Когда сводку собирает ИИ, агент может работать под общей учётной записью и видеть больше, чем получатель сводки.
Смотрим две вещи: не попали ли в ответ данные, которые адресату видеть нельзя, и не ушли ли во внешнюю модель данные, которые по правилам компании нельзя передавать третьим лицам.
Как проверить. Перед отправкой сверьте список получателей с их правами и посмотрите в настройках инструмента, какая модель обработала запрос и где она размещена. Если в компании нет короткой политики о том, что можно отдавать в облачную модель, что только в локальную, а что никуда, её стоит написать до следующей рассылки.
7. Готов ли вывод к решению
Кто подписывается под выводом и сколько стоит ошибка? Для еженедельной сводки хватит пометки об ограничениях. Для решения о закупке или закрытии направления нужен эксперт, который пройдёт логику целиком.
Как проверить. Допишите к выводу три строки. На каких данных он построен, какие у него ограничения, что нужно, чтобы считать его надёжным. Если третья строка не пишется, нести вывод наверх рано.
Если система уверенно ошибётся, доверие потеряет вся аналитика, а не один отчёт.
1. Та ли это метрика
Показатель называется одинаково, а считается по-разному. С НДС и без, с возвратами и без, активный клиент за 30 дней или за 90. Аналитик держит эти нюансы в голове. У модели их нет, и она берёт первое найденное определение.
Как проверить. Возьмите формулу и источник показателя из запроса, который выполнила модель (см. проверку 3), и сверьте с карточкой метрики или с её владельцем. Пересказу модели на слово верить нельзя: она может описать формулу не так, как её посчитал запрос. Если карточек нет, начните с пяти показателей, которые чаще всего звучат на совещаниях. Как их описать, мы разбирали в статье о готовности данных к ИИ-агенту.
2. Те ли данные и тот ли период
Ошибка часто возникает на входе, до всякого расчёта. Последний день ещё не загрузился, фильтр по региону потерялся, в выборку попали тестовые заказы или внутренние перемещения.
Как проверить. Сверьте итог с одним известным числом из BI-отчёта за тот же период. Сверка проверяет данные и период, но не определение метрики: если BI-отчёт и модель считают одинаково неверно, итог сойдётся. Контрольная сумма не сошлась — интерпретацию можно не читать.
3. Можно ли повторить расчёт
Хорошо написанный текст легко принять за доказательство. Доказательство здесь одно — путь расчёта, который можно пройти руками и получить те же цифры.
Как проверить. Откройте запрос, который выполнила модель, и прогоните его сами. В FineBI и в платформе дата-агентов Dora SQL-запрос агента можно открыть и скачать. Если запроса не видно, вывод остаётся гипотезой, как бы уверенно он ни звучал.
4. Факт или гипотеза
В одном абзаце ответа рядом стоят посчитанное («продажи в регионе снизились») и предположенное («вероятно, из-за акции конкурента»). Звучат они одинаково уверенно, а весят по-разному.
Как проверить. Пометьте каждое утверждение: посчитано, взято из источника или предположено. Гипотезы уходят руководителю с пометкой и планом проверки.
5. Связь или причина
ИИ охотно находит связи вроде «выросли расходы на рекламу, выросли продажи». Рядом при этом может оказаться сезонность, изменение цен или эффект маленькой базы, когда рост с 10 до 20 заказов выглядит как удвоение.
Как проверить. Составьте список того, что ещё могло дать тот же эффект: модель подскажет варианты, но выбирает и проверяет аналитик. Проверьте на данных хотя бы одно альтернативное объяснение. Подойдёт тот же период прошлого года, контрольный регион или сегмент, где ничего не меняли.
6. Можно ли это показывать
Пока дашборд открывает человек, права на регион или юрлицо применяет сам BI-инструмент. Когда сводку собирает ИИ, агент может работать под общей учётной записью и видеть больше, чем получатель сводки.
Смотрим две вещи: не попали ли в ответ данные, которые адресату видеть нельзя, и не ушли ли во внешнюю модель данные, которые по правилам компании нельзя передавать третьим лицам.
Как проверить. Перед отправкой сверьте список получателей с их правами и посмотрите в настройках инструмента, какая модель обработала запрос и где она размещена. Если в компании нет короткой политики о том, что можно отдавать в облачную модель, что только в локальную, а что никуда, её стоит написать до следующей рассылки.
7. Готов ли вывод к решению
Кто подписывается под выводом и сколько стоит ошибка? Для еженедельной сводки хватит пометки об ограничениях. Для решения о закупке или закрытии направления нужен эксперт, который пройдёт логику целиком.
Как проверить. Допишите к выводу три строки. На каких данных он построен, какие у него ограничения, что нужно, чтобы считать его надёжным. Если третья строка не пишется, нести вывод наверх рано.
Где чек-лист не спасает
Проверки опираются на то, что в компании уже есть. Без карточек метрик проверке 1 не с чем сверяться, и спор о том, какая выручка правильная, просто переезжает из ответа ИИ в обсуждение этого ответа. Без доступа к запросу не работает проверка 3: если инструмент показывает только текст, расчёт честно не повторить. Проверке 5 нужна история или контрольная группа: без данных за прошлый год и сопоставимого региона альтернативную причину проверить нечем, и она остаётся гипотезой.
Чек-лист для копирования
Отдельный инструмент не нужен: достаточно закрепить чек-лист в командном процессе, как ревью кода.
- Какую формулу и какой источник взяла модель, совпадают ли они с принятыми в компании?
- Сходится ли итог с контрольным числом из BI-отчёта за тот же период?
- Можно ли открыть запрос и получить те же цифры вручную?
- Где в ответе посчитанное, где взятое из источника, а где предположение?
- Какие ещё причины могли дать тот же эффект и проверена ли хотя бы одна?
- Нет ли в ответе данных, которые адресату видеть нельзя, и не ушли ли данные туда, куда нельзя?
- Кто подписывается под выводом, сколько стоит ошибка и записаны ли ограничения?
Попробуйте на своём последнем выводе
Возьмите последний ответ ИИ, который ушёл или должен уйти руководителю, и пройдите по первым трём проверкам. Это займёт около получаса. Напишите в комментариях, на какой из них ответ споткнулся. Нам интересно, что ломается чаще: определение метрики или входные данные.
А если в вашей компании уже есть правила о том, какие данные можно отдавать в облачную модель, расскажите, как их согласовывали.
Разобрать проверки на своих задачах можно на онлайн-марафоне, который GlowByte проводит вместе с «ДатаЙогой» 9−13 ноября. Пять дней, от самодиагностики ИИ-зрелости до перехода от пилота к рабочей практике, третий день целиком про человека в контуре. Каждый день часовой эфир или запись, материалы и практика на своих задачах. Участие бесплатное, программа выйдет 23 октября. Предзапись по ссылке.
Если вы выбираете, какое GenBI-решение подключить к своим данным, мы пилотируем платформы и LLM-модели на реальных данных клиента и измеряем точность ответов (почитать на нашем сайте). Как устроить такой пилот, рассказывали в отдельной статье.
А если в вашей компании уже есть правила о том, какие данные можно отдавать в облачную модель, расскажите, как их согласовывали.
Разобрать проверки на своих задачах можно на онлайн-марафоне, который GlowByte проводит вместе с «ДатаЙогой» 9−13 ноября. Пять дней, от самодиагностики ИИ-зрелости до перехода от пилота к рабочей практике, третий день целиком про человека в контуре. Каждый день часовой эфир или запись, материалы и практика на своих задачах. Участие бесплатное, программа выйдет 23 октября. Предзапись по ссылке.
Если вы выбираете, какое GenBI-решение подключить к своим данным, мы пилотируем платформы и LLM-модели на реальных данных клиента и измеряем точность ответов (почитать на нашем сайте). Как устроить такой пилот, рассказывали в отдельной статье.