Мы используем файлы «Cookies» и метрические системы (Яндекс.Метрика) для сбора и анализа информации о производительности и использовании сайта, для улучшения и индивидуальной настройке предоставления информации.
Нажимая кнопку «Принять», вы даете согласие на размещение файлов «Cookies» и обработку данных метрических систем. Если вы не хотите, чтобы мы собирали ваши данные с помощью файлы «Cookies», вы можете отключить их сбор в настройках своего браузера. Больше о файлах «Cookies»
Нажимая кнопку «Принять», вы даете согласие на размещение файлов «Cookies» и обработку данных метрических систем. Если вы не хотите, чтобы мы собирали ваши данные с помощью файлы «Cookies», вы можете отключить их сбор в настройках своего браузера. Больше о файлах «Cookies»
«Не тормозить ИИ»: GlowByte подвела итоги дискуссии о рисках нейросетей
На большом митапе PRO AI эксперты крупных компаний обсудили, какие реальные угрозы несет внедрение ИИ и почему старые методы запретов больше не работают
Источник изображения: Личный архив Екатерины Межековой
В Москве прошла профильная конференция по вопросам внедрения искусственного интеллекта — «Большой митап PRO AI», в рамках которого состоялся круглый стол с участием экспертов «Информзащиты», «Цемроса», «Ингосстраха», «Русал Менеджмента» и «Инго Банка». Организаторами мероприятия выступили «Ингосстрах» и ИТ-компания «Лоция». Модератором дискуссии стал директор практики искусственного интеллекта и машинного обучения GlowByte Александр Ефимов.
Источник изображения: Личный архив Екатерины Межековой
Эксперты обсудили ключевые вопросы информационной безопасности при работе с технологиями искусственного интеллекта. В частности, речь шла о трансформации угроз при внедрении ИИ и поиске баланса между скоростью внедрения технологий и безопасностью.
Участники сошлись во мнении, что с технической точки зрения внедрение ИИ не создает принципиально новых видов угроз, однако кратно усиливает уже существующие риски и требует от специалистов по ИБ погружения в новую технологическую среду.
«Ничего нового, но разбираться придется»
Открывая дискуссию, модератор сессии Александр Ефимов предложил спикерам высказаться, действительно ли существует проблема информационной безопасности при работе с нейросетями или использование ИИ — это то же самое, что обычный поиск информации в интернете с помощью Yandex или Google.
Директор департамента ИБ, «Русал Менеджмент», Михаил Редишев подчеркнул, что использование нейросетей — это не проблема, а закономерное развитие технологий, и главный вызов — не в появлении сверхновых хакерских техник, а в «бешеном темпе», который задает бизнес.
Участники сошлись во мнении, что с технической точки зрения внедрение ИИ не создает принципиально новых видов угроз, однако кратно усиливает уже существующие риски и требует от специалистов по ИБ погружения в новую технологическую среду.
«Ничего нового, но разбираться придется»
Открывая дискуссию, модератор сессии Александр Ефимов предложил спикерам высказаться, действительно ли существует проблема информационной безопасности при работе с нейросетями или использование ИИ — это то же самое, что обычный поиск информации в интернете с помощью Yandex или Google.
Директор департамента ИБ, «Русал Менеджмент», Михаил Редишев подчеркнул, что использование нейросетей — это не проблема, а закономерное развитие технологий, и главный вызов — не в появлении сверхновых хакерских техник, а в «бешеном темпе», который задает бизнес.
“
Все классические угрозы (утечки, сбои доступности) были всегда. С появлением чат-ботов ничего нового не возникло, — отметил спикер. — Специфика — да, есть: то же «отравление» данных, например. Но если в компании уже были системно выстроены процессы информационной безопасности, кардинально трансформировать их не придется.
Руководитель департамента ИБ, «Цемрос», Владимир Козлов дополнил:
“
Если компания внедряет ИИ осознанно, с пониманием, чего хочется достичь и зачем, то в такой ситуации ИБ может выступать в роли саппорта, чтобы нивелировать новые риски, которые неизбежно порождает новая технология. Если внедрение происходит по схеме «у всех есть, и нам тоже надо», ИБ будет сложнее помочь бизнесу снизить возникающие дополнительно угрозы.
С ним согласился директор по развитию бизнеса «Информзащиты» Андрей Тимошенко, добавив, что в вопросах работы с ИИ есть другая сторона медали, которая может стать более сложным вызовом для всех.
“
Проблема в том, что компании, которые за 2–3 года не смогли выстроить базовую защиту, теперь пытаются встроить в свои процессы ИИ, создавая «снежный ком» проблем. Если «безопасник» не разбирается в устройстве моделей, векторных базах данных, «облаках» или АСУТП (автоматизированных системах управления технологическим процессом), он не сможет выстроить защиту. Приходится учиться, — подчеркнул он. — Но есть и обратная сторона медали: ИИ активно осваивают киберпреступники. Социальная инженерия с использованием дипфейков станет идеальным преступлением, когда мошенничество с помощью ИИ станет эффективнее человеческого. Вот это я считаю более глобальной проблемой.
Источник изображения: Личный архив Екатерины Межековой
Контур безопасности: от «запретить» к «разобраться»
По общему мнению участников дискуссии, корпоративная безопасность при работе с ИИ выстраивается в три этапа: обучение людей, разработка политики безопасности и только потом — внедрение технического контроля.
По общему мнению участников дискуссии, корпоративная безопасность при работе с ИИ выстраивается в три этапа: обучение людей, разработка политики безопасности и только потом — внедрение технического контроля.
“
Начинать надо с людей. Если просто бросить закрытый корпоративный чат-бот в свободное плавание, сотрудники будут использовать его неэффективно или во вред, — заметил один из участников. — Нужно объяснять, что такое «отравление» данных (data poisoning) и почему нельзя загружать в публичные модели чувствительную информацию.
Эксперт из «Русал Менеджмента» сказал, что нагрузка на ИБ-департаменты за последние три года выросла, но связывает это не только с ИИ, но и с общим развитием ИТ-отрасли, геополитической напряженностью и импортозамещением.
“
Атаки стали дешевле и проще. Но если компания выстроила базовые процессы, паниковать не стоит», — резюмировал он.
Глазами бизнеса: баланс между риском и скоростью
Модератор дискуссии Александр Ефимов перевел ход беседы к обсуждению вопроса, кто должен определять «цену ошибки». Представители бизнеса призвали коллег из сферы ИБ к диалогу, а не к тотальному контролю.
Модератор дискуссии Александр Ефимов перевел ход беседы к обсуждению вопроса, кто должен определять «цену ошибки». Представители бизнеса призвали коллег из сферы ИБ к диалогу, а не к тотальному контролю.
“
Не надо смотреть на безопасность там, где вы генерируете публичные данные или тестовые шаблоны, — отметил заместитель начальника управления развития клиентских и сервисных платформ, «Ингосстрах», Дмитрий Никитин. — Но там, где речь идет о финансовой тайне и ценной информации компании, решения должны быть нестандартными. Например, небольшие языковые модели для внутренних задач безопаснее, чем обращение к публичным API
Он также поделился позитивным опытом симбиоза: разработчики и ИБ-специалисты в его компании тестируют новые инструменты (в том числе новые методы ИБ) вместе.
“
«Никто не пытается «сломать» систему из вредности. Наоборот, ИТ-разработчики сами предлагают свои кандидатуры для тестирования новых средств защиты со стороны ИБ. Это ускоряет разработку, а не тормозит ее», — отметил спикер.
Однако участники признали, что ложные срабатывания систем защиты и блокировка бизнес-фич (функций продукта) — реальность, с которой приходится сталкиваться на практике. Выходом здесь видится не только формальный регламент, но и наличие «человеческих точек контакта» для быстрого решения конфликтов.
“
«Регламенты никогда не бывают идеальными. Всегда возникает нестандартная ситуация, которую можно решить только диалогом», — подчеркнул один из экспертов.
“
«Это вопрос договоренности и выработки сценария между IT, ИБ и бизнесом. Как коммуницировать между собой, чтобы получить конечную выгоду. На мой взгляд, какого-то универсального ответа нет. Конечно, есть «лучшие практики» — опыт компаний, но это все равно дискуссионный вопрос для каждого частного случая, потому что у каждой компании есть свой «внутренний код»», — подытожил тимлид DevOps «Инго Банка» Илья Лущик.
Источник изображения: Личный архив Екатерины Межековой
Кейсы и будущее: «цифровые коллеги» и работа с открытыми данными
Эксперт GlowByte также предложил обсудить прикладные сценарии применения ИИ и возможность сделать их безопасными. Например, в случае анализа открытых источников (сайтов конкурентов, публичных отчетов). В таких ситуациях, по мнению эксперта «Инго Банка», безопаснее настроить автоматического ИИ-агента для сбора и первичного анализа, чем загружать десятки PDF-файлов в публичную нейросеть вручную.
Говоря о будущем, эксперты затронули тему «цифровых агентов» — автономных программ, выполняющих задачи вместо человек
Эксперт GlowByte также предложил обсудить прикладные сценарии применения ИИ и возможность сделать их безопасными. Например, в случае анализа открытых источников (сайтов конкурентов, публичных отчетов). В таких ситуациях, по мнению эксперта «Инго Банка», безопаснее настроить автоматического ИИ-агента для сбора и первичного анализа, чем загружать десятки PDF-файлов в публичную нейросеть вручную.
Говоря о будущем, эксперты затронули тему «цифровых агентов» — автономных программ, выполняющих задачи вместо человек
“
«Когда у компании появится «цифровой коллектив», потребуются паттерны безопасности совершенно иного уровня, — заметил директор центра искусственного интеллекта мультиагентных систем, «Ингосстрах», Сергей Шелепин. — Понадобятся внутренние аудиторы для этих агентов, которые будут проверять, не «сговорились» ли они между собой в обход интересов компании».
Источник изображения: Личный архив Екатерины Межековой
Итоговые рекомендации
Резюмируя, спикеры сформулировали несколько практических советов для компаний, внедряющих ИИ:
Резюмируя, спикеры сформулировали несколько практических советов для компаний, внедряющих ИИ:
- Осознанность: Прежде чем внедрять, понять «зачем». Не делать это по принципу «у всех есть».
- Реалистичность требований: Требования безопасности должны быть выполнимыми. Если они заведомо нереалистичны, их будут нарушать, и тогда под удар попадут действительно важные вещи.
- Работа с людьми: Главный риск — люди, которым запрещают пользоваться современными инструментами. Они найдут обходные пути, которые не ловятся стандартными сканерами уязвимостей. Нужно объяснять, учить и вовлекать.
- Диалог: Нельзя делить компанию на «бизнес» и «безопасность». Только совместная работа в одной комнате над поиском баланса между риском, скоростью и выгодой даст результат.
“
«Технология новая, но паниковать не стоит. Надо просто сесть и разобраться в каждой конкретной ситуации в связке «риски-скорость-деньги», — резюмировал эксперт GlowByte Александр Ефимов. — И чем быстрее мы перейдем от запретов к выстраиванию внутреннего социального контракта по использованию ИИ, тем быстрее получим реальную пользу».