Экспертная статья компании UserGate — члена Ассоциации высоких технологий и цифровой инфраструктуры. Автор — Ильдар Садыков, главный эксперт UserGate uFactor, эксперт Комитета по кибербезопасности ассоциации.
Сегодня бизнес массово внедряет искусственный интеллект, но порой за скоростью интеграции теряется главное — понимание того, зачем нейросеть нужна, как она себя поведет через полгода и какие уязвимости она создает. О том, какие угрозы несет непродуманная интеграция нейросетей и как их избежать, рассказывает Ильдар Садыков, главный эксперт UserGate uFactor, эксперт Комитета по кибербезопасности ассоциации.
Три уровня риска
Не секрет, что компании, внедряя искусственный интеллект, не всегда точно понимают, зачем они это делают. У одних срабатывает опасение, что они отстанут от конкурентов, другие принимают такое решение на общей волне, третьи гонятся за эффективностью, не рассчитав, в чем она выражается. Но какой бы ни была причина, при непродуманном внедрении инструментов ИИ возникает целый спектр рисков.
Первый из них заключается в утечках данных. Компания не знает, как в действительности работают модели, в которые направляется часть внутренней информации. Сотрудники применяют для рабочих задач публичные LLM. Поступившие туда данные используются для обучения этих моделей, при этом существует вероятность, что информация попадет не в те руки, а то и вовсе окажется в открытом доступе. Примеры тому, к сожалению, уже есть, и каждый из них становится громким инфоповодом для СМИ.
Второй уровень связан с внутренними моделями, работающими в рамках периметра. Как правило, одна модель обслуживает весь рабочий процесс через набор коннекторов. Она выполняет вычисления и отвечает на промпты, поступившие от человека или от самой системы. Но большинство используемых моделей обучается в процессе, и чем больше запросов поступает, тем более вероятностными они считают определенные ответы. Задачу, которую модель изначально решала одним образом, спустя время она может выполнять иначе. Более того, на ее поведение можно повлиять. Если группа сотрудников будет систематически направлять однотипные запросы, модель перестроится под эти данные — по сути, отравит сама себя. Для внешних моделей этот риск тоже сохраняется. Иначе говоря, нет понимания, как система поведет себя через некоторое время.
Третий риск связан с бездумным внедрением ИИ как таковым. Часто его интегрируют по принципу «лишь бы было», его ставят непонятно куда и непонятно зачем, и это создает бреши в безопасности.
Закрыть эти вопросы привычными мерами информационной безопасности можно лишь отчасти. Базовую защиту инфраструктуры стандартные средства обеспечат, но полную — нет. Представим, что злоумышленник проникает в компанию через фишинг, а внутри уже работает ИИ-агент, сортирующий и анализирующий электронную почту. Если защита на агенте не настроена, а в тексте письма содержится адресованный ему промпт, агент может его выполнить. Известны кейсы, когда агент работал с почтовыми вложениями и распаковывал архивы: внутри архива, отправленного как вложение, создавали многослойную структуру. Стандартный антиспам умеет вскрывать несколько уровней, но если предусмотреть слой, на котором он не сработает, письмо проходит дальше — и в дело вступает агент, чьи возможности шире. Вложение открывает уже не человек, а система, и заложенный промпт заставляет ее собрать и выдать результат — например, вредоносный скрипт или алгоритм, передающий данные на сторону.
Так рождается новый вектор атак внутри инфраструктуры, обходящий существующие системы защиты. Этот уровень сложный и требует от хакеров серьезной квалификации, но проблема в том, что именно за счет ИИ порог входа в хакинг существенно снижается. Злоумышленникам помогают uncensored- и heretic-модели, лишенные встроенных запретов. Их запускают на локальной системе, объясняют задачу, и они формируют нужный промпт — изначально безобидный и проходящий все ограничения штатной модели. Дальше система выполнит действия, соберет невинный на вид скрипт, а тот создаст вредоносный.
И если раньше приходилось изучать множество технологий и утилит, собирать инструменты вручную, то теперь модель выдает готовую инструкцию, сама пишет приложения, а уже существующие утилиты можно адаптировать под свои цели, даже не зная программирования. В итоге один хакер способен за короткий срок провести атаку, на которую прежде требовалась целая команда. Именно поэтому внедрение ИИ стоит рассматривать как новую плоскость атаки и подходить к нему по принципу «семь раз отмерь».
Экономика защиты
Владельцы бизнеса внедряют ИИ ради оптимизации и экономии, ожидая, что тратить придется меньше. Но защита ИИ-систем — отдельная статья расходов, и обосновать ее перед руководством не всегда просто. Самое сложное — сформулировать стоимость в конкретных цифрах. Сегодня защита стоит одних денег, а завтра, когда выйдет новая модель, хакерский инструментарий подешевеет — или, наоборот, подорожает вслед за оборудованием. Чтобы соотнести затраты с потенциальным ущербом, нужно рассмотреть два аспекта, которые тянут бюджет в разные стороны.
Первый — построение системы защиты, и здесь расходы растут. Как уже говорилось выше, базовую безопасность стандартные средства обеспечат, но для продвинутой почти наверняка придется достраивать контур. Если ИИ интегрирован в рабочие процессы, потребуется контролировать используемые промпты, то есть устанавливать это решение нового класса, проводящее их фильтрацию на предмет безопасности. Это решение призвано анализировать, действительно ли запрос ИИ-агента к модели безопасен, особенно когда агент не автономен. Грубо говоря, это некий файрволл для ИИ-промптов, и он, разумеется, увеличивает бюджет.
Второй аспект направлен в обратную сторону: затраты в определенной мере снижаются за счет сокращения ручного труда. Возьмем, к примеру, SOC. Первая линия обрабатывает поток запросов с определенной производительностью; с внедрением ИИ в SIEM-системы часть работы автоматизируется — обогащение событий, проверка типовых сигналов легко ложатся на шаблоны. В результате меньшее число специалистов обрабатывает больший объем запросов. На второй линии количество специалистов не сократить, но ИИ резко повышает качество их работы: если раньше аналитику приходилось искать информацию вручную, разворачивать утилиты, обращаться к чужому опыту, то теперь несколькими запросами он выясняет, как работает инструмент, и порой собирает его самостоятельно.
Поэтому ситуация неоднозначная. Экономия на персонале — вопрос скользкий, к тому же процесс этот долгосрочный, поскольку компании, резонно опасаясь потерять ценных специалистов, стараются не сокращать уже имеющихся сотрудников, а уменьшать наём новых. С другой — анализ силами ИИ требует серверных мощностей с видеокартами, а они сейчас стоят дорого, и еще вопрос, что обойдется дешевле: команда сотрудников на первой линии или 2–3 человека, обслуживающие ИИ. Поэтому универсального решения нет: каждый раз оно рассчитывается индивидуально — под конкретную компанию и конкретную инфраструктуру. Нередко оптимальным оказывается гибридный подход — не уменьшать команду, но притом внедрять технологии, повышать качество и обретать за счет этого новых заказчиков.
Как уменьшить плоскость для атаки
Уменьшить плоскость для атаки, которая создается за счет ИИ, можно и нужно. Но выход следует искать не в техническом направлении. Он закладывается на уровне управленческих решений — еще до того, как модель попадает в контур. Если учесть все подводные камни, избежать распространенных ошибок и выстроить обратную им логику действий, получается понятный и продуктивный маршрут.
Первая и главная ошибка — непонимание, зачем вообще нужен ИИ. Об этом уже было сказано выше, но повторю еще раз: взвесьте, какие конкретные задачи вы хотите решить и чего добиться. Ответ «повысить эффективность» неверный — он слишком размытый. Нужно формулировать конкретнее. Скажем, если цель — рост продаж, стоит понять, за счет чего ИИ поможет его добиться: с помощью более качественной рекламы, роста производительности, улучшения самого продукта. Задаваясь конкретными вопросами, руководитель в итоге четко видит, какие бизнес-процессы действительно требуют оптимизации — и какой именно.
Вторая ошибка — недооценка собственных ресурсов. В новостях уже не раз появлялись истории крупных компаний, которые на волне ИИ-эйфории увольняли сотрудников сотнями, а потом поняли, что модели им обходятся дороже, и пошли на попятную. Поэтому заранее проектируйте бизнес-процессы так, чтобы ИИ повышал производительность и качество, а не становился источником убытков.
Кроме того, в каждом случае внедрения необходима первичная аналитика. Допустим, требуется ускорить и улучшить тестирование. Решений несколько: нанять больше людей, автоматизировать процесс или поручить разработку тестовой системы и написание кода ИИ-модели с обязательной проверкой результата человеком. Но принять решение о внедрении недостаточно, следом должна идти оценка рисков. Насколько безопасно встраивать в этот процесс языковую модель? Какую модель выбрать? Или, возможно, хватит обычной автоматизации?
Отдельный и часто упускаемый пласт — сами сотрудники, которые пользуются внешними ИИ-моделями для своих задач. Здесь возникает двойной риск: и утечка данных, и внедрение непроверенного кода, сгенерированного нейросетью в обход человеческого контроля. Это тоже необходимо учитывать и выстраивать грамотные политики безопасности. Оставлять использование LLM с личных гаджетов без контроля не стоит, но и слишком сильно закручивать гайки — тоже, поскольку это вызовет обратный эффект.
И помните: ни один из рисков, превращающих ИИ-инструменты в новую плоскость для атак, не рождается в момент атаки. Все закладывается в тот самый момент, когда принимается решение о внедрении. Как следствие, главный элемент безопасности ИИ-контура — четкое понимание, зачем он нужен. И пока это понимание не встроено в бизнес так же прочно, как сам ИИ, каждая новая нейросеть в компании будет открывать не только новые возможности, но и новую дверь для злоумышленников.
Ильдар Садыков, главный эксперт UserGate uFactor, эксперт Комитета по кибербезопасности Ассоциации высоких технологий и цифровой инфраструктуры