67% руководителей в области кибербезопасности видят необходимость изменений в подходах к кибербезопасности из-за ИИ-рисков

Группа компаний Б1, ГК «Солар», Ассоциация ФинТех (АФТ) и HiveTrace представили результаты совместного исследования, посвященного обзору текущего состояния рынка защиты искусственного интеллекта (ИИ) и перспектив развития этого направления. 

Искусственный интеллект (ИИ) стремительно трансформируется в новую базовую платформу для всего ИТ-рынка. С развитием ИИ закономерно усиливается и его значимость как объекта защиты. В отличие от традиционных ИТ-систем ИИ-решения опираются на данные, обучаемые модели и зачастую ограниченно интерпретируемую логику принятия решений. Это формирует новый класс угроз – от атак на модели и данные до злоупотреблений генеративными системами, утечек через ИИ-интерфейсы, а также до неконтролируемого поведения ИИ-агентов и приложений. В результате кибербезопасность ИИ становится важным направлением развития рынка решений информационной безопасности (ИБ).

Риски ИБ для искусственного интеллекта имеют специфический характер: манипулирование, риски во время работы, атаки на модели. Если говорить о типологии рисков, то в качестве наиболее распространенных примеров эксперты выделяют следующие: утечки данных и внутренней информации через запросы; манипуляция поведением модели через входные данные и инструкции; риски автономного и неконтролируемого поведения ИИ-систем; уязвимости моделей и решений с открытым исходным кодом, риски цепочки поставок ИИ, неконтролируемое, теневое, нарушающее регулирование использование ИИ; компрометация моделей, датасетов, RAG-систем и баз знаний, утечки данных через ответы модели; небезопасная обработка результатов; атаки на модели и ИИ-инфраструктуру; использование ИИ для автоматизации кибератак и мошенничества. 

67% руководителей в области кибербезопасности по всему миру считают, что риски, связанные с ИИ нового поколения, требуют существенных изменений в существующих подходах к кибербезопасности. Стремительное внедрение систем искусственного интеллекта и ИИ-агентов, которые начали получать доступ к внутренним системам и данным компаний, формирует новый класс киберрисков и существенно расширяет поверхность атак. 

В ответ на это на глобальном рынке появляются специализированные средства защиты ИИ. Среди них: средства защиты ИИ-приложений; шлюзы безопасного доступа к ИИ и защита от Tеневого ИИ; платформы безопасности и управления ИИ-агентами; решения для управления безопасностью ИИ-артефактов и моделей; решения защиты ИИ-систем дополненных поиском по базам знаний и ИИ-данных; ПО для наблюдаемости и мониторинга ИИ; решения управления идентификацией, правами доступа и политиками безопасности для ИИ-агентов и ИИ-сервисов; платформы управления ИИ-рисками; решения автоматизированного тестирования моделей и ИИ-приложений приложения для идентификации сгенерированного ИИ-контента.

Динамика расширения портфелей разработчиков демонстрирует нехватку статических проверок безопасности. Формируется тренд в сторону мониторинга ИИ-систем и ИИ-агентов, трассировки действий и запросов, применения политик безопасности во время выполнения, непрерывного контроля и выявления угроз. 

Одновременно с этим развивается рынок специализированных услуг: проектирование киберустойчивых ИИ-архитектур и систем; тестирование безопасности ИИ; интеграция ИИ-инфраструктуры в классические центры мониторинга ИБ; аудит ИИ-систем; оценка и управление ИИ-рисками. 

Весьма вероятно, что в ближайшие годы кибербезопасность ИИ станет таким же обязательным и базовым элементом корпоративной инфраструктуры цифровых компаний, каким сегодня являются защита сетей или облачных сред. 

Сергей Салов отмечает, что в мире растет востребованность специализированных услуг по аудиту, тестированию и управлению безопасностью ИИ, а также построению киберустойчивых архитектур ИИ-систем.

Рынок только формируется, поэтому конечные победители и его будущая структура неясны, однако на данном этапе можно сформулировать четыре возможных сценария или параллельные траектории развития:

1. Рынок сконцентрируется вокруг крупных разработчиков ИБ-решений, как это произошло с облачной ИБ, EDR/XDR.
2. Появится отдельный лидер или лидеры рынка.
3. Безопасность ИИ постепенно станет частью безопасности приложений, облаков, защиты данных, управления идентификацией и доступом и превратится из отдельного рынка во встроенную функцию существующих платформ кибербезопасности.
4. Поставщики ИИ-систем и платформ ИИ-разработки сами формируют или приобретают продукты встроенной кибербезопасности, подобно тому, как Microsoft, VMware и другие вендоры встраивают ИБ-решения в пакеты своих программных продуктов. 

О Группе компаний Б1

Группа компаний Б1 предлагает многопрофильные услуги в сфере аудита, стратегического, технологического и бизнес-консалтинга, сделок, оценки, налогообложения, права и сопровождения бизнеса.

Мы работаем свыше 35 лет в России и 25 лет в Беларуси. За это время в компаниях группы создана сильная команда специалистов с обширными знаниями и опытом реализации сложнейших проектов. Наша практика представлена в 12 городах: Москве, Минске, Владивостоке, Екатеринбурге, Казани, Краснодаре, Новосибирске, Ростове-на-Дону, Самаре, Санкт-Петербурге, Тольятти и Челябинске.

Группа компаний Б1 помогает клиентам находить новые решения, расширять, трансформировать и успешно вести свою деятельность, а также повышать свою финансовую устойчивость и кадровый потенциал.

www.b1.ru 

О Группе компаний «Солар»

Группа компаний «Солар» — лидирующий провайдер комплексной кибербезопасности. Ключевые направления деятельности — предоставление услуг и сервисов в области информационной безопасности, разработка собственных ИБ-продуктов, обучение ИБ-специалистов, аналитика и исследование киберинцидентов.

С 2015 года предоставляет ИБ-решения организациям от малого бизнеса до крупнейших предприятий ключевых отраслей. Под защитой «Солара» — более 1 500 крупнейших компаний России. Компания работает в направлениях безопасной разработки программного обеспечения, управления доступом, защиты корпоративных данных, детектирования хакерских атак и угроз, что позволяет закрывать максимум потребностей заказчиков. 

Группа компаний предлагает сервисы первого и крупнейшего в России коммерческого SOC — Solar JSOC, экосистему управляемых сервисов ИБ — Solar MSS. По данным независимых аналитиков, «Солар» входит в топ-5 европейских и топ-15 мировых сервис-провайдеров по объему бизнеса. 

Работа центра исследования киберугроз Solar 4RAYS нацелена на изучение тактик киберпреступников. Полученные аналитические данные обогащают разработки Центра технологий кибербезопасности. 

Линейка собственных продуктов включает DLP-решение Solar Dozor, шлюз веб-безопасности Solar webProxy, IdM-систему Solar inRights, PAM-систему Solar SafeInspect, анализатор кода Solar appScreener, решение для автоматизации мониторинга и реагирования Solar SIEM и другие. 

Группа компаний «Солар» инвестирует в развитие отрасли кибербезопасности и помогает решать проблему кадрового дефицита. Для поддержки молодых технологичных проектов и насыщения рынка технологиями созданы венчурный фонд Solar Ventures и программа CyberStage. «Солар» реализует образовательные и просветительские проекты, направленные на повышение цифровой грамотности населения. 

rt-solar.ru 

Об Ассоциации ФинТех

Ассоциация ФинТех учреждена в конце 2016 г. по инициативе Банка России и ключевых участников финансового рынка как межотраслевая площадка для взаимодействия банков, страховых и ИТ-компаний, профессиональных участников рынка ценных бумаг, телеком-операторов, финтехов и регулятора. 

В настоящий момент в состав АФТ входят: Банк России, Сбер, ВТБ, Альфа-Банк, Газпромбанк, Национальная система платежных карт (НСПК), Т-Банк, Райффайзенбанк, Россельхозбанк, ДОМ.РФ, Московская Биржа, Страховой Дом ВСК, ПСБ, Совкомбанк; ассоциированные члены: Ак Барс Банк, РНКО «Платежный центр», МТС, Ростелеком, АльфаСтрахование, Капитал Лайф Страхование Жизни, Московский кредитный банк, Кредит Европа Банк (Россия), Банк Синара, Яндекс, Центр-Инвест, ОТП Банк, «Диасофт», «ФлексСофт», Авито, Т1, РЕД СОФТ, Билайн, БПС, Банк Точка, УК «ДОХОДЪ», РЕСО-Гарантия, Банк ВБРР, МТС Банк.

fintechru.org 

О HiveTrace (ООО «Хайвтрейс»)

«Хайвтрейс» – российская компания, специализирующаяся на безопасности искусственного интеллекта и разработке решений для защиты корпоративных GenAI-систем. Компания разработала и продолжает развивать и продвигать на рынке два продукта, обеспечивающих безопасность внедрения и эксплуатации ИИ. 

HiveTraceAIFirewall – система мониторинга ИИ-систем в реальном времени:

• выявляет и блокирует промпт-атаки, токсичный и вредоносный контент;
• реализует гибкие корпоративные политики (этика, язык, запрет на ПДн);
• снижает риск утечки данных и репутационных потерь. 

HiveTraceRed– автоматизированный red-teaming для ИИ:

• моделирует десятки сценариев атак (джейлбрейки, утечки, misinformation и др.);
• тестирует систему на соответствие OWASP LLMTop 10;
• работает непрерывно и интегрируется в CI/CD, сокращая time-to-market 
  AI-продукта;
• в десятки раз эффективнее ручного тестирования.

Оба продукта работают с любыми LLM и встраиваются в процессы разработки и эксплуатации — от CI/CD до эксплуатации в проде. Команда HiveTrace объединяет инженеров и исследователей безопасности ИИ, сотрудничает с ведущими вузами и участвует в развитии отраслевых стандартов, создавая полноценный цикл защиты: тестирование, мониторинг и предотвращение атак. 

В штате компании работают эксперты в области Data Science и кибербезопасности с успешным опытом разработки и внедрения ПО в компаниях масштаба enterprise. Сотрудники «Хайвтрейс» регулярно участвуют в профильных конференциях, выступают в качестве спикеров в вебинарах, подкастах и дают экспертные комментарии в СМИ. 

hivetrace.ru