Рубрикатор |
Блоги | Алексей ЛУКАЦКИЙ |
Security Foresight: темная сторона искусственного интеллекта
04 августа 2017 |
Про искусственный интеллект в ИБ я уже писал
год назад, а сейчас мне бы хотелось обратиться к другой стороне медали -
использованию искусственного интеллекта в деятельности
киберпреступников. Эта тема мало поднимается в открытой прессе и мало
кто из специалистов пока задумывается о ней, предпочитая изучать, как ИИ
может помочь делу ИБ. На прошедшем в мае семинаре Gartner я спросил у
Антона Чувакина, сталкивались ли они с запросами своих клиентов, которые
бы интересовались нелегальным применением искусственного интеллекта.
Антон тогда ответил, что даже просто использованием ИИ в ИБ у них
поинтересовался за все время всего один клиент, а уж про темную сторону
ИИ не спрашивал никто и никогда. Это показательный пример, когда
специалисты по ИБ думают о "сиюминутных" задачах, не желая посмотреть
"за горизонт".
А смотреть есть куда. В кибербезопасности часто используются технологии так называемого двойного назначения. Криптография используется
и защитниками и хакерами. Поиск уязвимостей применяется при взломе и
при пентесте. Фишинг используется злоумышленниками для компрометации
пользователей, а безопасниками для их же обучения и проверки способности
противостоять атакам. Вообще киберпреступники перенимают
все лучшее из нашего мира и ИИ не исключение. Например, можно
установить на компьютере жертвы относительно простого агента, изучающего
переписку пользователя в электронной почте, соцсетях или мессенджерах.
После небольшого периода обучения вредоносное ПО сможет маскироваться
под жертву и от ее имени рассылать сообщения по всем ее контактам,
которые и не заподозрят ничего. По работе сообщения будут официальными,
друзьям или членам семьи - менее формальными (кстати, голосовые
сообщения тоже можно будет подделывать без проблем). Все это легко
автоматизируется, тем более, что в Интернете представлено немало готовых
библиотек для реализации как базовых, так и более сложных алгоритмов
ИИ. Вот только один пример с подборкой совершенно различных программных реализаций.
А боты в соцсетях, напрашивающиеся в друзья? Это же классика искусственного интеллекта (я уже раньше писал, что под этим термином я понимаю сразу весь спектр технологий - от машинного обучения до нейросетей). Многие компании используют ботов для общения со своими клиентами в Интернет - почему злоумышленникам не делать тоже самое? И они это делают. Вообще соцсети сегодня представляют колоссальный объем информации о людях - профили, открытые заметки (и закрытые, если бот смог заставить пользователя вступить с ним в дружеские отношения), фотографии, предпочтения, геометки, родители (включая девичьи фамилии матерей), питомцы... Все это очень хорошо собирается, анализируется и сопоставляется различными алгоритмами ИИ.
Вот представьте сценарий. Депутат Госдумы является скрытым педофилом, который зарегистрировался на нелегальном форуме с детской порнографией под вымышленным псевдонимом и с зарубежного почтового сервиса. При этом, по глупости, этот же псевдоним он использовал как часть своего e-mail для личного почтового ящика на mail.ru. А на эту почту он же пересылал несколько сообщений со своей служебной почты в домене gov.ru. Вполне реалистичный сценарий, в котором только технологии ИИ могут сопостовить множество источников данных и сделать гипотезы о совпадении этих трех виртуальных личностей. ну а дальше можно только предугадывать, что могут преступники (а может спецслужбы?) сделать с такой информацией.
А теперь вспомним про конкурс Cyber Grand Challenge, проведенный Агентством по передовым оборонным исследованиям МинОбороны США DARPA. В его рамках семь команд использовали автономных агентов для обнаружения, анализа и исправления уязвимостей до того, как их найдут противники. При этом поощрялось обнаружение уязвимостей в коде своих оппонентов по конкурсу. Целью конкурса была демонстрация технологий искусственного интеллекта для целей кибербезопасности, но... DARPA занимается не только оборонными исследованиями. У них есть и атакующий потенциал. Что, если технологии автоматизации поиска и использования дыр в ПО будет применяться киберпреступниками (или спецслужбами)? Незря Элон Маск сравнил проект DARPA с Skynet из "Терминатора".
А боты в соцсетях, напрашивающиеся в друзья? Это же классика искусственного интеллекта (я уже раньше писал, что под этим термином я понимаю сразу весь спектр технологий - от машинного обучения до нейросетей). Многие компании используют ботов для общения со своими клиентами в Интернет - почему злоумышленникам не делать тоже самое? И они это делают. Вообще соцсети сегодня представляют колоссальный объем информации о людях - профили, открытые заметки (и закрытые, если бот смог заставить пользователя вступить с ним в дружеские отношения), фотографии, предпочтения, геометки, родители (включая девичьи фамилии матерей), питомцы... Все это очень хорошо собирается, анализируется и сопоставляется различными алгоритмами ИИ.
Вот представьте сценарий. Депутат Госдумы является скрытым педофилом, который зарегистрировался на нелегальном форуме с детской порнографией под вымышленным псевдонимом и с зарубежного почтового сервиса. При этом, по глупости, этот же псевдоним он использовал как часть своего e-mail для личного почтового ящика на mail.ru. А на эту почту он же пересылал несколько сообщений со своей служебной почты в домене gov.ru. Вполне реалистичный сценарий, в котором только технологии ИИ могут сопостовить множество источников данных и сделать гипотезы о совпадении этих трех виртуальных личностей. ну а дальше можно только предугадывать, что могут преступники (а может спецслужбы?) сделать с такой информацией.
А теперь вспомним про конкурс Cyber Grand Challenge, проведенный Агентством по передовым оборонным исследованиям МинОбороны США DARPA. В его рамках семь команд использовали автономных агентов для обнаружения, анализа и исправления уязвимостей до того, как их найдут противники. При этом поощрялось обнаружение уязвимостей в коде своих оппонентов по конкурсу. Целью конкурса была демонстрация технологий искусственного интеллекта для целей кибербезопасности, но... DARPA занимается не только оборонными исследованиями. У них есть и атакующий потенциал. Что, если технологии автоматизации поиска и использования дыр в ПО будет применяться киберпреступниками (или спецслужбами)? Незря Элон Маск сравнил проект DARPA с Skynet из "Терминатора".
Все, наверное, слышали про сервис VirusTotal, скрывающий "под крышкой"
60+ антивирусов, которые проверяют переданные сервису файлы на
вредоносность. Безопасники могут использовать его для оценки способности
интересующего антивируса ловить разные вредоносные программы.
Аналогичные сервисы есть и по ту сторону баррикад, только там они
используются для создания вредоносного кода, который не детектируется на
момент своего распространения. А теперь представьте, что такие сервисы
расширяются за счет технологий искусственного интеллекта, которые
модифицируют вредоносный код и отправляют на сервис тестирования. И так в
автоматическом режиме до тех пор, пока не будет найден вариант,
пропускаемый средствами защиты.
Описанные выше примеры являются фантастикой? Нет. Все они вполне реальны. Какие-то уже применяются криминалом. Какие-то будут применяться в ближайшем будущем, к которому надо готовиться уже сейчас; чтобы потом не было поздно.
ЗЫ. Бывший глава национальной разведки США в конце прошлого года предупредил Конгресс об опасности искусственного интеллекта, который может быть использован киберпреступниками.
Описанные выше примеры являются фантастикой? Нет. Все они вполне реальны. Какие-то уже применяются криминалом. Какие-то будут применяться в ближайшем будущем, к которому надо готовиться уже сейчас; чтобы потом не было поздно.
ЗЫ. Бывший глава национальной разведки США в конце прошлого года предупредил Конгресс об опасности искусственного интеллекта, который может быть использован киберпреступниками.
Оставить свой комментарий:
Комментарии по материалу
Данный материал еще не комментировался.