Ученые определили слабые места приложений при использовании машинного обучения

На сегодняшний день машинное обучение – практически синоним термина «искусственный интеллект», программы развития которого уже являются национальными во многих странах. Добавлять в приложения возможности машинного обучения становится все проще: многие библиотеки машинного обучения и онлайн-сервисы уже не требуют глубоких знаний в этой области.

В опубликованной работе рассматривается проблема атак на системы машинного обучения с целью добиться желаемого поведения системы или воспрепятствовать ее корректной работе. Первым шагом к противодействию такого рода угрозам, по мнению ученых, является их классификация, понимание их типов, равно как и мест приложения. Это связано с тем, что природа атак на системы машинного обучения и глубокого обучения отличается от других киберугроз.

Однако даже у простых в использовании систем машинного обучения есть свои проблемы. Среди них – угроза состязательных атак, которая стала одной из важных проблем приложений машинного обучения. Под этим понимаются специальные воздействия на элементы конвейера системы, запускающие необходимое злоумышленнику поведение. Таковым поведением может быть, например, неверная работа классификатора. Но существуют и атаки, которые направлены на извлечение параметров модели.

«Эта информация поможет атакующему создать обманывающие систему примеры. Существуют атаки, которые позволяют проверить, например, принадлежность определенных данных к тренировочному набору и, возможно, раскрыть тем самым конфиденциальную информацию», – рассказал Евгений Ильюшин, сотрудник кафедры ИБ.

Состязательные атаки отличаются от других типов угроз безопасности. Они опираются на сложность глубоких нейронных сетей и их вероятностную природу, чтобы найти способы их использования и изменения их поведения. 

«Состязательная атака часто используется в широком смысле для обозначения различных типов злонамеренных действий против моделей машинного обучения. Возможности обнаружить их с помощью классических инструментов, используемых для защиты программного обеспечения от киберугроз, нет», – добавил Дмитрий Намиот, старший научный сотрудник лаборатории ОИТ кафедры ИБ.  Состязательные атаки манипулируют поведением моделей машинного обучения. По одной версии, состязательные атаки существуют из-за нелинейного характера систем, что ведет к существованию некоторых неохваченных алгоритмом генерализации областей данных. По другой – это, наоборот, переобучение системы, когда даже небольшие отклонения от тренировочного набора данных обрабатываются неверно.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!