Занимательная нумерология ИБ или как манипулировать статистикой

В курсе по измерению ИБ есть у меня раздел, который называется "Как врать с помощью цифр ИБ", название которого является аллюзией на известное высказывание Дизраэли, популяризованное Марком Твеном "Есть три вида лжи: ложь, наглая ложь и статистика". В этом разделе я привожу несколько манипуляций, которые позволяют сформировать определенное мнение относительно демонстрируемых цифр, имеющих отношение к ИБ.

К чему этот экскурс в забавную нумерологию ИБ? Просто я посмотрел пресс-конференцию замдиректора НКЦКИ г-на Мурашова, который рассказал о 4 с лишним миллиардах кибератак, направленных против Российской Федерации. Так как меня всегда смущало определение, которое используется ФСБ применительно к "атаке" и "инциденту", то я просто решил визуализировать цифры из интервью официальных лиц, которые звучат последние несколько лет. Господа Патрушев, Бортников, Путин и Мурашов каждый год (исключая 2017-й) озвучивали число атак, направленных против России. Выглядит это вот таким образом:

Отмечу, что тут нет "среднего". И размерностью никто не играл. И дело даже не в трактовке термина "атака" (вон, Лаборатория Касперского под атакой понимает просто срабатывание своего средства защиты). Тут иная манипуляция. При сравнении чего бы-то ни было с течение времени очень важно соблюсти неизменность объекта измерения. Было у меня 100 компьютеров, атаки на которые я мониторю. 100 должно быть и дальше. Иначе возникают вопросы. За два года мы видим колоссальный рост числа атак (на 2 порядка). С чем это связано? Стало действительно больше атак? Поменялось определение атаки? Мы стали лучше ловить? Увеличилось число контролируемых объектов? В случае с цифрами НКЦКИ вероятно имеют место все факторы сразу, но хотелось бы (лично мне, я понимаю, что журналистам в целом пофиг, а именно на них и направлены данные цифры) видеть методологию расчета. А то получится как у Лаборатории Касперского - срабатывание антивируса считается атакой. А может я пентест проводил? Или сканер запустил? Это тоже считается атакой?

И последняя манипуляция цифрами. "Ведомости", по отчету Лаборатории Касперского,  напечатали статью, согласно которой хакерским атакам подверглась половина компьютеров российской промышленности. Все в панике и бегут срочно покупать средства защиты информации. Специалисты по ИБ справедливо критикуют эти цифры, которые не отражают действительности. А все дело в грамотном пиаре и нежелании журналистов разбираться в подоплеке цифр. Ведь ЛК прямо пишет, что атакованными она считает только то есть компьютеры, на которых сработали их средства защиты. При этом число таких инсталляций она не сообщает. Что в итоге? Срабатывание 5 миллионов антивирусов на 10 миллионах компьютеров - это половина! Срабатывание 1 антивируса на 2 компьютерах - это тоже половина! Бинго! А в материале "Ведомостей" звучит устрашающе и руководство компаний начинает задумываться о своей безопасности. А после пресс-конференции Мурашова у всех уже не возникает сомнений, что Россия в круге киберврагов и надо усиливать кибербезопасность страны и подключаться к ГосСОПКЕ.

Что в итоге? Есть цифры. И есть умение ими пользоваться и умение их читать. И надо понимать, что у тех, кто показывает цифры есть разные задачи, которые могут отличаться от задач читателей этих цифр. Если, читая разные отчеты, держать это в голове, воспринимать многие цифры будет гораздо проще :-)

Источник: