Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

сайте www.howtomeasureanything.com/cybersecurity представлены дополнительные калибровочные тесты каждого типа (с диапазоном и бинарные). Работая с ними, попробуйте для улучшения калибровки применить разобранные методы, которые кратко изложены в табл. 7.3.Таблица 7.3. Методы улучшения калибровки навыка оценки вероятности

Концептуальные помехи калибровке

Упомянутые выше методы не помогут, если понятия человека о калибровке или вероятностях в целом иррациональны. И хотя большинство людей, занимающих должности, связанные с принятием решений, придерживаются конструктивных взглядов на вероятности или способны их усвоить, некоторые демонстрируют удивительные заблуждения по данному вопросу. Нами было рассмотрено несколько общих концептуальных препятствий в главе 5, давайте теперь уделим чуть больше внимания заблуждениям, связанным с использованием субъективных вероятностей. Вот несколько комментариев, полученных Хаббардом во время обучения группы людей калибровке, а также в процессе получения калиброванных оценок после обучения.

• Не может быть, что моя уверенность в 90 % верна на 90 % потому, что субъективная 90 %-ная уверенность никогда не будет иметь таких же шансов, как и объективные 90 %.

• Вот мой 90 %-ный доверительный интервал, но я понятия не имею, правильный ли он.

• Это невозможно оценить. У нас же никакой информации.

• Не зная точного ответа, невозможно узнать шансы.

Первая фраза принадлежит инженеру-химику, и в ней отражена проблема, с которой он изначально столкнулся при калибровке. До тех пор пока человек будет считать, что субъективная вероятность уступает объективной, освоить калибровку у него не выйдет. Однако после нескольких упражнений по калибровке наш инженер-химик обнаружил, что может субъективно задавать вероятности, которые оказывались верными так часто, как и предполагалось. Иначе говоря, его 90 %-ные доверительные интервалы содержали правильные ответы в 90 % случаев.

Остальные замечания очень похожи. Все они частично основаны на идее, что, если не знаешь точные величины, значит, не знаешь ничего полезного. И в очередной раз обратите внимание, что ни одна из проблем, озвученных в этих возражениях, не исчезнет, если заменить субъективные, но четко определенные вероятности и диапазоны двусмысленными фразами о «высокой» или «средней» вероятности или убытках. Какими бы ни были трудности, связанные с использованием калиброванных оценок вероятности, с ними нельзя справиться, скрыв проблему за словесными формулировками, лишь усугубляющими неточность.

Даже калиброванным экспертам на начальном этапе потребуются определенные усилия для преодоления подобных заблуждений. В основе следующего примера лежит беседа специалиста компании Hubbard Decision Research с сотрудниками службы информационной безопасности министерства по делам ветеранов США (о нем упоминалось в главе 2) еще в 2000 году. Эксперт от министерства первоначально вообще не обозначил диапазон, настаивая, что его невозможно оценить. Начав с того, что он «ничего не знает» о переменной, эксперт постепенно признал, что весьма уверен в некоторых границах.

Аналитик: Если ваши системы выходят из строя из-за компьютерного вируса, как долго длится отключение? Как всегда, мне нужен лишь девяностопроцентный доверительный интервал.

Эксперт по безопасности: Трудно точно сказать. Иногда система выходит из строя на короткий срок, а иногда на длительный. Детально это не отслеживается, так как приоритетом всегда является восстановление системы, а не документирование события.

Аналитик: Естественно, вы не можете сказать точно. Вот почему мы указываем только диапазон, а не конкретное число. Вот каким было самое долгое отключение на вашем опыте?

Эксперт по безопасности: Не знаю, по-разному бывало…

Аналитик: Отключение когда-нибудь длилось более двух рабочих дней?

Эксперт по безопасности: Нет, такого никогда не было.

Аналитик: А больше одного дня?

Эксперт по безопасности: Не помню… возможно.

Аналитик: Мы ищем ваш девяностопроцентный доверительный интервал для периода отключения в будущем. Если взять все отключения, вызванные вирусом, они обычно длились больше суток?

Эксперт по безопасности: Понимаю, к чему вы клоните. Пожалуй, в среднем они длились меньше одного дня.

Аналитик: Значит, верхний предел для события будет?..

Эксперт по безопасности: Что ж, думаю, что почти все системные сбои будут исправлены в течение двадцати четырех часов.

Аналитик: Отлично. Теперь давайте рассмотрим нижний предел. Насколько мал он может быть?

Эксперт по безопасности: С некоторыми инцидентами удается справиться за пару часов. Другие требуют больше времени.

Аналитик: Понятно, а систему когда-нибудь возвращали к работе меньше, чем за час?

Эксперт по безопасности: Полагаю, иногда это занимало менее тридцати минут.

Аналитик: Хорошо. Итак, ваш девяностопроцентный доверительный интервал продолжительности отключения от тридцати минут до двадцати четырех часов?

Эксперт по безопасности: Да, но мне кажется, что систему могут отключить и на три дня.

Аналитик: Конечно. Вот почему мы называем это девяностопроцентным доверительным интервалом. Мы допускаем пятипроцентную вероятность, что длительность окажется ниже нижнего предела, и пятипроцентную вероятность, что она будет выше верхнего предела. При моделировании мы получим значения меньше тридцати минут или более двадцати четырех часов в общей сложности один раз из десяти. В зависимости от выбранного распределения в редких случаях можно получить длительность в несколько дней.

Эксперт по безопасности: Тогда, пожалуй, все верно.

Это типичный разговор в ситуации с рядом величин с высокой неопределенностью. Сначала эксперты наотрез отказываются называть диапазон: кто-то, возможно, из-за расхожего мнения, что в бизнесе отсутствие точных показателей – то же самое, что и отсутствие какой-либо информации вообще; а кто-то, быть может, из-за нежелания стать «ответственным за число». Но отсутствие точного числа не означает, что вы ничего не знаете. Эксперту по безопасности было известно, что для большинства сбоев варианты, когда проблема устраняется менее чем за 30 минут или же решается дольше недели, определенно не соответствуют действительности. По крайней мере, он знал, что такие крайности случаются редко. Безусловно, у него не было конкретных величин, но неопределенность не была безграничной.