Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

самого, не следует полагаться на самих экспертов в оценке их эффективности.

Как и раньше, начнем с изучения имеющихся исследований по теме. Мы хотим рассмотреть применяемые экспертами инструменты и выявить, действительно ли они повышают ценность их суждений или, наоборот, понижают ее.

Компонент субъективной вероятности

Важнейшим компонентом анализа рисков является оценка экспертами по кибербезопасности вероятности возникновения событий, связанных с нарушением кибербезопасности, и потенциальных убытков при их наступлении. Независимо от того, используются ли вероятности в явном виде или неколичественные вербальные шкалы, экспертам необходимо определить, является ли один вид угрозы более вероятным, чем другой. Поскольку в какой-то момент процесса придется полагаться на мнение эксперта, следует рассмотреть, как можно измерить его мастерство в решении задачи и что покажут такие измерения.

На эту тему опубликовано достаточно исследований в самых разных областях, проводившихся с участием экспертов и неспециалистов. Во всех исследованиях применялся схожий подход: собиралось большое количество оценок, сделанных различными людьми, а затем они сравнивались с наблюдаемыми результатами. Полученные выводы убедительны и повторяются в каждом новом исследовании, посвященном данному вопросу.

• Без обучения или других средств контроля почти все люди, определяя вероятности, получают значения, существенно отличающиеся от реально наблюдаемых результатов (например, когда кто-то говорит, что уверен на 90 %, предсказанный результат происходит гораздо реже, чем в 90 % случаев).

• Существуют методы, в том числе обучение, которые значительно повышают способность экспертов оценивать субъективные вероятности (т. е. когда они будут говорить, что уверены на 90 %, то окажутся правы примерно в 90 % случаев).

Приведем пример, связанный с другой профессией – финансовыми директорами, – иллюстрирующий типичные результаты подобных исследований. В 2010 году Национальным бюро экономических исследований был проведен эксперимент, в котором финансовых директоров ряда корпораций попросили оценить годовую доходность индекса S&P 50021. Оценки давались в виде диапазонов (значения нижнего и верхнего пределов), достаточно широких, чтобы финансовый директор посчитал, что правильный ответ с вероятностью 80 % будет содержаться в данном диапазоне. Назовем эти диапазоны 80 %-ными доверительными интервалами[4]. Просто подождав, в итоге можно было легко узнать фактическую доходность за указанный период времени. Несмотря на то что финансовые директора были очень опытными и образованными, как и требовала должность, их 80 %-ные ДИ на практике содержали правильные ответы только в 33 % случаев. То есть испытуемые считали, что предоставили диапазоны, не содержащие правильный ответ, лишь в 20 % случаев, а на самом деле правильные ответы выходили за пределы их диапазонов в 67 % случаев. Показатель «неожиданных отклонений» оказался гораздо выше, чем они ожидали.

Причина кроется в чрезмерной уверенности. Уверенность экспертов, в данном случае выражавшаяся в ширине 80 %-ного ДИ, позволяла получить правильный ответ гораздо реже, чем они ожидали. Другими словами, они были уверены в значении вероятности 80 %, что указанный интервал содержит наблюдаемое значение, но на самом деле такой вероятности не было. К сожалению, этим грешат не только финансовые директора. Несколько исследований, проведенных в последние десятилетия, подтверждают, что излишняя самоуверенность – распространенная черта почти всех нас. Откалиброванные оценки вероятности, судя по большому объему опубликованных результатов, являются предметом исследований с 1970-х годов, и начало этим исследованиям положили Даниэль Канеман и Амос Тверски22. Их работа показала, что почти все представители самых разных профессии так же излишне самоуверенны, как и упомянутые финансовые директора, причем независимо от рода деятельности.

Это исследование не является чисто академическим. Предмет изучения влияет на реальные суждения и на действия, предпринимаемые для решения реальных проблем. За последние 20 лет Хаббард сумел сформировать один из крупнейших наборов данных, касающихся этого явления. Он протестировал и обучил более 1000 человек из различных отраслей, занимающих разные должности и относящихся к разным уровням управления. Из них по меньшей мере 54 испытуемых специализировались именно в области кибербезопасности.

Чтобы измерить, насколько хорошо эксперты распределяют субъективные вероятности, Хаббард проводил с ними серию тестов, аналогичных тем, что использовались в большинстве других исследований. В контрольном тестировании (оно проводится перед обучением, направленным на совершенствование навыков оценки) он просил участников указать 90 %-ный ДИ количества верных ответов для вопросов на общую эрудицию (когда родился Исаак Ньютон, какова высота самого высокого здания в мире и т. д.). Большинство людей указали диапазоны, содержавшие 40–50 % правильных ответов, что соответствует результатам из упомянутых выше исследований[5].

Чрезмерная уверенность также наблюдается при определении вероятностей дискретных событий, например приведет ли кибератака к крупной утечке данных в этом году. Безусловно, результат единичного события, как правило, не является достоверным индикатором того, насколько реалистична ранее заявленная вероятность. Если говорится о существовании 25 %-ной вероятности наступления события к концу следующего года, то сам факт, что оно произошло или не произошло, еще не будет являться доказательством нереалистичности вероятности. Но если отследить работу ряда экспертов, делающих множество вероятностных оценок, то можно сравнить ожидания с наблюдениями и составить более достоверное представление о качестве оценки. Например, пусть группа экспертов дает 1000 оценок вероятности определенных событий. Это могут быть утечки данных какого-то минимального объема, возникающие в течение конкретного периода времени, вероятность убытков на сумму более 10 млн долл. и т. п. Предположим, по словам экспертов, в 100 из этих оценок они уверены на 90 %. Тогда заявленный результат должен происходить примерно в 90 случаях из 100. Можно ожидать некоторых расхождений в силу удачного стечения обстоятельств или же вычислить (о чем будет рассказано позже) допустимое количество случайных ошибок. С другой стороны, если они окажутся правы только в 65 из 100 случаев, когда заявляли, что уверены в результате на 90 %, такой показатель гораздо хуже, чем можно было бы ожидать при банальном невезении (если бы речь шла только о невезении, шанс, что они будут ошибаться так часто, составил бы всего 1 к 68,9 млрд). Поэтому гораздо правдоподобнее выглядит объяснение, что эксперты просто наделяли слишком высокой вероятностью события, в которых им следовало быть менее уверенными.

К счастью, другими исследователями были проведены эксперименты23, показавшие, что экспертов можно научить лучше оценивать вероятности с помощью наборов оценочных тестов, обеспечения быстрой, постоянной и четкой обратной связи в достаточном объеме, а также техник повышения точности субъективных вероятностей. Иными словами, исследователи обнаружили, что оценка неопределенности – общий навык, которому можно обучить, добившись измеримого улучшения показателей. То есть, когда откалиброванные эксперты в области кибербезопасности говорят, что они