Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

У каждого эксперта в списке было несколько дубликатов, в общей сложности 2428 пар дублей.

Чтобы измерить несогласованность, было достаточно сравнить первую оценку, данную экспертом, со второй для идентичного сценария. Сравнение оценок показано на рис. 4.1. Для лучшего отображения концентрации большого количества точек в одних и тех же местах диаграммы вокруг каждой точки добавлено немного шума, чтобы они не накладывались друг на друга. Шум очень мал по сравнению с общим эффектом и предназначен только для отображения диаграммы, т. е. не учитывается при статистическом анализе результатов.

Как видно, в 26 % случаев разница между первой и второй оценками составила более 10 процентных пунктов, например первая оценка была 15 %, а вторая – 26 %. Некоторые различия оказались гораздо существеннее. В 2,7 % случаев разница превысила даже 50 процентных пунктов. Сводная информация несогласованности в ответах представлена на рис. 4.2.

Рис. 4.1. Согласованность оценок в дублирующихся сценариях: сравнение первой и второй оценок вероятностей одного и того же сценария, сделанных одним и тем же экспертом

Какими бы непоследовательными ни выглядели результаты, на самом деле все гораздо хуже, чем кажется. Здесь нужно сравнить эти несогласованности с «предвзятостью» эксперта, то есть насколько сильно различаются ответы экспертов при оценке событий конкретного типа. Вероятности существенно различались в зависимости от типа оцениваемого риска. Например, риску нарушения работоспособности (выхода системы из строя), как правило, присваивали более высокую вероятность, чем риску нарушения целостности, при котором кто-то мог фактически украсть денежные средства с помощью несанкционированных транзакций. Если все ответы эксперта для данного типа риска (например, вероятности крупной утечки данных) колебались между, скажем, 2 и 15 %, то в большинстве случаев исследователи определяли, что разброс его оценок составлял 5 или 10 процентных пунктов.

Рис. 4.2. Сводная информация о распределении несогласованных оценок

Согласованность оценок отчасти показывает, насколько тщательно эксперт изучает каждый сценарий. У некоторых экспертов несогласованность являлась основной причиной большинства предвзятых суждений. Обратите внимание, что если бы несогласованность и предвзятость являлись одним и тем же, то наблюдалась бы ситуация, когда эксперт просто подбирает вероятности случайным образом, независимо от предоставленной информации. В указанных же опросах большинство испытуемых как минимум пытались отвечать с учетом внимательного изучения предоставленной информации. Тем не менее мы видим, что несогласованность оценок являлась причиной по крайней мере в 21 % случаев предвзятости. Это значительный процент суждений эксперта, отражающий исключительно его личную несогласованность оценок.

Следует отметить, что участники обнаружили небольшой процент дубликатов. Некоторые отправляли электронные письма со словами: «Мне кажется, в вашем опросе допущена ошибка. Эти две строки содержат идентичные данные». Но никто не заметил больше двух дублирующихся пар, а большинство людей не нашли и одной. Что еще важнее, обнаружение ряда дубликатов оценщиками могло только уменьшать наблюдаемую несогласованность оценок. Тот факт, что они случайно заметили несколько дубликатов, означает, что их показатель согласованности оценок получился выше, чем в случае, если бы они не нашли дубликаты. Другими словами, несогласованность по крайней мере такова, как показано в результатах исследования, но не ниже.

К счастью, мы также можем показать, что степень несогласованности можно уменьшить, что приведет к повышению точности оценок. Можно статистически сгладить несогласованность оценок экспертов с помощью математических методов, уменьшающих ошибку оценивания у экспертов. Авторам доводилось применять эти методы на практике именно в сфере кибербезопасности (данные о степени несогласованности оценок с рис. 4.1 взяты как раз из таких реальных проектов). Более подробно о них мы расскажем далее.

Компонент сотрудничества

Как мы уже выяснили, существует немало данных о разных аспектах субъективного экспертного суждения, однако также имеются любопытные исследования о том, как объединить суждения разных экспертов. Возможно, наиболее распространенный метод объединения экспертных суждений иногда упоминается в вооруженных силах США под названием BOGSAT. Это акроним, означающий «куча парней сидит кружком и разговаривает». Эксперты собираются вместе и обсуждают, насколько вероятно наступление события или каковы будут последствия, если оно произойдет, пока не достигнут консенсуса (или, по крайней мере, пока не стихнут последние возражения).

Для объединения суждений могут применяться различные математические методы, а также существуют разнообразные способы обеспечения взаимодействия между экспертами. Как и в случае с прочими компонентами, нас интересует, являются ли одни методы измеримо более эффективными, чем другие.

Некоторые исследования, например, показывают, что случайную несогласованность в стабильности оценок отдельных людей можно уменьшить, просто усреднив оценки, данные несколькими людьми28. Вместо того чтобы собраться вместе и попытаться достичь консенсуса в группе, каждый из экспертов проводит оценку самостоятельно, и их оценки усредняют.

Данный подход и лежащие в его основе исследования были описаны в книге Джеймса Шуровьески «Мудрость толпы»29. Шуровьески также изложил несколько других методов сотрудничества, таких как «рынки предсказаний»[6], демонстрирующих заметно бóльшую эффективность по сравнению с оценками отдельных экспертов. Те же данные, которые позволили компании Hubbard Decision Research измерить стабильность экспертов, позволяют измерить и консенсус. Если бы эксперты проявляли индивидуальную несогласованность, т. е. демонстрировали низкую стабильность, можно было бы ожидать, что разногласия в их оценках будут возникать исключительно из-за случайной индивидуальной несогласованности. Однако фактическое общее количество разногласий между экспертами оказалось больше, чем можно было объяснить одной лишь мерой стабильности. То есть наряду с индивидуальной несогласованностью наблюдались и общие разногласия между экспертами одной организации по поводу важности различных факторов и риска атак в сфере кибербезопасности в целом.

Тем не менее интересно отметить, что эксперты в сфере кибербезопасности в одной организации давали ответы, которые хорошо соотносились с ответами их коллег из другой похожей организации. Один эксперт мог оценить вероятность возникновения события значительно выше, чем его коллеги, но при этом информация, заставлявшая его повышать или понижать вероятность в оценке, оказывала аналогичное воздействие и на других экспертов. То есть они были как минимум более или менее согласны в отношении «направления». Следовательно, разные эксперты вряд ли просто выбирали ответы наугад. В определенной степени они соглашались друг с другом, и, как показали результаты описанного выше исследования, их прогнозы можно сделать более точными, если взять среднюю оценку нескольких экспертов.

Компонент разложения