Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

матрицах риска игнорируются корреляции между событиями. Давая нам интервью, он заявил, что «общепринято полностью игнорировать корреляции между уязвимостью, последствиями и угрозой. А ведь корреляции могут полностью изменить понимание ситуации для управления рисками».

Кокс видит потенциал в объединении вычисляемых рисков и рискоустойчивости: «Отношение к риску, принятое при оценке неопределенных последствий, никогда не раскрывается в сочетании с матрицей рисков. Однако, не зная его, невозможно расшифровать, что должны означать эти рейтинги или как они могут измениться, если оценку будет делать человек с иным отношением к риску. Оценки, показанные в матрице, отражают неизвестную смесь фактических и субъективных компонентов». И задает, похоже, самый главный вопрос: «Проблема возникает, когда, глядя на шкалу или матрицу, вы спрашиваете: „На что я смотрю?“»

Можно заявить, что это всего лишь особенность конкретной матрицы рисков, а с другой матрицей и другими категориями не возникнет такой проблемы. На самом же деле подобные примеры несоответствий все равно останутся, независимо от того, как определяются диапазоны воздействия и вероятности. Кокс даже работал над поиском способа избежать хотя бы некоторых из этих проблем. Его «теорема о матрице рисков» показывает, как соблюдение ряда правил и условий распределения категорий может привести к построению по крайней мере слабо согласованной матрицы. Он вполне четко определяет понятие «слабо согласованная» и никогда не признаёт, что матрица может являться таковой полностью. В трех словах – матрицы усиливают неоднозначность. Кокс резюмирует свою позицию, говоря: «Даже теоретически не существует однозначного способа составления таких рейтингов в виде матрицы рисков, когда лежащие в ее основе степени серьезности неопределенны».

Не все методы балльных оценок задействуют матрицы риска. Выше уже говорилось, к примеру, что в методах, рекомендуемых OWASP для получения общей оценки риска, просто суммируются несколько порядковых шкал. И тогда же мы упомянули, что этот и другие подобные методы в настоящее время являются приоритетными в сфере безопасности в различных системах оценки, включая общую систему оценки уязвимостей (Common Vulnerability Scoring System, CVSS), общую систему оценки слабых мест (Common Weakness Scoring System, CWSS), общую систему оценки конфигураций (Common Configuration Scoring System, CCSS) и т. п. Все эти системы измерений применяют неподходящие математические вычисления к нематематическим объектам с целью обобщения некоего понятия риска. У них нет тех проблем, что у матрицы рисков, но есть другие, например невозможность с точки зрения математики применять операции сложения и умножения к порядковым шкалам. Как отмечается нами в презентациях на данную тему, это все равно что сказать «птицы, умноженные на оранжевый, плюс рыбы, умноженные на зеленый, равно высокий». И, конечно же, методы, подобные применяемым в CVSS, столкнутся с теми же проблемами психологии восприятия шкал (обсуждались выше), что и любая матрица рисков.

Усиливающие эффекты. Дополнительные исследования против матрицы рисков (как будто было мало)

Упоминавшиеся выше эффекты накладываются друг на друга, т. е. вместе они сильнее затрудняют управление рисками, чем по отдельности. Данные, полученные из множества источников, показывают, что объединять шкалы и матрицы риска вредно.

В 2008 и 2009 годах Хаббард собрал данные о рисках кибербезопасности от пяти разных организаций. Они предоставляли ответы нескольких сотрудников, каждый из которых давал десятки оценок различных рисков. В общей сложности было получено чуть более 2000 отдельных ответов. Хаббард обнаружил, что ответы можно было четко поделить на группы – примерно 76 % ответов соответствовали одному из двух значений шкалы («3» или «4» по пятибалльной шкале). Иначе говоря, большинство ответов сводилось к выбору между двумя конкретными значениями шкалы из пяти. Матрица, которая должна была быть 5 × 5, чаще всего оказывалась матрицей 2 × 2. Прямым результатом группировки стало снижение разрешающей способности, т. е. увеличение ошибки округления и уменьшение объема информации. Объединив результаты с данными другого исследования, Хаббард предположил, что группировка может только усугубить проблемы, обнаруженные в предыдущих экспериментах.

Совместно с психологом Диланом Эвансом Хаббард опубликовал в 2010 году полученные результаты в журнале IBM Journal of Research & Development (Эванс – компетентный ученый и профессор, также занимавшийся изучением влияния плацебо и его использования в клинических испытаниях лекарств). В их работе был представлен исчерпывающий обзор существовавшей на тот момент литературы по этому вопросу, а также наблюдения Хаббарда по результатам анализа оценок на основе порядковых шкал. В итоге в работе был сделан следующий вывод:

Проблема, рассматриваемая в данной статье, серьезна. Простота использования методов балльных оценок в сочетании с трудностями отслеживания результатов в реальности, в том числе из-за их задержки во времени, означает, что распространение таких методов вполне может быть обусловлено исключительно их предполагаемыми преимуществами, а не наличием объективной ценности10.

Другое, более современное и (как Хаббард с удовольствием признаёт) более комплексное исследование, в ходе которого была изучена психологическая литература, теоретические вопросы и исходные данные, показало аналогичные результаты. В статье для журнала Economics & Management Общества инженеров-нефтяников (Society of Petroleum Engineers, SPE) авторы Филип Томас, Рейдар Брэтвольд и Дж. Эрик Бикель проанализировали 30 работ, в которых описывались различные матрицы рисков (в основном используемые в нефтяной и газовой промышленности). Они не только представили полноценный обзор всех источников литературы (включая Будеску, Кокса, Хаббарда, Эванса и многих других), но и изучили влияние изменения вида матрицы риска и способа ранжирования различных рисков, а затем измерили, как матрицы рисков искажают данные11.

Опираясь на выводы Кокса, Томас с соавторами показали, что различные виды матриц рисков влияли на ранжирование рисков таким образом, как их разработчики, вероятно, не предполагали. Например, в пяти из 30 изученных ими видов матриц рисков порядок оценки был инвертирован, т. е. высокому воздействию или вероятности присваивалось значение «1», а не «5». Затем в таких матрицах оценки вероятности и воздействия перемножались, как и во многих других, но меньший результат указывал на высокую степень риска. Разработчики этих методов, возможно, думали, что вид матрицы – условность, никак не влияющая на ранжирование рисков. На самом же деле все с точностью до наоборот. Также Томас и соавторы изучили влияние различных способов распределения вероятности и воздействия по нескольким дискретным порядковым значениям (например, категория «маловероятно» определяется диапазоном от 1 до 25 %, а умеренное воздействие – от 100 000 до 1 млн долл.). И снова было установлено, что произвольный выбор вида сильно сказывается на ранжирование рисков.