Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

анализа повысили качество решений и оценок, даже если это не так. Аналогия с плацебо и его ролью в медицинских исследованиях на самом деле слишком мягкая. В медицине плацебо и правда может давать положительный физиологический эффект, а не просто дарить ощущение полезности. Однако, используя термин в данном контексте, мы имеем в виду, что в буквальном смысле нет никакой пользы, а только одно ее ощущение. В областях, не относящихся к кибербезопасности, проводились исследования, показавшие, что чем больше усилий тратилось на анализ, тем выше была уверенность в его эффективности, даже если фактически она не повышалась совсем. Вот несколько таких примеров, также упоминавшихся в других книгах Хаббарда.

• Спортивные прогнозы. В исследовании, проведенном в 2008 году в Чикагском университете, отслеживалась вероятность исходов спортивных событий, которые определяли участники испытания, исходя из получаемых объемов информации о командах, но при этом не сообщались названия команд или имена игроков. По мере того как участникам выдавалось больше информации о командах в конкретной игре, повышалась их уверенность в том, что они выбирают победителя, даже несмотря на то что реальная вероятность выбора победителя оставалась почти неизменной независимо от количества полученной информации1.

• Психологическая диагностика. Другое исследование показало, что практикующие клинические психологи становятся увереннее в поставленном диагнозе и в прогнозах различных видов рискованного поведения, когда собирают больше информации о пациентах. И опять же процент соответствия прогнозов наблюдаемым результатам поведения на самом деле не повышался2.

• Инвестиции. Пол Андреассен, психолог-исследователь из Массачусетского технологического института, в 1980-х годах провел несколько экспериментов, показавших, что сбор большего количества сведений об акциях в инвестиционных портфелях повышал уверенность испытуемого, но не способствовал повышению доходности портфеля. В одном из исследований он продемонстрировал, что люди склонны слишком остро реагировать на новости и считать дополнительные сведения информативными, даже если в среднем доходность в результате не повышается3.

• Сотрудничество в спортивных прогнозах. Еще одно исследование предполагало сотрудничество спортивных болельщиков друг с другом для повышения точности прогнозов. И снова после совместной работы повышалась уверенность, но не фактические показатели. Более того, участники редко вообще меняли мнение, сформировавшееся еще до совместного обсуждения. Прямым следствием сотрудничества было стремление получить подтверждение тому решению, которое участники уже приняли4.

• Сотрудничество при обсуждении интересных фактов. В другом исследовании, посвященном изучению пользы сотрудничества, испытуемых просили дать ответы на вопросы на общую эрудицию, подобные вопросам из «Своей игры» (Jeopardy). Исследователи рассматривали многочисленные формы взаимодействия, в том числе дельфийский метод, свободное обсуждение и прочие методы сотрудничества. Несмотря на то что взаимодействие не улучшило оценки по сравнению с простым усреднением индивидуальных оценок, испытуемые действительно чувствовали большее удовлетворение от его результатов5.

• Определение лжи. В исследовании 1999 года измерялась способность испытуемых обнаруживать ложь в контролируемых тестах с использованием видеозаписи инсценированных допросов «подозреваемых». Актеры в роли подозреваемых должны были скрывать определенные факты о «преступлениях» и демонстрировать явную нервозность по поводу того, что их раскроют. Некоторых испытуемых, просматривавших видеозаписи, обучали распознавать ложь, а других – нет. Обученные испытуемые были более уверены в суждениях о распознавании лжи, хотя на деле распознавали ложь хуже, чем необученные6.

И это лишь несколько из множества подобных исследований, показывающих, что можно обучаться, собирать информацию, сотрудничать с другими людьми и это повысит уверенность в суждениях, но не фактическую эффективность оценки. Конечно, эти примеры относятся к проблемам решения совершенно иных типов задач. Но почему предполагается, что сходные проблемы не свойственны вопросам кибербезопасности? В фармацевтической промышленности новый препарат фактически считают плацебо, пока не будет доказана его эффективность. Тот факт, что плацебо существует в одних областях, означает, что оно может существовать и в других, если только данные не показывают обратного. Глядя на примеры проблем в таких разных областях, как инвестиции, скачки, футбольные матчи и диагностика пациентов в психологии, кажется, что бремя доказывания должно лежать на человеке, утверждающем, что в какой-то другой области, например кибербезопасности, можно избежать этих проблем. Так что давайте остановимся на предположении, что для сферы кибербезопасности характерны те же проблемы, что наблюдаются во многих других областях, где людям приходится выносить суждения.

Мы определенно не будем при измерении эффективности различных методов полагаться на заявления экспертов, независимо от того, каким уровнем знаний, по их мнению, они обладают и насколько громко о себе заявляют. И поэтому, хотя мы можем вполне обоснованно сказать, что обладаем большим опытом в области кибербезопасности (Сирсен) и количественного анализа рисков в целом (Хаббард), мы не будем полагаться на свой авторитет, говоря о том, что работает, а что – нет (а подобный недостаток, кажется, имеется у многих книг по управлению рисками и информационной безопасности). Наши аргументы будут основаны на опубликованных результатах крупных экспериментов. Любое упоминание случаев из жизни или цитирование лидеров мнений будет приводиться только для иллюстрации точки зрения, но не в качестве ее доказательства.

Бесспорно, что аргументы и доказательства – это способ получения достоверных выводов о реальности. Под «аргументами» нами понимается использование математики и логики для получения новых утверждений из предыдущих подтвержденных заявлений. К «доказательствам», на наш взгляд, не относятся случаи из жизни или доводы свидетелей (любой метод, включая астрологию и экстрасенсорное общение с животными, способен генерировать подобные «доказательства»). Лучшими источниками доказательств служат большие случайные выборки, клинические испытания, объективные данные за прошедшие периоды и т. д. А чтобы затем делать выводы, данные должны быть оценены с помощью соответствующих математических методов.

Почему у вас больше данных, чем кажется

Необходимо определить научно обоснованный способ оценки методов, а затем сравнить различные методы на основе этой оценки. Однако существует распространенное опасение, что в сфере кибербезопасности просто не найдется достаточного количества данных для надлежащих, статистически достоверных измерений. Иронично, что утверждается это почти всегда без должных математических расчетов.

Вспомните из главы 2: если расширить свой кругозор в отношении того, какие данные могут быть информативными, то на деле у нас будет больше данных, чем кажется. Поэтому ниже представлена часть способов, благодаря которым у нас больше данных об эффективности методов оценки рисков кибербезопасности, чем мы думаем.

•