Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Для каждого набираемого телефонного номера один взрослый член семьи назначался респондентом посредством некой «произвольной процедуры» (например, телефонную трубку предлагалось взять самому молодому из взрослых членов семьи). Этот процесс был усовершенствован, чтобы получить выборку респондентов, отражающую возрастной и половой состав взрослого населения страны. Самое главное – интервьюер будет пытаться сделать несколько звонков в разное время суток, чтобы дозвониться на каждый из выбранных телефонных номеров. Эти неоднократные попытки – до десяти или двенадцати звонков на один и тот же телефонный номер – являются важным условием получения правильной выборки. Очевидно, было бы дешевле и проще звонить на разные телефонные номера до тех пор, пока достаточно большая выборка взрослых не подойдет к телефонам и не ответит на соответствующие вопросы. Однако такая выборка допустила бы сильный крен в пользу тех, кто большую часть времени проводит дома, а в это число входят главным образом безработные, пенсионеры, инвалиды и т. д. Такой вариант опроса был бы вполне уместен, если бы вы намеревались квалифицировать его результаты следующим образом: деятельность Обамы на посту президента США одобряют 46 % безработных, пенсионеров и прочих слоев населения, с готовностью отвечающих на телефонные опросы общественного мнения.

Одним из показателей достоверности опроса является так называемый процент ответивших, то есть доля респондентов, выбранных для проведения опроса и в конечном счете ответивших на его вопросы. Низкий процент ответивших может указывать на неправильное формирование выборки. Чем больше респондентов отказались отвечать на поставленные вопросы (или до них просто не удалось дозвониться), тем выше вероятность, что эта значительная группа людей в чем-то весьма существенно отличается от тех, кто согласился участвовать в опросе. Организаторы опроса могут выполнить тест на «систематическую ошибку отсутствия ответа», проанализировав имеющиеся в их распоряжении данные о респондентах, с которыми им не удалось установить контакт. Возможно, они проживают в каком-то специфическом регионе, или не желают отвечать на вопросы в силу какой-то особой причины, или принадлежат к какой-то расовой или этнической группе, или имеют какой-то определенный уровень дохода. Анализ такого рода зачастую помогает выяснить, повлияет ли низкий процент ответивших на результаты опроса в целом.

Позволяет ли формулировка вопросов получить точную информацию по интересующим нас темам? Чтобы выяснить настроения в обществе, необходимо учитывать гораздо больше нюансов, чем при оценивании экзамена или измерении веса респондентов. Результаты социологического опроса во многом зависят от правильности формулировки задаваемых вопросов. Рассмотрим пример, который на первый взгляд кажется довольно простым: какой процент американцев поддерживает смертную казнь? Как следует из названия этой главы, это заведомое большинство американцев. Согласно опросу, проведенному Институтом Гэллапа, начиная с 2002 года свыше 60 % американцев ежегодно заявляют, что поддерживают применение смертной казни в отношении лиц, осужденных за убийство. Процент американцев, выступающих за смертную казнь, колеблется в относительно узком диапазоне, от высоких 70 % в 2003 году до более низких 64 % в отдельные годы. Эти данные позволяют сделать однозначный вывод: заведомое большинство американцев выступают за смертную казнь.

Или такой вывод слишком поспешен? Поддержка американцами смертной казни падает, когда в качестве альтернативы предлагается пожизненное тюремное заключение без права условно-досрочного освобождения. Опрос, проведенный Институтом Гэллапа в 2006 году, показал, что лишь 47 % американцев считают смертную казнь справедливой карой за убийство, тогда как 48 % высказываются за пожизненное тюремное заключение{65}. Это не просто некий статистический парадокс, которым можно удивить гостей, пришедших к вам на вечеринку; фактически это уже означает отсутствие в стране большинства, поддерживающего применение смертной казни при наличии альтернативы в виде пожизненного тюремного заключения. Когда мы пытаемся выяснить отношение общества к той или иной проблеме, важнейшую роль играют формулировка вопроса и выбор языка.

Политики зачастую стараются сыграть на этом обстоятельстве, используя опросы общественного мнения и фокус-группы для тестирования «слов, которые приносят нужный результат». Например, избиратели в большей степени склонны поддерживать формулировку «снижение налогового бремени», чем «урезание налогов», несмотря на то что обе формулировки, по сути, описывают одно и то же действие. Аналогично, избирателей меньше волнует «изменение климата», чем «глобальное потепление», несмотря на то что глобальное потепление – лишь одна из форм изменения климата. Очевидно, политики пытаются манипулировать ответами избирателей путем использования «не нейтральных» слов. Если социологичекая организация стремится создать себе репутацию «честной», то есть выдающей результаты, заслуживающие доверия, она должна отказаться от употребления языка, способного повлиять на точность собираемой информации. Точно так же если по истечении какого-то времени предполагается сравнивать результаты опросов (например, как потребители оценивают нынешнее состояние экономики в сравнении с тем, как они оценивали его год назад), то вопросы, позволяющие получить требуемую информацию, в том и другом случае должны быть одинаковыми – или по крайней мере очень похожими.

Организации по исследованию общественного мнения (например Gallup Organization) зачастую проводят так называемое тестирование расщепленной выборки, когда разные варианты одного и того же вопроса тестируются на разных выборках, чтобы оценить, как незначительные изменения в формулировке вопроса влияют на ответы респондентов. Для таких экспертов, как Фрэнк Ньюпор из Gallup Organization, ответы буквально на каждый вопрос несут в себе значимую информацию, даже когда они кажутся несовместимыми{66}. Тот факт, что отношение американцев к смертной казни резко меняется, когда в качестве альтернативы предлагается пожизненное тюремное заключение без права условно-досрочного освобождения, свидетельствует о чем-то важном. По мнению Ньюпора, результаты любого опроса общественного мнения необходимо рассматривать в общем контексте. Никакой отдельно взятый вопрос или опрос не в состоянии охватить всей глубины настроений общества, когда речь идет о какой-либо сложной проблеме.

Говорят ли респонденты правду? Опрос общественного мнения, как и знакомство в интернете, предполагает некоторое «пространство для маневра». Нам известно, что люди не всегда говорят правду, особенно когда им приходится отвечать на разного рода затруднительные и щекотливые вопросы. Респонденты могут завышать свой доход или преувеличивать свои возможности, когда у них спрашивают, например, о том, сколько раз в месяц они занимаются сексом. Они могут сообщить, что пойдут голосовать, хотя на самом деле предпочтут какой-то другой вид досуга. Они могут бояться выражать непопулярную или социально неприемлемую точку зрения. Именно по этим причинам даже идеально продуманный и организованный опрос зависит от того, насколько правдивы ответы респондентов.