Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Медиана семейного дохода в Соединенных Штатах составляет примерно 51 900 долларов; средний семейный доход – 70 900 долларов{57}. (Люди вроде Билла Гейтса сдвигают средний семейный доход вправо; вспомните последствия появления Билла Гейтса в баре, о которых рассказывалось в главе 2.) Теперь допустим, что мы берем случайную выборку из 1000 американских семей и собираем данные об их годовом семейном доходе. Что можно сказать об этой выборке, основываясь на приведенной выше информации и центральной предельной теореме?

Оказывается, довольно много. Прежде всего, можно подтвердить наше предположение о том, что среднее значение любой выборки будет равняться среднему значению совокупности, из которой такая выборка сформирована. Сущность репрезентативной выборки заключается в том, что она похожа на совокупность, из которой сформирована. Любая надлежащим образом созданная выборка не будет в среднем отличаться от Америки в целом. В такую выборку войдут и менеджеры хеджевых фондов, и бездомные, и полицейские, и все прочие основные группы населения, причем все они будут включены в выборку приблизительно в той пропорции, в какой представлены в соответствующей совокупности. Следовательно, можно ожидать, что средний семейный доход в репрезентативной выборке из 1000 американских семей приблизительно составит 70 900 долларов. Будет ли он в точности равен 70 900 долларам? Нет. Но существенно отличаться от этой суммы не будет.

Если мы возьмем несколько выборок из 1000 американских семей, то предположительно их средние значения будут гуппироваться вокруг среднего значения данной совокупности, то есть 70 900 долларов. Можно ожидать, что некоторые из средних значений будут несколько выше этой суммы, а другие – несколько ниже. Может ли среди этих выборок оказаться такая, у которой средний семейный доход составит 427 000 долларов? Разумеется да, однако это очень и очень маловероятно. (Не забывайте, что мы используем правильную методологию формирования выборок, иными словами, не проводим опрос на парковке возле Greenwich Country Club.) Столь же маловероятно, что средний семейный доход в надлежащим образом сформированной выборке из 1000 американских семей составит 8000 долларов.

Все наши рассуждения основываются на простейшей логике. Центральная предельная теорема позволяет пойти еще дальше, описывая ожидаемое распределение средних значений разных выборок, группирующихся вблизи среднего значения генеральной совокупности. А именно, средние значения этих выборок вблизи среднего значения нашей совокупности (в данном случае 70 900 долларов) распределены по нормальному закону. Вспомните, что форма распределения исходной совокупности значения не имеет. Распределение семейного дохода в Соединенных Штатах характеризуется значительным скосом, однако у распределения средних значений выборок скос отсутствует. Если бы мы взяли 100 разных выборок, каждая из которых включает 1000 семей, и построили график частоты наших результатов, то можно было бы ожидать, что средние значения этих выборок образуют хорошо знакомое нам «колоколообразное» распределение в районе 70 900 долларов.

Чем больше количество выборок, тем точнее это распределение аппроксимируется нормальным распределением. А чем больше размер каждой выборки, тем такое распределение будет уже. Чтобы проверить этот результат, давайте проведем эксперимент с реальными данными о весе реальных американцев. Мичиганский университет выполнил повторное исследование под названием Americans’ Changing Lives («Меняющаяся жизнь американцев»), которое предусматривает детальные наблюдения за несколькими тысячами взрослых американцев, в том числе и за их весом. Распределение веса слегка скошено вправо, поскольку биологически легче весить на 100 фунтов больше нормы, чем на 100 фунтов меньше нормы. Средний вес для всех взрослых в этом исследовании составляет 162 фунта.

С помощью компьютера и базового статистического программного обеспечения можно создать на основе данных Americans’ Changing Lives произвольную выборку из 100 человек. Вообще говоря, это можно делать многократно, чтобы увидеть, как полученные результаты согласуются с тем, что предсказывает нам центральная предельная теорема. Ниже приведен график распределения 100 средних значений выборок (с округлением до ближайшего фунта), сгенерированных случайным образом на основе данных Americans’ Changing Lives.

Чем больше размер выборки и чем больше выборок, тем точнее распределение их средних значений аппроксимируется нормальным распределением. (Чтобы обеспечить применимость центральной предельной теоремы, желательно, чтобы размер выборки был не менее 30.) Это должно быть понятно на интуитивном уровне. Большой размер выборки в меньшей степени подвержен случайным отклонениям. Выборка же из 2 человек может быть сильно скошена, если в ней окажется человек с необычайно большим (или слишком малым) весом. Напротив, на выборку из 500 человек лишь очень незначительно повлияет наличие в ней нескольких человек с нестандартным весом.

Итак, мы очень близки к тому, чтобы воплотить в жизнь все свои статистические мечты! Средние значения выборок распределены приблизительно по нормальному закону, как описано выше. Эффективность нормального распределения является следствием нашей информированности о том, какая примерно доля наблюдений окажется выше или ниже среднего значения на расстоянии, не превышающем одного среднеквадратического отклонения (68 %); на расстоянии, не превышающем двух среднеквадратических отклонений (95 %), и т. д. Это очень важная для нас информация.

Ранее в этой главе я указывал на возможность интуитивного вывода о том, что автобус с пассажирами, средний вес которых на двадцать пять фунтов превышает средний вес всех зарегистрированных участников марафона, вряд ли может быть потерявшимся автобусом с его участниками. Чтобы получить численное подтверждение своей интуитивной догадки – то есть иметь основания утверждать, что этот вывод окажется правильным в 95 (или в 99, или в 99,9) процентах случаев, – нам необходима еще одна техническая характеристика – стандартная (среднеквадратическая) ошибка.

Стандартная ошибка измеряет разброс средних значений выборок. Насколько предположительно близко они будут группироваться вокруг среднего значения совокупности? Здесь возможна некоторая путаница, поскольку вам уже известны два разных показателя разброса: среднеквадратическое (стандартное) отклонение и стандартная (среднеквадратическая) ошибка. Чтобы внести ясность в этот вопрос, нужно учитывать следующее.

1. Среднеквадратическое отклонение измеряет разброс в исходной совокупности. В данном случае оно может измерять разброс значения веса всех участников Framingham Heart Study, то есть разброс вблизи среднего значения для всех зарегистрированных участников марафона.