Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Это должно дать вам первый намек на то, как мы будем проверять, являются ли результаты нашей регрессии статистически значимыми. Для коэффициента регрессии, как и для опросов общественного мнения и других форм статистического вывода, мы можем вычислить стандартную ошибку, которая представляет собой показатель вероятного разброса, наблюдаемый нами в значениях этого коэффициента в случае, если бы мы выполнили регрессионный анализ по нескольким выборкам, сформированным из одной и той же совокупности. Если бы мы измерили рост и вес в какой-то другой выборке, состоящей из 3000 взрослых американцев, то последующий анализ мог бы показать, что каждый дополнительный дюйм роста ассоциируется с дополнительными 4,3 фунта веса. Если бы мы проделали те же самые действия в отношении еще одной выборки из 3000 взрослых американцев, то могли бы обнаружить, что каждый дополнительный дюйм роста связан с дополнительными 5,2 фунта веса. И здесь на помощь снова приходит нормальное распределение. При использовании больших выборок данных можно предположить, что полученные нами разные коэффициенты регрессии будут распределены по нормальному закону вблизи «истинной» зависимости между ростом и весом в совокупности взрослых американцев. В таком предположении мы можем вычислить стандартную ошибку для коэффициента регрессии, что позволит составить представление о том, насколько большой разброс коэффициентов регрессии следует ожидать от выборки к выборке. Я не буду здесь вдаваться в подробное объяснение формулы для вычисления стандартной ошибки, поскольку для этого пришлось бы прибегнуть к множеству математических выкладок и к тому же все базовые статистические пакеты программного обеспечения вычислят ее за вас.

Однако должен предупредить, что при использовании небольшой выборки данных – например группы из 20 взрослых американцев вместо группы из более чем 3000 участников исследования Americans’ Changing Lives – нормальное распределение на помощь нам уже не придет. В частности, если мы будем то и дело выполнять регрессионный анализ в отношении разных малых выборок, то уже не сможем исходить из того, что полученные нами разные коэффициенты регрессии будут распределены по нормальному закону вблизи «истинной» зависимости между ростом и весом в совокупности взрослых американцев. Вместо этого они будут распределены вблизи «истинной» зависимости между ростом и весом в совокупности взрослых американцев по закону, известному как t-распределение, или распределение Стьюдента. (Вообще говоря, t-распределение характеризуется большей степенью разброса, чем нормальное распределение, и, следовательно, имеет «более толстые хвосты».) Все прочее остается неизменным; любые базовые статистические пакеты программного обеспечения без проблем справятся с дополнительной сложностью, связанной с использованием t-распределений. Поэтому более подробное объяснение t-распределения приведено в приложении к этой главе.

Пока же будем исходить из того, что имеем дело с большими выборками (и с нормальным распределением). Самое главное сейчас – понять, почему для нас так важна стандартная ошибка. Как и в случае с опросами общественного мнения и другими формами статистического вывода, мы ожидаем, что более половины наблюдаемых коэффициентов регрессии будут отстоять от истинного параметра[58] совокупности на расстояние, не превышающее одной стандартной ошибки. Примерно 95 % коэффициентов регрессии будут отстоять от истинного параметра совокупности на расстояние, не превышающее двух стандартных ошибок. И так далее. Учитывая сказанное, можно считать, что мы почти у цели, так как теперь можем выполнить небольшую проверку гипотез. (А вы и в самом деле полагали, что с проверкой гипотез покончено?) Поскольку у нас уже есть коэффициент и стандартная ошибка, мы можем проверить основную гипотезу, которая заключается в том, что между объясняющей и зависимой переменной на самом деле никакой зависимости нет (а это, в свою очередь, означает, что истинная зависимость между ними в данной совокупности равна нулю).

В нашем простом примере с ростом и весом мы можем проверить, какова вероятность обнаружить, что в выборке Americans’ Changing Lives каждый дополнительный дюйм роста ассоциируется с 4,5 дополнительных фунта веса, если на самом деле во всей совокупности зависимость между ростом и весом отсутствует. Я вычислил соответствующую регрессию, воспользовавшись одним из распространенных статистических пакетов; стандартная ошибка по коэффициенту роста составила 0,13. Это означает, что в случае многократного выполнения такого анализа (скажем, с сотней разных выборок) можно было бы ожидать, что наш наблюдаемый коэффициент регрессии будет отстоять от истинного параметра совокупности на расстояние, не превышающее двух стандартных ошибок, примерно в 95 случаях из 100.

Следовательно, это позволяет нам выразить полученные результаты двумя разными, но взаимосвязанными между собой способами. Первый – это построить 95 %-ный доверительный интервал. Мы можем утверждать, что в 95 случаях из 100 доверительный интервал (который составляет 4,5 ± 0,26) будет включать истинный параметр совокупности. Это диапазон от 4,24 до 4,76. Любой из статистических пакетов также вычислит этот интервал. Второй – отвергнуть основную гипотезу об отсутствии зависимости между ростом и весом для совокупности в целом на 95 %-ном доверительном уровне, видя, что наш 95 %-ный доверительный интервал для истинной зависимости между ростом и весом не включает нуль. Этот результат можно также выразить как статистически значимый на уровне 0,05: существует лишь 5 %-ная вероятность того, что мы ошибочно отвергли основную гипотезу.

На самом деле наши результаты еще более убедительны, чем кажется на первый взгляд. Стандартная ошибка (0,13) очень мала по сравнению с величиной коэффициента (4,5). Практика показывает, что этот коэффициент можно считать статистически значимым, когда его величина по меньшей мере в два раза превышает величину стандартной ошибки[59]. Любой из базовых статистических пакетов также вычисляет p-значение, которое в данном случае равняется 0,000; это означает, что если в действительности зависимости между ростом и весом в совокупности в целом нет, то вероятность получить столь необычный результат, какой нам удалось наблюдать, по сути, равна нулю. Не забывайте, что мы вовсе не доказали, что более рослые люди весят больше во всей совокупности, а лишь показали, что если бы это было не так, то наши результаты для выборки Americans’ Changing Lives были бы крайне маловероятными.

Базовый регрессионный анализ дает еще одну статистику, заслуживающую внимания, R², которая предсталяет собой показатель суммарной величины разброса, объясняемого уравнением регрессии[60]. Нам известно, что в выборке Americans’ Changing Lives наблюдается широкий разброс веса. Многие члены выборки весят больше среднего веса для данной группы в целом; многие – меньше. Величина R² говорит нам, какая доля этого разброса вокруг среднего значения ассоциируется лишь с различиями в росте. В нашем случае эта доля составляет 0,25, или 25 %. Более значимым может быть то обстоятельство, что 75 % этого разброса в весе для нашей выборки остаются необъясненными. Есть очевидные факторы, помимо роста, которые могут нам помочь их объяснить. Ситуация становится интереснее.