В предыдущих заметках были описаны процедуры проверки гипотез о числовых и категорийных данных: , несколько , а также , позволяющего изучать один или . В настоящей заметке мы рассмотрим методы проверки гипотез о различиях между долями признака в генеральных совокупностях на основе нескольких независимых выборок.
Для иллюстрации применяемых методов используется сценарий, в котором оценивается степень удовлетворенности постояльцев отелей, принадлежащих компании Т. С. Resort Properties. Представьте себе, что вы - менеджер компании, владеющей пятью отелями, расположенными на двух курортных островах. Если гости удовлетворены обслуживанием, велика вероятность, что они вернутся на следующий год и порекомендуют своим друзьям остановиться именно в вашем отеле. Чтобы оценить качество обслуживания, постояльцев просят заполнить анкету и указать, довольны ли они гостеприимством. Вам необходимо проанализировать данные опроса, определить общую степень удовлетворенности запросов постояльцев, оценить вероятность того, что гости приедут вновь в следующем году, а также установить причины возможного недовольства некоторых клиентов. Например, на одном из островов компании принадлежат отели Beachcomber и Windsurfer. Одинаково ли обслуживание в этих отелях? Если нет, как эту информацию можно использовать для улучшения качества работы компании? Более того, если некоторые постояльцы заявили, что больше к вам не приедут, какие причины они указывают чаще других? Можно ли утверждать, что эти причины касаются лишь конкретной гостиницы и не относятся ко всей компании в целом?
Здесь использованы следующие обозначения: X 1 - количество успехов в первой группе, X 2 - количество успехов во второй группе, n 1 – X 1 - количество неудач в первой группе, n 2 – X 2 - количество неудач во второй группе, X = X 1 + X 2 - общее количество успехов, n – X = (n 1 – X 1 ) + (n 2 – X 2 ) - общее количество неудач, n 1 - объем первой выборки, n 2 - объем второй выборки, n = n 1 + n 2 - суммарный объем выборок. Представленная таблица имеет две строки и два столбца, поэтому она называется факторной таблицей 2×2. Ячейки, образованные пересечением каждой строки и столбца, содержат количество успехов или неудач.
Проиллюстрируем применение таблицы сопряженности признаков на примере сценария, описанного выше. Предположим, что на вопрос «Вернетесь ли вы в следующем году?» утвердительно ответили 163 из 227 постояльцев отеля Beachcomber, и 154 из 262 постояльцев отеля Windsurfer. Существует ли статистически значимая разность между степенью удовлетворенности постояльцев отелей (представляющая собой вероятность того, что постояльцы вернутся в следующем году), если уровень значимости равен 0,05?
Рис. 2. Факторная таблица 2х2 для оценки качества обслуживания постояльцев
В первой строке указывается количество постояльцев каждого отеля, заявивших о своем желании вернуться в следующем году (успех); во второй строке – количество постояльцев, выразивших недовольство (неудача). Ячейки, расположенные в столбце «Итого», содержат общее количество гостей, планирующих вернуться в отель в следующем году, а также общее количество гостей, недовольных обслуживанием. Ячейки, расположенные в строке «Всего», содержат общее количество опрошенных постояльцев каждого отеля. Доля постояльцев, планирующих вернуться, вычисляется путем деления количества постояльцев, заявивших об этом, на общее количество опрошенных гостей данного отеля. Затем для сравнения вычисленных долей применяется χ 2 -критерий.
Чтобы проверить нулевую и альтернативные гипотезы Н 0: р 1 = р 2 ; Н 1: р 1 ≠ р 2 используем тестовую χ 2 -статистику.
Критерий «хи-квадрат» для сравнения двух долей. Тестовая χ 2 -статистика равна сумме квадратов разностей между наблюдаемым и ожидаемым количеством успехов, деленных на ожидаемое количество успехов в каждой ячейке таблицы:
где f 0 - наблюдаемое количество успехов или неудач в конкретной ячейке таблицы сопряженности признаков, f e
Тестовая χ 2 -статистика аппроксимируется χ 2 -распределением с одной степенью свободы.
Или неудач в каждой ячейке таблицы сопряженности признаков, необходимо понимать их смысл. Если нулевая гипотеза является истинной, т.е. доли успехов в двух генеральных совокупностях равны, выборочные доли, вычисленные для каждой из двух групп, могут отличаться друг от друга лишь по случайным причинам, причем обе доли являются оценкой общего параметра генеральной совокупности р . В этой ситуации статистика, объединяющая обе доли в одной общей (средней) оценке параметра р , представляет собой общую долю успехов в объединенных группах (т.е. равна общему количеству успехов, деленному на суммарный объем выборок). Ее дополнение, 1 – , представляет собой общую долю неудач в объединенных группах. Используя обозначения, смысл которых описан в таблице на рис. 1. можно вывести формулу (2) для вычисления параметра :
где – средняя доля признака.
Чтобы вычислить ожидаемое количество успехов f e (т.е. содержимое первой строки таблицы сопряженности признаков), необходимо умножить объем выборки на параметр . Чтобы вычислить ожидаемое количество неудач f e (т.е. содержимое второй строки таблицы сопряженности признаков), необходимо умножить объем выборки на параметр 1 – .
Тестовая статистика, вычисленная по формуле (1), аппроксимируется χ 2 -распределением с одной степенью свободы. При заданном уровне значимости α нулевая гипотеза отклоняется, если вычисленная χ 2 -статистика больше χ U 2 , верхнего критического значения χ 2 -распределения с одной степенью свободы. Таким образом, решающее правило выглядит следующим образом: гипотеза H 0 отклоняется, если χ 2 > χ U 2 , в противном случае гипотеза Н 0 не отклоняется (рис. 3).
Рис. 3. Критическая область χ 2 -критерия для сравнения долей при уровне значимости α
Если нулевая гипотеза является истинной, вычисленная χ 2 -статистика близка к нулю, поскольку квадрат разности между наблюдаемой f 0 и ожидаемой f е величинами в каждой ячейке очень мал. С другой стороны, если нулевая гипотеза Н 0 является ложной и между долями успехов в генеральных совокупностях существует значимая разница, вычисленная χ 2 -статистика должна быть большой. Это объясняется разностью между наблюдаемым и ожидаемым количеством успехов или неудач в каждой ячейке, которая увеличивается при возведении в квадрат. Однако вклады разностей между ожидаемыми и наблюдаемыми величинами в общую χ 2 -статистику могут быть неодинаковыми. Одна и та же фактическая разность между f 0 и f e может оказать большее влияние на χ 2 -статистику, если в ячейке содержатся результаты небольшого количества наблюдений, чем разность, соответствующая большему количеству наблюдений.
Для того чтобы проиллюстрировать χ 2 -критерий для проверки гипотезы о равенстве двух долей, вернемся к сценарию, описанному в ранее, результаты которого приведены на рис. 2. Нулевая гипотеза (Н 0: р 1 = р 2) утверждает, что при сравнении качества обслуживания в двух отелях доли постояльцев, планирующих вернуться в следующем году, практически одинаковы. Для оценки параметра р , представляющего собой долю гостей, планирующих вернуться в отель, если нулевая гипотеза является истинной, используется величина , которая вычисляется по формуле
Доля гостей, оставшихся недовольными обслуживанием = 1 – 0,6483 = 0,3517. Умножая эти две доли на количество опрошенных постояльцев отеля Beachcomber, получаем ожидаемое количество гостей, планирующих вернуться в следующем сезоне, а также число отдыхающих, которые больше не остановятся в этом отеле. Аналогично вычисляются ожидаемые доли постояльцев отеля Windsurfer:
Да - Beachcomber:
= 0,6483, n
1
= 227, следовательно, f e
= 147,16.
Да - Windsurfer:
= 0,6483, n
2
= 262, следовательно, f e
= 169,84.
Нет - Beachcomber: 1 –
= 0,3517, n
1
= 227, следовательно, f e
= 79,84.
Нет - Windsurfer: 1 –
= 0,3517, n
2
= 262, следовательно, f e
= 92,16.
Расчеты представлены на рис. 4.
Рис. 4. χ 2 -статистика для отелей: (а) исходные данные; (б) факторная таблица 2х2 для сравнения наблюдаемого (f 0 ) и ожидаемого (f e ) количества постояльцев, удовлетворенных и не удовлетворенных обслуживанием; (в) вычисление χ 2 -статистики при сравнении доли постояльцев, удовлетворенных обслуживанием; (г) расчет критического значения тестовой χ 2 -статистики
Для расчета критического значения тестовой χ 2 -статистики применяется функция Excel =ХИ2.ОБР(). Если уровень значимости α = 0,05 (вероятность, подставляемая в функцию ХИ2.ОБР есть 1 –α), а χ 2 -распределение для факторной таблицы 2×2 имеет одну степень свободы, критическое значение χ 2 -статистики равно 3,841. Поскольку вычисленное значение χ 2 -статистики, равное 9,053 (рис. 4в), превышает число 3,841, нулевая гипотеза отклоняется (рис. 5).
Рис. 5. Определение критического значения тестовой χ 2 -статистики с одной степенью свободы при уровне значимости α = 0,05
Вероятность р того, что нулевая гипотеза верна при χ 2 -статистикие равной 9,053 (и одной степени свободы) рассчитывается в Excel с помощью функции =1 – ХИ2.РАСП(9,053;1;ИСТИНА) = 0,0026. р -значение, равное 0,0026, - это вероятность того, что разность между выборочными долями постояльцев, удовлетворенных обслуживанием в отелях Beachcomber и Windsurfer, равна или больше 0,718 – 0,588 = 0,13, если на самом деле их доли в обеих генеральных совокупностях одинаковы. Таким образом, существуют веские основания утверждать, что между двумя отелями есть статистически значимая разница в обслуживании постояльцев. Исследования показывают, что количество гостей, удовлетворенных обслуживанием в отеле Beachcomber, больше количества постояльцев, планирующих снова остановиться в гостинице Windsurfer.
Проверка предположений, касающихся факторной таблицы 2×2. Для получения точных результатов на основе данных, приведенных в таблице 2×2, необходимо, чтобы количество успехов или неудач превышало число 5. Если это условие не выполняется, следует применять точный критерий Фишера .
При сравнении процента клиентов, удовлетворенных качеством обслуживания в двух отелях, критерии Z и χ 2 приводят к одинаковым результатам. Это можно объяснить существованием тесной связи между стандартизованным нормальным распределением и χ 2 -распределением с одной степенью свободы. В этом случае χ 2 -статистика всегда является квадратом Z-статистики. Например, при оценке степени удовлетворенности гостей мы обнаружили, что Z -статистика равна +3,01, а χ 2 -статистика - 9,05. Пренебрегая ошибками округления, легко убедиться, что вторая величина является квадратом первой (т.е. 3,01 2 = 9,05). Кроме того, сравнивая критические значения обеих статистик при уровне значимости α = 0,05, можно обнаружить, что величина χ 1 2 равная 3,841, является квадратом верхнего критического значения Z-статистики, равного +1,96 (т.е. χ 1 2 = Z 2). Более того, р -значения обоих критериев одинаковы.
Таким образом, можно утверждать, что при проверке нулевой и альтернативной гипотез Н 0: р 1 = р 2 ; Н 1: р 1 ≠ р 2 критерии Z и χ 2 являются эквивалентными. Однако, если необходимо не просто обнаружить различия, но и определить, какая доля больше (р 1 > р 2), следует применять Z-критерий с одной критической областью, ограниченной хвостом стандартизованного нормального распределения. Далее будет описано применение критерия χ 2 для сравнения долей признака в нескольких группах. Необходимо отметить, что Z-критерий в этой ситуации применять невозможно.
Применение χ 2 -критерия для проверки гипотезы о равенстве нескольких долей
Критерий «хи-квадрат» можно распространить на более общий случай и применять для проверки гипотезы о равенстве нескольких долей признака. Обозначим количество анализируемых независимых генеральных совокупностей буквой с . Теперь таблица сопряженности признаков состоит из двух строк и с столбцов. Чтобы проверить нулевую и альтернативные гипотезы Н 0: р 1 = р 2 = … = р 2 , Н 1: не все р j равны между собой (j = 1, 2, …, c ), используется тестовая χ 2 -статистика:
где f 0 - наблюдаемое количество успехов или неудач в конкретной ячейке факторной таблицы 2*с , f e - теоретическое, или ожидаемое, количество успехов или неудач в конкретной ячейке таблицы сопряженности признаков при условии, что нулевая гипотеза является истинной.
Чтобы вычислить ожидаемое количество успехов или неудач в каждой ячейке таблицы сопряженности признаков, необходимо иметь в виду следующее. Если нулевая гипотеза является истинной и доли успехов во всех с генеральных совокупностях равны, соответствующие выборочные доли могут отличаться друг от друга лишь по случайным причинам, поскольку все доли представляют собой оценки доли признака р в общей генеральной совокупности. В этой ситуации статистика, объединяющая все доли в одной общей (или средней) оценке параметра р , содержит больше информации, чем каждая из них в отдельности. Эта статистика, обозначаемая символом , представляет собой общую (или среднюю) долю успехов в объединенной выборке.
Вычисление средней доли:
Чтобы вычислить ожидаемое количество успехов f e в первой строке таблицы сопряженности признаков, необходимо умножить объем каждой выборки на параметр . Чтобы вычислить ожидаемое количество неудач f e во второй строке таблицы сопряженности признаков, необходимо умножить объем каждой выборки на параметр 1 – . Тестовая статистика, вычисленная по формуле (1), аппроксимируется χ 2 -распределением. Количество степеней свободы этого распределения задается величиной (r – 1)(c – 1) , где r - количество строк в факторной таблице, с - количество столбцов в таблице. Для факторной таблицы 2*с количество степеней свободы равно (2 – 1)(с – 1) = с – 1 . При заданном уровне значимости α нулевая гипотеза отклоняется, если вычисленная χ 2 -статистика больше верхнего критического значения χ U 2 , присущего χ 2 -распределению с с – 1 степенями свободы. Таким образом, решающее правило выглядит следующим образом: гипотеза Н 0 отклоняется, если χ 2 > χ U 2 (рис. 6), в противном случае гипотеза отклоняется.
Рис. 6. Критическая область χ 2 -критерия для сравнения с долей при уровне значимости α
Проверка предположений, касающихся факторной таблицы 2*с. Для получения точных результатов на основе данных, приведенных в факторной таблице 2*с , необходимо, чтобы количество успехов или неудач было достаточно большим. Некоторые статистики полагают, что критерий дает точные результаты, если ожидаемые частоты превышают 0,5. Более консервативные исследователи требуют, чтобы не более 20% ячеек таблицы сопряженности признаков содержали ожидаемые величины, которые меньше 5, причем ни одна ячейка не должна содержать ожидаемую величину меньше единицы. Последнее условие нам представляется разумным компромиссом между этими крайностями. Чтобы удовлетворить это условие, категории, содержащие небольшие ожидаемые величины, следует объединить в одну. После этого критерий становится более точным. Если по каким-либо причинам объединение нескольких категорий невозможно, следует применять альтернативные процедуры.
Для того чтобы проиллюстрировать χ 2 -критерий для проверки гипотезы о равенстве долей в нескольких группах, вернемся к сценарию, описанному в начале главы. Рассмотрим аналогичный опрос, в котором принимают участие постояльцы трех отелей, принадлежащих компании Т. С. Resort Resources (рис. 7а).
Рис. 7. Факторная таблица 2×3 для сравнения количества постояльцев, удовлетворенных и не удовлетворенных обслуживанием: (а) наблюдаемое количество успехов или неудач – f 0 ; (б) ожидаемое количество успехов или неудач – f e ; (в) вычисление χ 2 -статистики при сравнении долей постояльцев, удовлетворенных обслуживанием
Нулевая гипотеза утверждает, что доли клиентов, планирующих вернуться в следующем году, во всех отелях практически одинаковы. Для оценки параметра р , представляющего собой долю гостей, планирующих вернуться в отель, используется величина р̅ = Х / n = 513 / 700 = 0,733. Доля гостей, оставшихся недовольными обслуживанием, равна 1 – 0,733 = 0,267. Умножая три доли на количество опрошенных постояльцев в каждом из отелей, получаем ожидаемое количество гостей, планирующих вернуться в следующем сезоне, а также число клиентов, которые больше не остановятся в этом отеле (рис. 7б).
Чтобы проверить нулевую и альтернативные гипотезы используют тестовую χ 2 -статистику, вычисленную с помощью ожидаемых и наблюдаемых величин по формуле (1) (рис. 7в).
Критическое значение тестовой χ 2 -статистики определяется по формуле =ХИ2.ОБР(). Поскольку в опросе принимают участие постояльцы трех отелей, χ 2 -статистика имеет (2 – 1)(3 – 1) = 2 степени свободы. При уровне значимости α = 0,05 критическое значение χ 2 -статистики равно 5,991 (рис. 7г). Так как вычисленная χ 2 -статистика, равная 40,236, превышает критическое значение, нулевая гипотеза отклоняется (рис. 8). С другой стороны, вероятность р того, что нулевая гипотеза верна при χ 2 -статистикие равной 40,236 (и двух степенях свободы) рассчитывается в Excel с помощью функции =1-ХИ2.РАСП() = 0,000 (рис. 7г). р -значение равно 0,000 и меньше уровня значимости α = 0,05. Следовательно, нулевая гипотеза отклоняется.
Рис. 8. Области принятия и отклонения гипотезы о равенстве трех долей при уровне значимости, равном 0,05, и двух степенях свободы
Отклоняя нулевую гипотезу при сравнении долей, указанных в факторной таблице 2*с , мы можем утверждать лишь, что доли постояльцев, удовлетворенных обслуживанием в трех отелях, не совпадают. Для того чтобы выяснить, какие доли отличаются от других, необходимо применять иные методы, например процедуру Мараскуило.
Процедура Мараскуило позволяет сравнивать все группы попарно. На первом этапе процедуры вычисляются разности p s j – p s j ’ (где j ≠ j ’ ) между с(с – 1)/2 парами долей. Соответствующие критические размахи вычисляются по формуле:
При общем уровне значимости α, величина представляет собой квадратный корень из верхнего критического значения распределения «хи-квадрат», имеющего с – 1 степеней свободы. Для каждой пары выборочных долей необходимо вычислить отдельный критический размах. На последнем этапе каждая из с(с – 1)/2 пар долей сравнивается с соответствующим критическим размахом. Доли, образующие конкретную пару, считаются статистически значимо разными, если абсолютная разность выборочных долей |p s j – p s j | превышает критический размах.
Проиллюстрируем процедуру Мараскуило на примере опроса постояльцев трех отелей (рис 9а). Применяя критерий «хи-квадрат», мы убедились, что между долями постояльцев разных отелей, собирающихся вернуться в следующем году, существует статистически значимая разница. Поскольку в опросе участвуют постояльцы трех отелей, необходимо выполнить 3(3 – 1)/2 = 3 попарных сравнений и вычислить три критических размаха. Для начала вычислим три выборочных доли (рис. 9б). При общем уровне значимости, равном 0,05, верхнее критическое значение тестовой χ 2 -статистики для распределения «хи-квадрат», имеющего (с – 1) = 2 степени свободы определяется по формуле =ХИ2.ОБР(0,95;2) = 5,991. Итак, = 2,448 (рис. 9в). Далее, вычислим три пары абсолютных разностей и соответствующие критические размахи. Если абсолютная разность больше ее критического размаха, то соответствующие доли считаются значимо разными (рис. 9г).
Рис. 9. Результаты выполнения процедуры Мараскуило для проверки гипотезы о равенстве долей удовлетворенных постояльцев трех отелей: (а) данные опроса; (б) выборочных доли; (в) верхнее критическое значение тестовой χ 2 -статистики для распределения «хи-квадрат»; (г) три пары абсолютных разностей и соответствующие критические размахи
Как видим, при уровне значимости, равном 0,05, степень удовлетворенности постояльцев отеля Palm Royal (p s2 = 0,858) выше, чем у постояльцев отелей Golden Palm (p s1 = 0,593) и Palm Princess (p s3 =0,738). Кроме того, степень удовлетворенности постояльцев отеля Palm Princess выше, чем у постояльцев отеля Golden Palm. Эти результаты должны заставить руководство проанализировать причины таких различий и попытаться определить, почему степень удовлетворенности постояльцев отеля Golden Palm значительно ниже, чем у постояльцев других отелей.
Используются материалы книги Левин и др. Статистика для менеджеров. – М.: Вильямс, 2004. – с. 708–730
Критерий χ 2 Пирсона – это непараметрический метод, который позволяет оценить значимость различий между фактическим (выявленным в результате исследования) количеством исходов или качественных характеристик выборки, попадающих в каждую категорию, и теоретическим количеством, которое можно ожидать в изучаемых группах при справедливости нулевой гипотезы. Выражаясь проще, метод позволяет оценить статистическую значимость различий двух или нескольких относительных показателей (частот, долей).
1. История разработки критерия χ 2
Критерий хи-квадрат для анализа таблиц сопряженности был разработан и предложен в 1900 году английским математиком, статистиком, биологом и философом, основателем математической статистики и одним из основоположников биометрики Карлом Пирсоном (1857-1936).
2. Для чего используется критерий χ 2 Пирсона?
Критерий хи-квадрат может применяться при анализе таблиц сопряженности , содержащих сведения о частоте исходов в зависимости от наличия фактора риска. Например, четырехпольная таблица сопряженности выглядит следующим образом:
| Исход есть (1) | Исхода нет (0) | Всего | |
| Фактор риска есть (1) | A | B | A + B |
| Фактор риска отсутствует (0) | C | D | C + D |
| Всего | A + C | B + D | A + B + C + D |
Как заполнить такую таблицу сопряженности? Рассмотрим небольшой пример.
Проводится исследование влияния курения на риск развития артериальной гипертонии. Для этого были отобраны две группы исследуемых - в первую вошли 70 человек, ежедневно выкуривающих не менее 1 пачки сигарет, во вторую - 80 некурящих такого же возраста. В первой группе у 40 человек отмечалось повышенное артериальное давление. Во второй - артериальная гипертония наблюдалась у 32 человек. Соответственно, нормальное артериальное давление в группе курильщиков было у 30 человек (70 - 40 = 30) а в группе некурящих - у 48 (80 - 32 = 48).
Заполняем исходными данными четырехпольную таблицу сопряженности:
В полученной таблице сопряженности каждая строчка соответствует определенной группе исследуемых. Столбцы - показывают число лиц с артериальной гипертонией или с нормальным артериальным давлением.
Задача, которая ставится перед исследователем: имеются ли статистически значимые различия между частотой лиц с артериальным давлением среди курящих и некурящих? Ответить на этот вопрос можно, рассчитав критерий хи-квадрат Пирсона и сравнив получившееся значение с критическим.
3. Условия и ограничения применения критерия хи-квадрат Пирсона
- Сопоставляемые показатели должны быть измерены в номинальной шкале (например, пол пациента - мужской или женский) или в порядковой (например, степень артериальной гипертензии, принимающая значения от 0 до 3).
- Данный метод позволяет проводить анализ не только четырехпольных таблиц, когда и фактор, и исход являются бинарными переменными, то есть имеют только два возможных значения (например, мужской или женский пол, наличие или отсутствие определенного заболевания в анамнезе...). Критерий хи-квадрат Пирсона может применяться и в случае анализа многопольных таблиц, когда фактор и (или) исход принимают три и более значений.
- Сопоставляемые группы должны быть независимыми, то есть критерий хи-квадрат не должен применяться при сравнении наблюдений "до-"после". В этих случаях проводится тест Мак-Немара (при сравнении двух связанных совокупностей) или рассчитывается Q-критерий Кохрена (в случае сравнения трех и более групп).
- При анализе четырехпольных таблиц ожидаемые значения в каждой из ячеек должны быть не менее 10. В том случае, если хотя бы в одной ячейке ожидаемое явление принимает значение от 5 до 9, критерий хи-квадрат должен рассчитываться с поправкой Йейтса . Если хотя бы в одной ячейке ожидаемое явление меньше 5, то для анализа должен использоваться точный критерий Фишера .
- В случае анализа многопольных таблиц ожидаемое число наблюдений не должно принимать значения менее 5 более чем в 20% ячеек.
4. Как рассчитать критерий хи-квадрат Пирсона?
Для расчета критерия хи-квадрат необходимо:
Данный алгоритм применим как для четырехпольных, так и для многопольных таблиц.
5. Как интерпретировать значение критерия хи-квадрат Пирсона?
В том случае, если полученное значение критерия χ 2 больше критического, делаем вывод о наличии статистической взаимосвязи между изучаемым фактором риска и исходом при соответствующем уровне значимости.
6. Пример расчета критерия хи-квадрат Пирсона
Определим статистическую значимость влияния фактора курения на частоту случаев артериальной гипертонии по рассмотренной выше таблице:
- Рассчитываем ожидаемые значения для каждой ячейки:
- Находим значение критерия хи-квадрат Пирсона:
χ 2 = (40-33.6) 2 /33.6 + (30-36.4) 2 /36.4 + (32-38.4) 2 /38.4 + (48-41.6) 2 /41.6 = 4.396.
- Число степеней свободы f = (2-1)*(2-1) = 1. Находим по таблице критическое значение критерия хи-квадрат Пирсона, которое при уровне значимости p=0.05 и числе степеней свободы 1 составляет 3.841.
- Сравниваем полученное значение критерия хи-квадрат с критическим: 4.396 > 3.841, следовательно зависимость частоты случаев артериальной гипертонии от наличия курения - статистически значима. Уровень значимости данной взаимосвязи соответствует p<0.05.
Рассмотрим применение в MS EXCEL критерия хи-квадрат Пирсона для проверки простых гипотез.
После получения экспериментальных данных (т.е. когда имеется некая выборка ) обычно производится выбор закона распределения, наиболее хорошо описывающего случайную величину, представленную данной выборкой . Проверка того, насколько хорошо экспериментальные данные описываются выбранным теоретическим законом распределения, осуществляется с использованием критериев согласия . Нулевой гипотезой , обычно выступает гипотеза о равенстве распределения случайной величины некоторому теоретическому закону.
Сначала рассмотрим применение критерия согласия Пирсона Х 2 (хи-квадрат) в отношении простых гипотез (параметры теоретического распределения считаются известными). Затем - , когда задается только форма распределения, а параметры этого распределения и значение статистики Х 2 оцениваются/рассчитываются на основании одной и той же выборки .
Примечание : В англоязычной литературе процедура применения критерия согласия Пирсона Х 2 имеет название The chi-square goodness of fit test .
Напомним процедуру проверки гипотез:
- на основе выборки вычисляется значение статистики , которая соответствует типу проверяемой гипотезы. Например, для используется t -статистика (если не известно);
- при условии истинности нулевой гипотезы , распределение этой статистики известно и может быть использовано для вычисления вероятностей (например, для t -статистики это );
- вычисленное на основе выборки значение статистики сравнивается с критическим для заданного значением ();
- нулевую гипотезу отвергают, если значение статистики больше критического (или если вероятность получить это значение статистики () меньше уровня значимости , что является эквивалентным подходом).
Проведем проверку гипотез для различных распределений.
Дискретный случай
Предположим, что два человека играют в кости. У каждого игрока свой набор костей. Игроки по очереди кидают сразу по 3 кубика. Каждый раунд выигрывает тот, кто выкинет за раз больше шестерок. Результаты записываются. У одного из игроков после 100 раундов возникло подозрение, что кости его соперника – несимметричные, т.к. тот часто выигрывает (часто выбрасывает шестерки). Он решил проанализировать насколько вероятно такое количество исходов противника.
Примечание : Т.к. кубиков 3, то за раз можно выкинуть 0; 1; 2 или 3 шестерки, т.е. случайная величина может принимать 4 значения.
Из теории вероятности нам известно, что если кубики симметричные, то вероятность выпадения шестерок подчиняется . Поэтому, после 100 раундов частоты выпадения шестерок могут быть вычислены с помощью формулы
=БИНОМ.РАСП(A7;3;1/6;ЛОЖЬ)*100
В формуле предполагается, что в ячейке А7 содержится соответствующее количество выпавших шестерок в одном раунде.
Примечание : Расчеты приведены в файле примера на листе Дискретное .
Для сравнения наблюденных (Observed) и теоретических частот (Expected) удобно пользоваться .
При значительном отклонении наблюденных частот от теоретического распределения, нулевая гипотеза о распределении случайной величины по теоретическому закону, должна быть отклонена. Т.е., если игральные кости соперника несимметричны, то наблюденные частоты будут «существенно отличаться» от биномиального распределения .
В нашем случае на первый взгляд частоты достаточно близки и без вычислений сложно сделать однозначный вывод. Применим критерий согласия Пирсона Х 2 , чтобы вместо субъективного высказывания «существенно отличаться», которое можно сделать на основании сравнения гистограмм , использовать математически корректное утверждение.
Используем тот факт, что в силу закона больших чисел наблюденная частота (Observed) с ростом объема выборки n стремится к вероятности, соответствующей теоретическому закону (в нашем случае, биномиальному закону ). В нашем случае объем выборки n равен 100.
Введем тестовую статистику , которую обозначим Х 2:
где O l – это наблюденная частота событий, что случайная величина приняла определенные допустимые значения, E l – это соответствующая теоретическая частота (Expected). L – это количество значений, которые может принимать случайная величина (в нашем случае равна 4).
Как видно из формулы, эта статистика является мерой близости наблюденных частот к теоретическим, т.е. с помощью нее можно оценить «расстояния» между этими частотами. Если сумма этих «расстояний» «слишком велика», то эти частоты «существенно отличаются». Понятно, что если наш кубик симметричный (т.е. применим биномиальный закон ), то вероятность того, что сумма «расстояний» будет «слишком велика» будет малой. Чтобы вычислить эту вероятность нам необходимо знать распределение статистики Х 2 (статистика Х 2 вычислена на основе случайной выборки , поэтому она является случайной величиной и, следовательно, имеет свое распределение вероятностей ).
Из многомерного аналога интегральной теоремы Муавра-Лапласа известно, что при n->∞ наша случайная величина Х 2 асимптотически с L - 1 степенями свободы.
Итак, если вычисленное значение статистики Х 2 (сумма «расстояний» между частотами) будет больше чем некое предельное значение, то у нас будет основание отвергнуть нулевую гипотезу . Как и при проверке параметрических гипотез , предельное значение задается через уровень значимости . Если вероятность того, что статистика Х 2 примет значение меньше или равное вычисленному (p -значение ), будет меньше уровня значимости , то нулевую гипотезу можно отвергнуть.
В нашем случае, значение статистики равно 22,757. Вероятность, что статистика Х 2 примет значение больше или равное 22,757 очень мала (0,000045) и может быть вычислена по формулам
=ХИ2.РАСП.ПХ(22,757;4-1)
или
=ХИ2.ТЕСТ(Observed; Expected)
Примечание : Функция ХИ2.ТЕСТ() специально создана для проверки связи между двумя категориальными переменными (см. ).
Вероятность 0,000045 существенно меньше обычного уровня значимости 0,05. Так что, у игрока есть все основания подозревать своего противника в нечестности (нулевая гипотеза о его честности отвергается).
При применении критерия Х 2 необходимо следить за тем, чтобы объем выборки n был достаточно большой, иначе будет неправомочна аппроксимация распределения статистики Х 2 . Обычно считается, что для этого достаточно, чтобы наблюденные частоты (Observed) были больше 5. Если это не так, то малые частоты объединяются в одно или присоединяются к другим частотам, причем объединенному значению приписывается суммарная вероятность и, соответственно, уменьшается число степеней свободы Х 2 -распределения .
Для того чтобы улучшить качество применения критерия Х 2 (), необходимо уменьшать интервалы разбиения (увеличивать L и, соответственно, увеличивать количество степеней свободы ), однако этому препятствует ограничение на количество попавших в каждый интервал наблюдений (д.б.>5).
Непрерывный случай
Критерий согласия Пирсона Х 2 можно применить так же в случае .
Рассмотрим некую выборку , состоящую из 200 значений. Нулевая гипотеза утверждает, что выборка сделана из .
Примечание : Cлучайные величины в файле примера на листе Непрерывное сгенерированы с помощью формулы =НОРМ.СТ.ОБР(СЛЧИС()) . Поэтому, новые значения выборки генерируются при каждом пересчете листа.
Соответствует ли имеющийся набор данных можно визуально оценить .
Как видно из диаграммы, значения выборки довольно хорошо укладываются вдоль прямой. Однако, как и в для проверки гипотезы применим Критерий согласия Пирсона Х 2 .
Для этого разобьем диапазон изменения случайной величины на интервалы с шагом 0,5 . Вычислим наблюденные и теоретические частоты. Наблюденные частоты вычислим с помощью функции ЧАСТОТА() , а теоретические – с помощью функции НОРМ.СТ.РАСП() .
Примечание : Как и для дискретного случая , необходимо следить, чтобы выборка была достаточно большая, а в интервал попадало >5 значений.
Вычислим статистику Х 2 и сравним ее с критическим значением для заданного уровня значимости
(0,05). Т.к. мы разбили диапазон изменения случайной величины на 10 интервалов, то число степеней свободы равно 9. Критическое значение можно вычислить по формуле
=ХИ2.ОБР.ПХ(0,05;9)
или
=ХИ2.ОБР(1-0,05;9)
На диаграмме выше видно, что значение статистики равно 8,19, что существенно выше критического значения – нулевая гипотеза не отвергается.
Ниже приведена , на которой выборка приняла маловероятное значение и на основании критерия согласия Пирсона Х 2 нулевая гипотеза была отклонена (не смотря на то, что случайные значения были сгенерированы с помощью формулы =НОРМ.СТ.ОБР(СЛЧИС()) , обеспечивающей выборку из стандартного нормального распределения ).
Нулевая гипотеза отклонена, хотя визуально данные располагаются довольно близко к прямой линии.
В качестве примера также возьмем выборку из U(-3; 3). В этом случае, даже из графика очевидно, что нулевая гипотеза должна быть отклонена.
Критерий согласия Пирсона Х 2 также подтверждает, что нулевая гипотеза должна быть отклонена.
Пусть Н 0 состоит в том, что F(x) = F 0 (x); альтернативная гипотеза Н 1: F(x) ¹ F 0 (x). В критерии согласия Пирсона статистикой берется случайная величина c 2 , эмпирическое значение которой определяется по формуле
где k – число интервалов, на которые разбивается значение изучаемой СВ Х; m i – частота i интервала; p i – вероятность попадания СВ Х в i-тый интервал, вычисленная для теоретического закона распределения.
При n ® ¥ СВ стремится к распределению c 2 с l = k – r – 1 степенями свободы, где k – число интервалов, r – число параметров теоретического распределения, вычисленных по экспериментальным данным.
Требование, чтобы n ® ¥, является существенным. На практике достаточным считается объем n ³ 50 и число наблюдений в каждом интервале m i не менее 5. Если в каком-нибудь интервале m i < 5, то имеет смысл объединить соседние интервалы.
Изложим алгоритм применения критерия c 2 .
1. Находится величина
2. Для выбранного уровня a по приложению VI находят значение , где l = k – r – 1.
3. Если £ , то гипотеза Н 0 принимается, т.е. можно считать, что теоретический и эмпирический законы распределений совпадают; если
> , то гипотеза Н 0 отвергается.
П р и м е р 29.2. При посеве семян льна важным показателем является глубина заделки семян. Для оценки посева было произведено 100 измерений. Результаты измерений приведены в таблице 29.3.
Таблица 29.3.
С помощью критерия c 2 проверить гипотезу Н 0 о нормальном распределении СВ Х – глубины заделки семян на уровне значимости a = 0,01.
Решение. Найдем и S В по выборочным данным
Поскольку в крайних интервалах значение m i < 5, объединим их.
Таблица 29.4.
1. Найдем вероятности p i попадания СВ Х в i интервал по формуле
где значения найдем, используя таблицу II приложений.
Проверка: .
Вычислим значение :
2. l = k – r – 1 = 5 – 2 – 1 = 2. По таблице II найдем = 9,21.
3. Поскольку < , то гипотезу Н 0 о нормальном распределении СВ Х отвергать нет оснований.
§ 30. Проверка гипотез об однородности выборок (непараметрические критерии).
Пусть имеются две независимые выборки, произведенные из генеральных совокупностей, законы распределения которых неизвестны. Проверяемая гипотеза Н 0: F 1 (x) = F 2 (x), где F 1 (x) и F 2 (x) неизвестные функции распределения. Альтернативная гипотеза Н 1: F 1 (x) ¹ F 2 (x).
Критерий Колмогорова – Смирнова . Данный критерий применяется, если можно предполагать, что функции F 1 (x) и F 2 (x) непрерывны.
В качестве статистики критерия берется величина
где n 1 , n 2 – объемы первой и второй выборок соответственно, F 1,Э (х), F 2,Э (х) – эмпирические функции распределения первой и второй выборок.
При справедливости гипотезы Н 0 при достаточно больших выборках (n 1 ³ 50, n 2 ³ 50) распределение сходится к распределению Колмогорова (таблица VII приложений). При малых выборках для нахождения D кр используются специальные таблицы.
Проверка гипотезы Н 0 осуществляется следующим образом. Если
> D кр, то гипотеза отвергается, в противоположном случае принимается.
П р и м е р 30.1. Для изучения влияния некоторого препарата на рост поросят проведен опыт, результаты которого приведены в таблице 30.1.
Таблица 30.1.
Одновременно велось вскармливание поросят в контрольной группе без использования препарата (таблица 30.2).
Таблица 30.2.
Требуется на уровне значимости a = 0,05 проверить гипотезу Н 0 , что обе выборки описываются одной и той же функцией распределения, т.е. препарат не оказывает на рост поросят существенного влияния.
Решение. Данные вычислений занесем в таблицу, учитывая, что
n 1 = 100, n 2 = 200.
Таблица 30.3.
Используя таблицу VII приложений, найдем
D кр = D 1 - a = D 0,95 »K 0,95 = 1,36.
Поскольку D кр < , то гипотезу Н 0 следует принять, т.е. препарат не оказывает существенного влияния на рост поросят.
В случае, если выборки невелики, удобно применять критерий Вилкоксона – Уитни .
Сформулируем правило его применения (n 1 £ 25, n 2 £ 25). Для проверки гипотезы Н 0: F 1 (x) = F 2 (x) при альтернативной гипотезе Н 1: F 1 (x) ¹ F 2 (x) следует:
1. Объединить две выборки в одну и расположить варианты в возрастающем порядке, рассчитать W – сумму номеров вариант меньшей по объему выборки.
2. Найти по таблице VIII приложений w нижн.кр = w( , n 1 , n 2) и w верхн.кр =
= (n 1 + n 2 + 1) n 1 – w нижн.кр.
Если w н.кр < W < w в.кр, то нет оснований отвергнуть гипотезу, в противоположном случае гипотеза Н 0 отвергается.
Замечание 30.1. Если среди вариант есть совпадающие, то каждой из них присваивают ранги, равные среднему арифметическому порядковых номеров совпадающих вариант в общем ряде, которыми заменяют номера совпадающих варинт.
Замечание 30.2. Критерий Вилкоксона – Уитни можно использовать и для больших выборок. При этом изменяется расчет w н.кр и w в.кр (см. ).
П р и м е р 30.2. Для оценки заработной платы (в у.е.) на двух предприятиях собраны две выборки объемом n 1 = 8 и n 2 = 9:
I-е предприятие 330, 390, 400, 410, 420, 450, 460, 470
II-е предприятие 340, 400, 410, 420, 430, 440, 460, 480, 490
Используя критерий Вилкоксона – Уитни, проверить нулевую гипотезу Н 0 об одинаковой оплате труда на двух предприятиях, против гипотезы Н 1: оплата различна (a = 0,05).
Решение. Сформируем общий вариационный ряд
330 ; 340; 390 ; 400 ; 400; 410 ; 410; 420 ; 420; 430; 440; 450 ; 460 ; 460; 470 ; 480; 490
1 2 34,5 4,5 6,5 6,5 8,5 8,5 10 11 1213,5 13,5 15 16 17
Для применения изложенного выше критерия Вилкоксона – Уитни в качестве первой выборки следует взять ту, которая имеет наименьший объем n 1 = 8.
Найдем значение W. Для этого подчеркнем порядковые номера вариант меньшей по объему выборки и найдем их сумму:
W = 1 + 3 + 4,5 + 6,5 + 8,5 + 12 + 13,5 + 15 = 64.
Найдем значение w нижн.кр = w(0,025; 8; 9) = 51.
Найдем значение w верхн.кр = (n 1 +n 2 + 1) n 1 – w н.кр = (8 + 9 + 1)× 8 – 51 = 93.
Поскольку выполняется соотношение w н.кр < W < w в.кр (51 < 64 < 93), то нет оснований отвергнуть гипотезу Н 0 , т.е. оплата труда на I-м и II-м предприятиях различается незначительно.
ОПР. Эмпирическими частотами называются фактически наблюдаемые частоты.
ПРОВЕРКА ГИПОТЕЗЫ О РАСПРЕДЕЛЕНИИ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ. КРИТЕРИЙ ПИРСОНА
Как отмечалось раньше, предположение о виде распределения может быть выдвинуто исходя из теоретических предпосылок. Однако, как бы хорошо ни был подобран теоретический закон распределения, между эмпирическим и теоретическим распределениями неизбежны расхождения. Естественно возникает вопрос: объясняются ли эти расхождения только случайными обстоятельствами, связанными с ограниченным числом наблюдений, или они являются существенными и связаны с тем, что теоретический закон распределения подобран неудачно. Для ответа на этот вопрос и служит критерий согласия, т.е.
ОПР. Критерием согласия называется критерий проверки гипотезы о предполагаемом законе неизвестного распределения.
Для каждого критерия, т.е. соответствующего распределения, обычно составлены таблицы, по которым находят k кр (см. приложения). После того как критическая точка найдена, по данным выборки вычисляют наблюдаемое значение критерия К набл. Если К набл > k кр, то нулевую гипотезу отвергают, если наоборот, то принимают.
Опишем применение критерия Пирсона к проверке гипотезы о нормальном распределении генеральной совокупности. Критерий Пирсона отвечает на вопрос о том, случайно ил расхождение эмпирических и теоретических частот?
Критерий Пирсона, как и любой критерий не доказывает справедливость гипотезы, а лишь устанавливает, на принятом уровне значимости, ее согласие или несогласие с данными наблюдений.
Итак, пусть по выборке объема п получено эмпирическое распределение. При уровне значимости a требуется проверить нулевую гипотезу: генеральная совокупность распределена нормально.
В качестве критерия проверки нулевой гипотезы принимают случайную величину c 2 = , где - эмпирические частоты; - теоретические частоты.
Данная СВ имеет c 2 – распределение с k - степенями свободы. Число степеней свободы находят по равенству k=m –r -1, m – число частичных интервалов выборки; r – число параметров распределения. Для нормального распределения r=2 (а и s), тогда k=m –3.
Для того чтобы при заданном уровне значимости, проверить нулевую гипотезу: генеральная совокупность распределена нормально, надо:
1.Вычислить выборочную среднюю и выборочное среднее квадратическое отклонение.
2.Вычислить теоретические частоты ,
где п – объем выборки; h – шаг(разность между двумя соседними вариантами); ; значения функции смотрят по приложению.
3. Сравнивают эмпирические и теоретические частоты с помощью критерия Пирсона. Для этого:
а) находят наблюдаемое значение критерия ;
б) по таблице критических точек распределения c 2 , по заданному уровню значимости a и числу степеней свободы k находят критическую точку .
Если < - нет оснований отвергнуть нулевую гипотезу. Если > - нулевую гипотезу отвергают.
Замечание. Малочисленные частоты ( <5) следует объединить; в этом случае и соответствующие им теоретические частоты также надо сложить. Если производилось объединение частот, то при определении числа степеней свободы следует в качестве m принять число групп выборки, оставшихся после объединения частот.
Загрузка...