Тест хи-квадрат Пирсона - Pearsons chi-squared test - Wikipedia

Критерий хи-квадрат Пирсона () - это статистический тест, применяемый к наборам категориальные данные оценить, насколько вероятно, что любое наблюдаемое различие между наборами возникло случайно. Это наиболее широко используемый из многих критерии хи-квадрат (например., Йейтс, отношение правдоподобия, тест Портманто во временных рядах, так далее.) - статистический процедуры, результаты которых оцениваются со ссылкой на распределение хи-квадрат. Его свойства были впервые исследованы Карл Пирсон в 1900 г.[1] В контекстах, где важно улучшить различие между статистика теста и его распространение, названия, похожие на Χ-квадрат Пирсона тест или статистика.

Он проверяет нулевая гипотеза заявляя, что Распределение частоты определенных События наблюдается в образец согласуется с конкретным теоретическим распределением. Рассматриваемые события должны быть взаимоисключающими и иметь общую вероятность 1. Обычно в этом случае каждое событие покрывает исход категориальная переменная. Простым примером является гипотеза о том, что обычная шестигранная умереть является «справедливым» (т.е. все шесть исходов имеют одинаковую вероятность).

Определение

Критерий хи-квадрат Пирсона используется для оценки трех типов сравнения: степень соответствия, однородность, и независимость.

  • Проверка соответствия устанавливает, наблюдаются ли Распределение частоты отличается от теоретического распределения.
  • Тест на однородность сравнивает распределение подсчетов для двух или более групп с использованием одной и той же категориальной переменной (например, выбор вида деятельности - колледж, армия, работа, путешествия - выпускников средней школы, о которых сообщается через год после выпуска, с сортировкой по году выпуска, чтобы узнать, изменилось ли количество выпускников, выбирающих данный вид деятельности, от класса к классу или от десятилетия к десятилетию).[2]
  • Тест на независимость оценивает, являются ли наблюдения, состоящие из измерений двух переменных, выраженных в Таблица сопряженности, независимы друг от друга (например, опрос ответов людей разных национальностей, чтобы узнать, связана ли их национальность с ответом).

Для всех трех тестов вычислительная процедура включает следующие шаги:

  1. Рассчитайте критерий хи-квадрат статистика, χ², который напоминает нормализованный сумма квадратов отклонений между наблюдаемыми и теоретическими частоты (Смотри ниже).
  2. Определить степени свободы, df, этой статистики.
    1. Для проверки соответствия требованиям, df = Кошки - Parms, куда Кошки - количество категорий наблюдений, распознаваемых моделью, и Parms - это количество параметров в модели, скорректированное таким образом, чтобы модель наилучшим образом соответствовала наблюдениям: количество категорий, уменьшенное на количество подобранных параметров в распределении.
    2. Для проверки однородности df = (Ряды - 1) × (Столбцы - 1), куда Рядов соответствует количеству категорий (т.е. строк в связанной таблице непредвиденных обстоятельств), и Cols соответствует количеству независимых групп (т. е. столбцов в связанной таблице непредвиденных обстоятельств).[2]
    3. Для проверки независимости, df = (Ряды - 1) × (Столбцы - 1), где в этом случае Рядов соответствует количеству категорий в одной переменной, и Cols соответствует количеству категорий во второй переменной.[2]
  3. Выберите желаемый уровень уверенности (уровень значимости, p-значение или соответствующий альфа-уровень ) за результат теста.
  4. Сравнивать до критического значения от распределение хи-квадрат с df степени свободы и выбранный уровень достоверности (односторонний, поскольку тест является только одним направлением, т. е. превышает ли тестовое значение критическое значение?), что во многих случаях дает хорошее приближение распределения .
  5. Подтвердите или отвергните нулевую гипотезу о том, что наблюдаемое частотное распределение совпадает с теоретическим распределением на основе того, превышает ли тестовая статистика критическое значение . Если статистика теста превышает критическое значение , нулевая гипотеза ( = есть нет различие между распределениями) можно отвергнуть, а альтернативную гипотезу ( = там является разница между распределениями) может быть принята, как с выбранным уровнем уверенности. Если статистика теста опускается ниже порога значение, то нельзя сделать однозначный вывод, и нулевая гипотеза поддерживается (мы не смогли отвергнуть нулевую гипотезу), но не обязательно принимается.

Тест на соответствие дистрибутива

Дискретное равномерное распределение

В этом случае наблюдения делятся между клетки. Простое приложение - проверить гипотезу о том, что в генеральной совокупности значения будут встречаться в каждой ячейке с одинаковой частотой. «Теоретическая частота» для любой ячейки (при нулевой гипотезе дискретное равномерное распределение ) таким образом вычисляется как

а уменьшение степеней свободы равно , теоретически потому, что наблюдаемые частоты вынуждены суммировать .

Одним из конкретных примеров его применения может быть его приложение для теста ранжирования журнала.

Другие дистрибутивы

При проверке того, являются ли наблюдения случайными величинами, распределение которых принадлежит данному семейству распределений, «теоретические частоты» вычисляются с использованием распределения из этого семейства, подобранного некоторым стандартным способом. Уменьшение степеней свободы рассчитывается как , куда это количество совмещает используется при установке раздачи. Например, при проверке трехкомпонентного распределения Вейбулла, , и при проверке нормального распределения (где параметрами являются среднее значение и стандартное отклонение), , и при проверке распределения Пуассона (где параметр - ожидаемое значение), . Таким образом, будет степени свободы, где это количество категорий.

Степени свободы не основаны на количестве наблюдений, как в случае Студенческий т или же F-распределение. Например, при тестировании на честную шестистороннюю умереть, будет пять степеней свободы, потому что есть шесть категорий / параметров (каждое число). Количество бросков кубика не влияет на количество степеней свободы.

Расчет тестовой статистики

Распределение хи-квадрат, показывая Икс2 по оси x и значение P по оси y.

Значение теста-статистики равно

куда

= Совокупная статистика теста Пирсона, которая асимптотически приближается к распределение.
= количество наблюдений типа я.
= общее количество наблюдений
= ожидаемое (теоретическое) количество типов я, утверждаемый нулевой гипотезой, что доля типа я в населении
= количество ячеек в таблице.

Затем статистику хи-квадрат можно использовать для расчета p-значение к сравнение значения статистики к распределение хи-квадрат. Количество степени свободы равно количеству ячеек , за вычетом уменьшения степеней свободы, .

Результат о количестве степеней свободы действителен, когда исходные данные являются полиномиальными и, следовательно, оцененные параметры эффективны для минимизации статистики хи-квадрат. Однако в более общем плане, когда оценка максимального правдоподобия не совпадает с оценкой минимального хи-квадрат, распределение будет находиться где-то между распределением хи-квадрат с и степеней свободы (см., например, Chernoff and Lehmann, 1954).

Байесовский метод

В Байесовская статистика, вместо этого можно было бы использовать Распределение Дирихле в качестве сопряженный предшествующий. Если до этого брали форму, то оценка максимального правдоподобия поскольку вероятность популяции - это наблюдаемая вероятность, и можно вычислить заслуживающий доверия регион по той или иной оценке.

Проверка на статистическую независимость

В этом случае «наблюдение» состоит из значений двух исходов, а нулевая гипотеза состоит в том, что возникновение этих результатов статистически независимый. Каждое наблюдение размещается в одной ячейке двумерного массива ячеек (называемого Таблица сопряженности ) в соответствии со значениями двух исходов. Если есть р ряды и c столбцов в таблице, "теоретическая частота" для ячейки с учетом гипотезы независимости равна

куда - общий размер выборки (сумма всех ячеек в таблице), и

это доля наблюдений типа я игнорирование атрибута столбца (доля от итоговых значений строк) и

это доля наблюдений типа j игнорирование атрибута строки (доля итоговых значений столбца). Период, термин "частоты "относится к абсолютным числам, а не к уже нормализованным значениям.

Значение теста-статистики равно

Обратите внимание, что равно 0 тогда и только тогда, когда , т.е. только если ожидаемое и истинное количество наблюдений одинаково во всех ячейках.

Подгонка модели «независимости» уменьшает количество степеней свободы на п = р + c - 1. Количество степени свободы равно количеству ячеек rc, за вычетом уменьшения степеней свободы, п, что сводится к (р − 1)(c − 1).

Для теста независимости, также известного как тест на однородность, вероятность хи-квадрат меньше или равна 0,05 (или статистика хи-квадрат находится на критической точке 0,05 или больше) обычно интерпретируется прикладными работниками как обоснование отклонения нулевой гипотезы о том, что переменная строки не зависит от переменной столбца.[4]В Альтернативная гипотеза соответствует переменным, имеющим связь или связь, где структура этой связи не указана.

Предположения

Критерий хи-квадрат при использовании со стандартным приближением применимости распределения хи-квадрат имеет следующие допущения:[нужна цитата ]

Простая случайная выборка
Данные выборки представляют собой случайную выборку из фиксированного распределения или совокупности, при которой каждая совокупность членов совокупности данного размера выборки имеет равную вероятность выбора. Варианты теста были разработаны для сложных выборок, например, где данные взвешиваются. Могут использоваться другие формы, такие как целенаправленная выборка.[5]
Размер выборки (вся таблица)
Предполагается, что образец имеет достаточно большой размер. Если критерий хи-квадрат проводится для выборки меньшего размера, то критерий хи-квадрат даст неточный вывод. Исследователь, используя критерий хи-квадрат на небольших выборках, может в конечном итоге совершить Ошибка типа II.
Ожидаемое количество клеток
Адекватное ожидаемое количество клеток. Некоторым требуется 5 или больше, а другим - 10 или больше. Общее правило - 5 или более во всех ячейках таблицы 2 на 2 и 5 или более в 80% ячеек в более крупных таблицах, но без ячеек с нулевым ожидаемым числом. Когда это предположение не выполняется, Поправка Йетса применяется.
Независимость
Всегда предполагается, что наблюдения независимы друг от друга. Это означает, что критерий хи-квадрат нельзя использовать для проверки коррелированных данных (например, сопоставленных пар или панельных данных). В таких случаях Тест Макнемара может быть более подходящим.

Тест, основанный на различных допущениях: Точный тест Фишера; если его предположение о фиксированных маржинальных распределениях выполняется, то получение уровня значимости значительно точнее, особенно при небольшом количестве наблюдений. В подавляющем большинстве приложений это предположение не выполняется, и точный тест Фишера будет чрезмерно консервативным и не будет иметь правильного покрытия.[6]

Вывод

Вывод с использованием центральной предельной теоремы

Нулевое распределение статистики Пирсона с j ряды и k столбцы аппроксимируются распределение хи-квадрат с(k − 1)(j - 1) степени свободы.[7]

Это приближение возникает как истинное распределение при нулевой гипотезе, если ожидаемое значение задается полиномиальное распределение. Для больших размеров выборки Центральная предельная теорема говорит, что это распределение имеет тенденцию к определенному многомерное нормальное распределение.

Две клетки

В особом случае, когда в таблице всего две ячейки, ожидаемые значения следуют за биномиальное распределение,

куда

п = вероятность, при нулевой гипотезе,
п = количество наблюдений в выборке.

В приведенном выше примере предполагаемая вероятность наблюдения самцом составляет 0,5 при 100 выборках. Таким образом, мы ожидаем увидеть 50 мужчин.

Если п достаточно велико, указанное выше биномиальное распределение может быть аппроксимировано гауссовым (нормальным) распределением и, таким образом, статистика критерия Пирсона аппроксимирует распределение хи-квадрат,

Позволять О1 быть количеством наблюдений из выборки, которые находятся в первой ячейке. Статистику теста Пирсона можно выразить как

что, в свою очередь, может быть выражено как

При нормальном приближении к биному это квадрат одной стандартной нормальной переменной и, следовательно, распределяется как хи-квадрат с 1 степенью свободы. Обратите внимание, что знаменатель - это одно стандартное отклонение гауссовского приближения, поэтому можно записать

Таким образом, чтобы соответствовать смыслу распределения хи-квадрат, мы измеряем, насколько вероятно наблюдаемое количество стандартных отклонений от среднего в гауссовском приближении (что является хорошим приближением для больших п).

Затем распределение хи-квадрат интегрируется справа от статистического значения, чтобы получить P-значение, который равен вероятности получения статистики, равной или большей, чем наблюдаемая, при условии нулевой гипотезы.

Таблицы на случай непредвиденных обстоятельств два на два

Когда тест применяется к Таблица сопряженности содержащий две строки и два столбца, тест эквивалентен Z-тест пропорций.[нужна цитата ]

Многие клетки

Подобные аргументы, как указано выше, приводят к желаемому результату.[нужна цитата ] Каждая ячейка (кроме последней, значение которой полностью определяется другими) рассматривается как независимая биномиальная переменная, и их вклад суммируется, и каждая дает одну степень свободы.

Докажем теперь, что распределение действительно асимптотически приближается к распределение по мере приближения числа наблюдений к бесконечности.

Позволять быть количеством наблюдений, количество ячеек и вероятность попадания наблюдения в i-ю ячейку, для . Обозначим через конфигурация, где для каждого i есть наблюдения в i-й ячейке. Обратите внимание, что

Позволять - совокупная статистика теста Пирсона для такой конфигурации, и пусть быть распределением этой статистики. Мы покажем, что последняя вероятность приближается к распространение с степени свободы, как

Для любого произвольного значения T:

Мы будем использовать процедуру, аналогичную приближению в Теорема де Муавра – Лапласа. Взносы малых имеют субаренду в и таким образом для больших мы можем использовать Формула Стирлинга для обоих и получить следующее:

Заменив на

мы можем приблизиться к большому сумма сверх интегралом по . Отмечая, что:

мы приходим к

К расширение логарифм и взяв ведущие члены в , мы получили

Ци Пирсона, , является в точности аргументом экспоненты (за исключением -1/2; обратите внимание, что последний член в аргументе экспоненты равен ).

Этот аргумент можно записать как:

является регулярным симметричным матрица, а значит диагонализуемый. Следовательно, можно произвести линейную замену переменных в чтобы получить новые переменные так что:

Эта линейная замена переменных просто умножает интеграл на константу Якобиан, так что получаем:

Где C - константа.

Это вероятность того, что возведенная в квадрат сумма независимые нормально распределенные переменные с нулевым средним и единичной дисперсией будут больше T, а именно: с степеней свободы больше T.

Таким образом, мы показали, что в пределе, когда распределение ци Пирсона приближается к распределению ци с степени свободы.

Примеры

Справедливость игры в кости

Шестигранный кубик бросается 60 раз. Количество раз, когда он выпадает с 1, 2, 3, 4, 5 и 6 лицевой стороной вверх, составляет 5, 8, 9, 8, 10 и 20 соответственно. Является ли игра на кубике смещенной согласно критерию хи-квадрат Пирсона на уровне значимости 95% и / или 99%?

п = 6, так как есть 6 возможных исходов, от 1 до 6. Нулевая гипотеза состоит в том, что игральная кость несмещена, поэтому ожидается, что каждое число будет встречаться одинаковое количество раз, в данном случае 60/п = 10. Результаты можно свести в таблицу следующим образом:

1510−5252.5
2810−240.4
3910−110.1
4810−240.4
51010000
620101010010
Сумма13.4

Число степеней свободы п - 1 = 5. Критические значения верхнего хвоста распределения хи-квадрат таблица дает критическое значение 11,070 при уровне значимости 95%:

Градусы
из
Свобода
Вероятность меньше критического значения
0.900.950.9750.990.999
59.23611.07012.83315.08620.515

Поскольку статистика хи-квадрат 13,4 превышает это критическое значение, мы отклоняем нулевую гипотезу и заключаем, что игра на кубике смещена на уровне значимости 95%.

При уровне значимости 99% критическое значение составляет 15,086. Поскольку статистика хи-квадрат не превышает его, мы не можем отвергнуть нулевую гипотезу и, таким образом, делаем вывод, что недостаточно доказательств, чтобы показать, что кубик смещен на уровне значимости 99%.

Доброту соответствия

В этом контексте частоты как теоретических, так и эмпирических распределений являются ненормализованными подсчетами, а для теста хи-квадрат общие размеры выборки обоих этих распределений (суммы всех ячеек соответствующих таблицы непредвиденных обстоятельств ) должны быть такими же.

Например, чтобы проверить гипотезу о том, что случайная выборка из 100 человек была взята из популяции, в которой мужчины и женщины равны по частоте, наблюдаемое количество мужчин и женщин будет сравниваться с теоретической частотой 50 мужчин и 50 женщин. . Если бы в выборке было 44 мужчины и 56 женщин, то

Если нулевая гипотеза верна (т. Е. Мужчины и женщины выбираются с равной вероятностью), тестовая статистика будет получена из распределения хи-квадрат с одним степень свободы (потому что, если известна мужская частота, то определяется женская частота).

Консультация распределение хи-квадрат для 1 степени свободы показывает, что вероятность наблюдения за этой разницей (или более резкой разницей, чем это), если мужчин и женщин в популяции одинаково много, составляет примерно 0,23. Эта вероятность выше, чем обычные критерии для Статистическая значимость (0,01 или 0,05), поэтому обычно мы не отвергаем нулевую гипотезу о том, что количество мужчин в популяции такое же, как и количество женщин (т. Е. Мы будем рассматривать нашу выборку в диапазоне того, что мы ожидаем от 50 / 50 соотношение мужчин и женщин.)

Проблемы

Аппроксимация распределения хи-квадрат не работает, если ожидаемые частоты слишком низкие. Обычно это приемлемо при условии, что не более 20% событий имеют ожидаемые частоты ниже 5. Если имеется только 1 степень свободы, приближение ненадежно, если ожидаемые частоты ниже 10. В этом случае лучшее приближение может быть получен путем уменьшения абсолютного значения каждой разницы между наблюдаемой и ожидаемой частотами на 0,5 перед возведением в квадрат; это называется Поправка Йетса на непрерывность.

В случаях, когда ожидаемое значение E оказывается малым (что указывает на небольшую основную вероятность популяции и / или небольшое количество наблюдений), нормальное приближение полиномиального распределения может не сработать, и в таких случаях оказывается, что уместнее использовать G-тест, а отношение правдоподобия статистика теста. Когда общий размер выборки невелик, необходимо использовать соответствующий точный тест, обычно либо биномиальный тест или (для таблиц непредвиденных обстоятельств) Точный тест Фишера. Этот тест использует условное распределение тестовой статистики с учетом предельных итогов; тем не менее, это не предполагает, что данные были получены в результате эксперимента, в котором предельные суммы фиксированы.[сомнительный ] и действителен независимо от того, так ли это.[сомнительный ][нужна цитата ]

Можно показать, что тест является приближением низкого порядка тест.[8] Вышеупомянутые причины вышеуказанных проблем становятся очевидными, когда исследуются члены более высокого порядка.

Смотрите также

Примечания

  1. ^ Пирсон, Карл (1900). «По критерию, согласно которому данная система отклонений от вероятного в случае коррелированной системы переменных такова, что можно разумно предположить, что она возникла в результате случайной выборки» (PDF). Философский журнал. Серия 5. 50 (302): 157–175. Дои:10.1080/14786440009463897.
  2. ^ а б c Дэвид Э. Бок, Пол Ф. Веллеман, Ричард Д. Де Во (2007). «Статистика, моделирование мира», стр. 606-627, Pearson Addison Wesley, Boston, ISBN  0-13-187621-X
  3. ^ «1.3.6.7.4. Критические значения распределения хи-квадрат». Получено 14 октября 2014.
  4. ^ «Критические значения распределения хи-квадрат». Электронный справочник статистических методов NIST / SEMATECH. Национальный институт стандартов и технологий.
  5. ^ Видеть Филд, Энди. Обнаружение статистики с помощью SPSS. для предположений на Chi Square.
  6. ^ «Байесовская формулировка для исследовательского анализа данных и проверки согласия» (PDF). Международное статистическое обозрение. п. 375.
  7. ^ Статистика для приложений. MIT OpenCourseWare. Лекция 23. Теорема Пирсона. Проверено 21 марта 2007 года.
  8. ^ Джейнс, Э. (2003). Теория вероятностей: логика науки. C. University Press. п. 298. ISBN  978-0-521-59271-0. (Ссылка на отрывок от марта 1996 г..)

Рекомендации