Проверка статистических гипотез основана на сравнении рассчитанного значения критерия с теоретическим значением, выбранного с заданным критическим уровнем значимости. От выбранного уровня значимости зависит результат проверки гипотез и сделанные исследователем выводы. Во многих учебниках и руководствах по использованию пакетов для статистического анализа приводится «магическое» значение 0,05, которое нужно выбирать в качестве критического уровня значимости. Можно ли всегда брать уровень значимости 0,05 или нет, попытаемся разобраться в этой статье.

Для начала кратко разберем основы проверки статистических гипотез. Статистической гипотезой будем называть любое предположение о законе распределения случайной величины или о параметрах этого закона. Это может быть предположение об отсутствии различий, об отсутствии взаимосвязи, о соответствии параметра заданному значению и т.д. Выделяют две виды гипотез: формулируемая гипотеза называется нулевой (основной) или гипотезой Н₀. Также обязательно формулируют альтернативную (конкурирующую) гипотезу Н₁. Предполагают, что либо верна гипотеза Н₀ при ложной гипотезе Н₁, либо вернаН₁ при ложной гипотезеН_0. Обе гипотезы одновременно быть ложными или истинными быть не могут.

Формулируют гипотезы таким образом, чтобы альтернативная гипотеза была «рабочей». Например, цель исследования доказать, что объем продаж увеличился на 10%. Тогда нулевая гипотеза будет сформулирована: объем продаж не увеличился. Цель проверки нулевой гипотезы будет заключаться в том, чтобы ее отвергнуть и доказать альтернативную гипотезу.

В зависимости от вида формулируемой нулевой гипотезы она может проверяться с помощью различных методов – статистических критериев. Статистический критерий – это некое правило, согласно которому нулевую гипотезу нужно принять или отвергнуть. Важно понимать, что при проверке гипотез мы работаем не с самой случайной величиной, а с данными выборки. Поэтому наши суждения на основе результатов проверки гипотез всегда имеют вероятностный характер. Какое бы решение мы не приняли, всегда существует ошибка принятия этого решения. Рассмотрим все возможные ошибки при принятии решений (см. таблицу).

Мы можем принять верную гипотезу Н₀ или отвергнуть не верную гипотезу Н₀ на основе критерия. В этом случае мы не совершаем никакой ошибки. А еще мы можем отвергнуть верную нулевую гипотезу – это называется ошибкой первого рода. Для оценки возможности совершения такой ошибки используют вероятность, обозначаемую α и называемую уровнем значимости критерия. Также возможна и ошибка второго рода β – когда мы принимаем неверную нулевую гипотезу. На практике может использоваться величина  1– β или мощность критерия – вероятность не совершить ошибку второго рода или принять неверную гипотезу.

Уровень значимости должен стремиться к нулю, а мощность критерия к 1. Эти два требования вступают в противоречие. Сделать равными нулю обе ошибки при проверке гипотез невозможно. С практической точки зрения обычно наиболее критической является ошибка первого рода, а не второго. И гипотеза Н₀ формулируется так, чтобы задача была ее отвергнуть и доказать истинность Н₁. В случае отвержения гипотезы нас интересует только ошибка первого рода. Поэтому критический уровень значимости задается исследователем, а уже мощность критерия можно посчитать по заданной вероятности ошибки первого рода. Исходя из заданного значения уровня значимости, берут теоретическое значение критерия по одной из таблиц распределения и сравнивают его с рассчитанным значением критерия. Именно в качестве такого критического значения предлагают брать уровень значимости 0,05.

В статистических пакетах обычно выдается не заданный нами уровень значимости, а накопленная вероятность наблюдения уровня статистического критерия (p-значение) при принятии нулевой гипотезы. Если p-величина меньше выбранного аналитиком критического уровня накопленной вероятности, то нулевая гипотеза отвергается. Чем меньше p-величина, тем меньше вероятность истинности нулевой гипотезы, тем сильнее основания отвергнуть нулевую гипотезу. Итак, выбор критического уровня имеет ключевое значение. Как же его выбрать?

При заданном объеме выборки вероятность совершения ошибки первого рода можно уменьшить, снижая уровень значимости a. Однако при этом увеличивается вероятность ошибки второго рода b, т.е. снижается мощность критерия. Выбор уровня значимости требует компромисса между заданной значимостью и мощностью. Увеличивая уровень значимости, мы увеличиваем шансы отвергнуть нулевую гипотезу, что является нашей конечной целью, а с другой стороны мы также увеличиваем и вероятность ошибки первого рода.

При выборе критического уровня значимости необходимо обращать внимание на объем выборки. Общая идея тут следующая. При малом объеме выборки более вероятно получить случайный  результат, например, получить различие в двух в выборках при их однородности.  Следовательно, можно взять большую вероятность ошибки первого рода. При увеличении объема выборки случайные отклонения компенсируют друг друга, и получить значимое различие в выборках при их однородности менее вероятно. Следовательно, надо брать меньший уровень значимости. Стандартными уровнями значимости являются 0,1; 0,05; 0,01; 0,001. Поэтому нельзя всегда брать уровень значимость 0,05. Можно придерживаться следующих условных границ зависимости объема выборки от уровня значимости. Если объем выборки небольшой до 100 единиц, то можно вполне отвергнуть нулевую гипотезу при уровне значимости 0,05 или даже 0,1. При объеме выборки, измеряемой сотнями – от 100 до 1000, следует понизить уровень значимости хотя бы до 0,01. А при больших выборках, измеряемых тысячами наблюдений, уверенно отвергать нулевую гипотезу можно только при значимости меньшей 0,001.

Также при выборе уровня значимости необходимо учитывать мощность критерия при альтернативной гипотезе. Иногда большая мощность критерия оказывается важнее малого уровня значимости, и его значение выбирают относительно большим, например 0,1 или даже 0,2. Такой выбор оправдан, если последствия ошибок второго рода более существенны, чем последствия ошибок первого рода.

Кроме того, следует различать понятие статистической значимости и практической значимости. Заключение о практической значимости всегда делается исследователем, проверяющим гипотезу. И здесь истинными критерием является экспертное мнение исследователя, его опыт и интуиция, умение «чувствовать» истинный уровень значимости, а не применение стандартного значения 0,05. Окончательный выбор уровня значимости связан с риском, который наступает с выбором решения принимать или отвергать проверяемую гипотезу.