Введение
Статистическая значимость относится к меньшей вероятности ошибки выборки, влияющей на средние различия. Статистическая значимость исходит из используемых данных и уверенности аналитика в результате. Другими словами, статистическая значимость отражает низкую вероятность того, что наблюдаемые данные были получены случайно.
Для определения статистической значимости используется уровень значимости. P-значение — это вероятность того, что вычисляемая тестовая статистика приобретет значение, равное или меньшее, чем фиксированное значение или уровень значимости, называемый «α». Если P-значение равно или меньше α, то считается, что данные статистически значимы на уровне α. Таким образом, если α=.05, то результат значим при P<.05.
Различия
i. Статистическая значимость указывает на вероятность существования связи между двумя переменными, в то время как практическая значимость подразумевает существование связи между переменными в реальном мире.
ii. Статистическая значимость является математической и зависит от размера выборки. Практическая значимость обусловлена применимостью результата при принятии решений. Практическая значимость более субъективна и зависит от внешних факторов, таких как стоимость, время, цели и т.д., помимо статистической значимости.
Вышеупомянутые различия можно понять в свете одного примера. В ходе опроса, организованного школьной администрацией одного из районов, об участии в спортивных мероприятиях мальчиков и девочек, посещающих школу, выяснилось, что 60% мальчиков и 57% девочек занимаются спортом на открытом воздухе. Таким образом, исследование показало, что разница между мальчиками и девочками, участвующими в занятиях спортом на свежем воздухе, составляет 3%. Теперь вопрос в том, насколько значима эта разница в 3% как статистически, так и практически. Статистическая значимость этих 3% зависит от объема данных, используемых при определении процентного соотношения мальчиков и девочек, занимающихся спортом. Если используется достаточно большой размер выборки, то разница статистически значима, а если используется очень маленький размер выборки, то разница статистически незначима. Таким образом, чем больше размер выборки, тем выше статистическая значимость вычисленного показателя.
С другой стороны, практическая значимость этой 3% разницы возникает, если на основе этой 3% разницы принимается решение или предпринимаются действия. Если позволяют средства, администрация может рассмотреть возможность поощрения участия девочек в спорте, чтобы добиться гендерного паритета в спорте на открытом воздухе. В этом случае разница в 3%, хотя и небольшая, может быть практически значимой.
Можно представить себе и другой сценарий, когда разница составляет 40%. Если размер выборки достаточно велик, то разница в 40% является значимой как статистически, так и практически, поскольку 40% — слишком большая разница, чтобы требовать немедленных действий со стороны власти для устранения огромного дисбаланса. Однако если размер выборки достаточно мал, то разница в 40% не является ни статистически, ни практически значимой, хотя цифра 40% достаточно велика.
Резюме:
i. Статистическая значимость относится к маловероятности того, что результат получен случайно, т.е. вероятность того, что связь между двумя переменными существует. Практическая значимость относится к связи между переменными и ситуацией в реальном мире.
ii. Статистическая значимость зависит от размера выборки, практическая значимость зависит от внешних факторов, таких как стоимость, время, цель и т.д.
iii. Статистическая значимость не гарантирует практической значимости, но чтобы быть практически значимыми, данные должны быть статистически значимыми.
Ссылки:
1. Практическая значимость против статистической значимости: доступно на сайте
2. Практическая значимость против статистической значимости: доступно на http://atrium.lib.uogelph