Определение статистической значимости. Достоверность и статистическая значимость

ДОСТОВЕРНОСТЬ СТАТИСТИЧЕСКАЯ

- англ. credibility /validity, statistical; нем. Validitat, statistische. Последовательность, объективность и отсутствие неясности в статистическом тесте или в к.-л. наборе измерений. Д. с. может быть проверена повторением того же теста (или вопросника) по отношению к тому же самому субъекту, чтобы убедиться, будут ли получены такие же результаты; или сравнением различных частей теста, которыми предполагают измерить один и тот же объект.

Antinazi. Энциклопедия социологии , 2009

Смотреть что такое "ДОСТОВЕРНОСТЬ СТАТИСТИЧЕСКАЯ" в других словарях:

ДОСТОВЕРНОСТЬ СТАТИСТИЧЕСКАЯ - англ. credibility /validity, statistical; нем. Validitat, statistische. Последовательность, объективность и отсутствие неясности в статистическом тесте или в к. л. наборе измерений. Д. с. может быть проверена повторением того же теста (или… … Толковый словарь по социологии

В статистике величину называют статистически значимой, если мала вероятность её случайного возникновения или еще более крайних величин. Здесь под крайностью понимается степень отклонения тестовой статистики от нуль гипотезы. Разница называется… … Википедия

Физическое явление статистической устойчивости состоит в том, что при увеличении величины выборки частота случайного события или среднее значение физической величины стремится к некоторому фиксированному числу. Феномен статистической… … Википедия

ДОСТОВЕРНОСТЬ РАЗЛИЧИЯ (сходства) - аналитико статистическая процедура установления уровня значимости различий или сходств между выборками по изучаемым показателям (переменным) … Современный образовательный процесс: основные понятия и термины

ОТЧЕТНОСТЬ, СТАТИСТИЧЕСКАЯ Большой бухгалтерский словарь

ОТЧЕТНОСТЬ, СТАТИСТИЧЕСКАЯ - форма государственного статистического наблюдения, при которой соответствующие органы получают от предприятий (организаций и учреждений) необходимые им сведения в виде уставленных в законном порядке отчетных документов (статистических отчетов) за … Большой экономический словарь

Наука, занимающаяся изучением приемов систематического наблюдения над массовыми явлениями социальной жизни человека, составления численных их описаний и научной обработки этих описаний. Таким образом, теоретическая статистика есть наука… … Энциклопедический словарь Ф.А. Брокгауза и И.А. Ефрона

Коэффициент корреляции - (Correlation coefficient) Коэффициент корреляции это статистический показатель зависимости двух случайных величин Определение коэффициента корреляции, виды коэффициентов корреляции, свойства коэффициента корреляции, вычисление и применение… … Энциклопедия инвестора

Статистика - (Statistics) Статистика это общетеоретическая наука, изучающая количественные изменения в явлениях и процессах. Государственная статистика, службы статистики, Росстат (Госкомстат), статистические данные, статистика запросов, статистика продаж,… … Энциклопедия инвестора

Корреляция - (Correlation) Корреляция это статистическая взаимосвязь двух или нескольких случайных величин Понятие корреляции, виды корреляции, коэффициент корреляции, корреляционный анализ, корреляция цен, корреляция валютных пар на Форекс Содержание… … Энциклопедия инвестора

Книги

• Исследование в математике и математика в исследовании: Методический сборник по исследовательской деятельности учащихся , Борзенко В.И.. В сборнике представлены методические разработки, применимые в организации исследовательской деятельности учащихся. Первая часть сборника посвящена применению исследовательского подхода в…

Уровень значимости в статистике является важным показателем, отражающим степень уверенности в точности, истинности полученных (прогнозируемых) данных. Понятие широко применяется в различных сферах: от проведения социологических исследований, до статистического тестирования научных гипотез.

Определение

Уровень статистической значимости (или статистически значимый результат) показывает, какова вероятность случайного возникновения исследуемых показателей. Общая статистическая значимость явления выражается коэффициентом р-value (p-уровень). В любом эксперименте или наблюдении существует вероятность, что полученные данные возникли из-за ошибок выборки. Особенно это актуально для социологии.

То есть статистически значимой является величина, чья вероятность случайного возникновения крайне мала либо стремится к крайности. Крайностью в этом контексте считают степень отклонения статистики от нуль-гипотезы (гипотезы, которую проверяют на согласованность с полученными выборочными данными). В научной практике уровень значимости выбирается перед сбором данных и, как правило, его коэффициент составляет 0,05 (5 %). Для систем, где крайне важны точные значения, этот показатель может составлять 0,01 (1 %) и менее.

История вопроса

Понятие уровня значимости было введено британским статистиком и генетиком Рональдом Фишером в 1925 году, когда он разрабатывал методику проверки статистических гипотез. При анализе какого-либо процесса существует определенная вероятность тех либо иных явлений. Трудности возникают при работе с небольшими (либо не очевидными) процентами вероятностей, подпадающими под понятие «погрешность измерений».

При работе со статистическими данными, недостаточно конкретными, чтобы их проверить, ученые сталкивались с проблемой нулевой гипотезы, которая «мешает» оперировать малыми величинами. Фишер предложил для таких систем определить вероятность событий в 5 % (0,05) в качестве удобного выборочного среза, позволяющего отклонить нуль-гипотезу при расчетах.

Введение фиксированного коэффициента

В 1933 году ученые Ежи Нейман и Эгон Пирсон в своих работах рекомендовали заранее (до сбора данных) устанавливать определенный уровень значимости. Примеры использования этих правил хорошо видны во время проведения выборов. Предположим, есть два кандидата, один из которых очень популярен, а второй – малоизвестен. Очевидно, что первый кандидат выборы выиграет, а шансы второго стремятся к нулю. Стремятся – но не равны: всегда есть вероятность форс-мажорных обстоятельств, сенсационной информации, неожиданных решений, которые могут изменить прогнозируемые результаты выборов.

Нейман и Пирсон согласились, что предложенный Фишером уровень значимости 0,05 (обозначаемый символом α) наиболее удобен. Однако сам Фишер в 1956 году выступил против фиксации этого значения. Он считал, что уровень α должен устанавливаться в соответствии с конкретными обстоятельствами. Например, в физике частиц он составляет 0,01.

Значение p-уровня

Термин р-value впервые использован в работах Браунли в 1960 году. P-уровень (p-значение) является показателем, находящимся в обратной зависимости от истинности результатов. Наивысший коэффициент р-value соответствует наименьшему уровню доверия к произведенной выборке зависимости между переменными.

Данное значение отражает вероятность ошибок, связанных с интерпретацией результатов. Предположим, p-уровень = 0,05 (1/20). Он показывает пятипроцентную вероятность того, что найденная в выборке связь между переменными – всего лишь случайная особенность проведенной выборки. То есть, если эта зависимость отсутствует, то при многократных подобных экспериментах в среднем в каждом двадцатом исследовании можно ожидать такую ​​же либо большую зависимость между переменными. Часто p-уровень рассматривается в качестве «допустимой границы» уровня ошибок.

Кстати, р-value может не отражать реальную зависимость между переменными, а лишь показывает некое среднее значение в пределах допущений. В частности, окончательный анализ данных будет также зависеть от выбранных значений данного коэффициента. При p-уровне = 0,05 будут одни результаты, а при коэффициенте, равном 0,01, другие.

Проверка статистических гипотез

Уровень статистической значимости особенно важен при проверке выдвигаемых гипотез. Например, при расчетах двустороннего теста область отторжения разделяют поровну на обоих концах выборочного распределения (относительно нулевой координаты) и высчитывают истинность полученных данных.

Предположим, при мониторинге некоего процесса (явления) выяснилось, что новая статистическая информация свидетельствует о небольших изменениях относительно предыдущих значений. При этом расхождения в результатах малы, не очевидны, но важны для исследования. Перед специалистом встает дилемма: изменения реально происходят или это ошибки выборки (неточность измерений)?

В этом случае применяют либо отвергают нулевую гипотезу (списывают все на погрешность, или признают изменение системы как свершившийся факт). Процесс решения задачи базируется на соотношении общей статистической значимости (р-value) и уровня значимости (α). Если р-уровень < α, значит, нулевую гипотезу отвергают. Чем меньше р-value, тем более значимой является тестовая статистика.

Используемые значения

Уровень значимости зависит от анализируемого материала. На практике используют следующие фиксированные значения:

• α = 0,1 (или 10 %);
• α = 0,05 (или 5 %);
• α = 0,01 (или 1 %);
• α = 0,001 (или 0,1 %).

Чем более точными требуются расчеты, тем меньший коэффициент α используется. Естественно, что статистические прогнозы в физике, химии, фармацевтике, генетике требуют большей точности, чем в политологии, социологии.

Пороги значимости в конкретных областях

В высокоточных областях, таких как физика частиц и производственная деятельность, статистическая значимость часто выражается как соотношение среднеквадратического отклонения (обозначается коэффициентом сигма – σ) относительно нормального распределения вероятностей (распределение Гаусса). σ – это статистический показатель, определяющий рассеивание значений некой величины относительно математических ожиданий. Используется для составления графиков вероятности событий.

В зависимости от области знаний, коэффициент σ сильно разнится. Например, при прогнозировании существования бозона Хиггса параметр σ равен пяти (σ=5), что соответствует значению р-value=1/3,5 млн. При исследованиях геномов уровень значимости может составлять 5×10 -8 , что не являются редкостью для этой области.

Эффективность

Необходимо учитывать, что коэффициенты α и р-value не являются точными характеристиками. Каким бы ни был уровень значимости в статистике исследуемого явления, он не является безусловным основанием для принятия гипотезы. Например, чем меньше значение α, тем больше шанс, что устанавливаемая гипотеза значима. Однако существует риск ошибиться, что уменьшает статистическую мощность (значимость) исследования.

Исследователи, которые зацикливаются исключительно на статистически значимых результатах, могут получить ошибочные выводы. При этом перепроверить их работу затруднительно, так как ими применяются допущения (коими фактически и являются значения α и р-value). Поэтому рекомендуется всегда, наряду с вычислением статистической значимости, определять другой показатель – величину статистического эффекта. Величина эффекта – это количественная мера силы эффекта.

ПЛАТНАЯ ФУНКЦИЯ. Функция статистической значимости доступна только в некоторых тарифных планах. Проверьте, есть ли она в .

Можно узнать, есть ли статистически значимые отличия в ответах, полученных от разных групп респондентов на вопросы в опросе. Для работы с функцией статистической значимости в SurveyMonkey необходимо:

• Включить функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Выбрать группы респондентов для сравнения, чтобы отсортировать результаты опроса по группам для наглядного сравнения.
• Изучить таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Просмотр статистической значимости

Выполнив нижеописанные действия, Вы сможете создать опрос, отображающий статистическую значимость.

1. Добавьте в опрос вопросы закрытого типа

Для того, чтобы отобразить статистическую значимость во время анализа результатов, Вам понадобится применить правило сравнения к какому-либо вопросу из Вашего опроса.

Применить правило сравнения и вычислить статистическую значимость в ответах можно в том случае, если в схеме опроса Вы используете один из следующих типов вопросов:

Необходимо убедиться в том, что предлагаемые варианты ответа можно разделить на полноценные группы. Варианты ответа, выбираемые Вами для сравнения при создании правила сравнения, будут использованы для организации данных в перекрестные таблицы в рамках всего опроса.

2. Соберите ответы

После завершения составления опроса создайте коллектор для его рассылки. Существует несколько способов .

Вам необходимо получить не менее 30 ответов по каждому варианту ответа, который Вы планируете использовать в своем правиле сравнения, чтобы активировать и просмотреть статистическую значимость.

Пример опроса

Вы хотите узнать, довольны ли мужчины Вашей продукцией значительно больше, чем женщины.

1. Добавьте в опрос два вопроса с множественными вариантами ответа:
   Какой Ваш пол? (мужской, женский)
   Довольны ли Вы или недовольны нашим продуктом? (доволен(-льна), недоволен(-льна))
2. Убедитесь, что не менее 30 респондентов выбрали вариант ответа «мужской» на вопрос о поле, А ТАКЖЕ не менее 30 респондентов в качестве своего пола выбрали вариант «женский».
3. Добавьте правило сравнения к вопросу "Какой Ваш пол?" и выберите оба варианта ответа как Ваши группы.
4. Используйте таблицу данных ниже диаграммы вопроса "Довольны ли Вы или недовольны нашим продуктом?" , чтобы узнать, показывают ли какие-нибудь варианты ответа статистически значимое отличие

Что такое статистически значимое отличие?

Статистически значимое отличие означает, что с помощью статистического анализа установлено наличие существенных отличий между ответами одной группы респондентов и ответами другой группы. Статистическая значимость означает, что полученные цифры достоверно отличаются. Такие знания в значительной мере помогут Вам при анализе данных. Тем не менее, важность полученных результатов определяете Вы. Именно Вы решаете, как толковать результаты опросов и какие меры следует принять на их основе.

Например, Вы получаете больше претензий от покупателей женского пола, чем от покупателей-мужчин. Как определить, является ли такое отличие реальным и требуется ли в связи с этим принять меры? Одним из отличных способов проверить Ваши наблюдения является проведение опроса, который покажет Вам, действительно ли Вашим товаром в значительно большей мере довольны покупатели-мужчины. С помощью статистической формулы предлагаемая нами функция статистической значимости предоставит Вам возможность определить, действительно ли Ваш товар гораздо больше нравится мужчинам, чем женщинам. Это позволит Вам принять меры, основываясь на факты, а не на догадки.

Статистически значимое отличие

Если полученные Вами результаты выделены в таблице данных, это означает, что две группы респондентов значительно отличаются друг от друга. Термин «значительно» не означает, что полученные цифры имеют какую-то особую важность или значение, а лишь то, что между ними есть статистическая разница.

Отсутствие статистически значимого отличия

Если полученные Вами результаты не выделены в соответствующей таблице данных, это означает, что, несмотря на возможную разницу в двух сравниваемых цифрах, между ними нет статистической разницы.

Ответы без статистически значимых отличий демонстрируют, что между двумя сравниваемыми элементами нет значительной разницы при используемом Вами объеме выборки, однако это не обязательно означает, что они не имеют значения. Возможно, увеличив объем выборки, Вы сможете выявить статистически значимое отличие.

Объем выборки

Если у Вас очень малый объем выборки, значительными будут только очень большие отличия между двумя группами. Если у Вас очень большой объем выборки, как небольшие, так и большие отличия будут учтены как значительные.

Тем не менее, если две цифры являются статистически различными, это не означает, что разница между результатами имеет для Вас какое-либо практическое значение. Вам придется самим решить, какие именно отличия значимы для Вашего опроса.

Вычисление статистической значимости

Мы вычисляем статистическую значимость, используя стандартный уровень доверия 95 %. Если вариант ответа отображается как статистически значимый, это означает, что только благодаря случайности либо из-за ошибки выборки отличие между двумя группами имеет место с вероятностью менее 5 % (часто отображается в виде: p<0,05).

Для вычисления статистически значимых отличий между группами мы используем следующие формулы:

*1,96 является значением, применяемым для уровня доверия 95 %, поскольку 95 % диапазона, обрабатываемого функцией t-распределения Стьюдента, лежит в пределах 1,96 стандартного отклонения от среднего значения.

Пример вычислений

Продолжая пример, используемый выше, давайте выясним, действительно ли процент мужчин, заявляющих о том, что они довольны Вашим товаром, значительно выше процента женщин.

Допустим, в Вашем опросе приняло участие 1000 мужчин и 1000 женщин, и в результате опроса оказалось, что 70 % мужчин и 65 % женщин утверждают, что они довольны Вашим товаром. Является ли показатель на уровне 70 % значительно выше показателя на уровне 65 %?

Подставьте следующие данные из опроса в предлагаемые формулы:

• p1 (% мужчин, довольных продуктом) = 0,7
• p2 (% женщин, довольных продуктом) = 0,65
• n1 (количество опрошенных мужчин) = 1000
• n2 (количество опрошенных женщин) = 1000

Поскольку абсолютная величина тестового статистического показателя больше чем 1,96, это означает, что отличие между мужчинами и женщинами является значительным. По сравнению с женщинами мужчины с большей долей вероятности будут довольны Вашим продуктом.

Скрытие статистической значимости

Как скрыть статистическую значимость для всех вопросов

1. Нажмите стрелку «вниз» справа от правила сравнения на левой боковой панели.
2. Выберите пункт Редактировать правило .
3. Отключите функцию Показать статистическую значимость с помощью переключателя.
4. Нажмите кнопку Применить .

Чтобы скрыть статистическую значимость для одного вопроса, необходимо:

1. Нажмите кнопку Настроить над диаграммой данного вопроса.
2. Откройте вкладку Параметры отображения .
3. Снимите флажок напротив пункта Статистическая значимость .
4. Нажмите кнопку Сохранить .

Параметр отображения автоматически активируется при включении отображения статистической значимости. Если снять флажок этого параметра отображения, отображение статистической значимости также будет отключено.

Включите функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Изучите таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Задание 3. Пяти дошкольникам предъявляют тест. Фиксируется время решения каждого задания. Будут ли найдены статистически значимые различия между временем решения первых трёх заданий теста?

Справочный материал

Данное задание основано на теории дисперсионного анализа. В общем случае, задачей дисперсионного анализа является выявление тех факторов, которые оказывают существенное влияние на результат эксперимента. Дисперсионный анализ может применяться для сравнения средних нескольких выборок, если число выборок больше двух. Для этой цели служит однофакторный дисперсионный анализ.

В целях решения поставленных задач принимается следующее. Если дисперсии полученных значений параметра оптимизации в случае влияния факторов отличаются от дисперсий результатов в случае отсутствия влияния факторов, то такой фактор признается значимым.

Как видно из формулировки задачи, здесь используются методы проверки статистических гипотез, а именно – задача проверки двух эмпирических дисперсий. Следовательно, дисперсионный анализ базируется на проверке дисперсий по критерию Фишера. В данном задании необходимо проверить являются ли статистически значимыми различия между временем решения первых трёх заданий теста каждым из шести дошкольников.

Нулевой (основной) называют выдвинутую гипотезу H о. Сущность е сводится к предположению, что разница между сравниваемыми параметрами равна нулю (отсюда и название гипотезы – нулевая) и что наблюдаемые различия имеют случайный характер.

Конкурирующей (альтернативной) называют гипотезу H 1 , которая противоречит нулевой.

Решение:

Методом дисперсионного анализа при уровне значимости α = 0,05 проверим нулевую гипотезу (H о) о существовании статистически значимых различий между временем решения первых трёх заданий теста у шести дошкольников.

Рассмотрим таблицу условия задания, в которой найдем среднее время решения каждого из трех заданий теста

Находим общую среднюю:

Для того, чтобы учесть значимость временных различий каждого теста, общая выборочная дисперсия разбивается на две части, первая из которых называется факторной , а вторая – остаточной

Рассчитаем общую сумму квадратов отклонений вариант от общей средней по формуле

или , где р – число измерений времени решений заданий теста, q – количество испытуемых. Для этого составим таблицу квадратов вариант

Статистическая значимость результата (p-значение) представляет собой оцененную меру уверенности в его «истинности» (в смысле «репрезентативности выборки»). Выражаясь более технически, p-значение ‑ это показатель, находящийся в убывающей зависимости от надежности результата. Более высокое p-значение соответствует более низкому уровню доверия к найденной в выборке зависимости между переменными. Именно, p-значение представляет собой вероятность ошибки, связанной с распространением наблюдаемого результата на всю популяцию. Например, p-значение=0.05 (т.е. 1/20) показывает, что имеется 5% вероятность, что найденная в выборке связь между переменными является лишь случайной особенностью данной выборки. Иными словами, если данная зависимость в популяции отсутствует, а вы многократно проводили бы подобные эксперименты, то примерно в одном из двадцати повторений эксперимента можно было бы ожидать такой же или более сильной зависимости между переменными.

Во многих исследованиях p-значение=0.05 рассматривается как «приемлемая граница» уровня ошибки.

Не существует никакого способа избежать произвола при принятии решения о том, какой уровень значимости следует действительно считать «значимым». Выбор определенного уровня значимости, выше которого результаты отвергаются как ложные, является достаточно произвольным. На практике окончательное решение обычно зависит от того, был ли результат предсказан априори (т.е. до проведения опыта) или обнаружен апостериорно в результате многих анализов и сравнений, выполненных с множеством данных, а также на традиции, имеющейся в данной области исследований. Обычно во многих областях результат p 0.05 является приемлемой границей статистической значимости, однако следует помнить, что этот уровень все еще включает довольно большую вероятность ошибки (5%). Результаты, значимые на уровне p 0.01 обычно рассматриваются как статистически значимые, а результаты с уровнем p 0.005 или p 0.001 как высоко значимые. Однако следует понимать, что данная классификация уровней значимости достаточно произвольна и является всего лишь неформальным соглашением, принятым на основе практического опыта в той или иной области исследования.

Как было уже сказано, величина зависимости и надежность представляют две различные характеристики зависимостей между переменными. Тем не менее, нельзя сказать, что они совершенно независимы. Говоря общим языком, чем больше величина зависимости (связи) между переменными в выборке обычного объема, тем более она надежна.

Если предполагать отсутствие зависимости между соответствующими переменными в популяции, то наиболее вероятно ожидать, что в исследуемой выборке связь между этими переменными также будет отсутствовать. Таким образом, чем более сильная зависимость обнаружена в выборке, тем менее вероятно, что этой зависимости нет в популяции, из которой она извлечена.

Объем выборки влияет на значимость зависимости. Если наблюдений мало, то соответственно имеется мало возможных комбинаций значений этих переменных и таким образом, вероятность случайного обнаружения комбинации значений, показывающих сильную зависимость, относительно велика.

Как вычисляется уровень статистической значимости. Предположим, вы уже вычислили меру зависимости между двумя переменными (как объяснялось выше). Следующий вопрос, стоящий перед вами: «насколько значима эта зависимость?» Например, является ли 40% объясненной дисперсии между двумя переменными достаточным, чтобы считать зависимость значимой? Ответ: «в зависимости от обстоятельств». Именно, значимость зависит в основном от объема выборки. Как уже объяснялось, в очень больших выборках даже очень слабые зависимости между переменными будут значимыми, в то время как в малых выборках даже очень сильные зависимости не являются надежными. Таким образом, для того чтобы определить уровень статистической значимости, вам нужна функция, которая представляла бы зависимость между «величиной» и «значимостью» зависимости между переменными для каждого объема выборки. Данная функция указала бы вам точно «насколько вероятно получить зависимость данной величины (или больше) в выборке данного объема, в предположении, что в популяции такой зависимости нет». Другими словами, эта функция давала бы уровень значимости (p-значение), и, следовательно, вероятность ошибочно отклонить предположение об отсутствии данной зависимости в популяции. Эта «альтернативная» гипотеза (состоящая в том, что нет зависимости в популяции) обычно называется нулевой гипотезой. Было бы идеально, если бы функция, вычисляющая вероятность ошибки, была линейной и имела только различные наклоны для разных объемов выборки. К сожалению, эта функция существенно более сложная и не всегда точно одна и та же. Тем не менее, в большинстве случаев ее форма известна, и ее можно использовать для определения уровней значимости при исследовании выборок заданного размера. Большинство этих функций связано с очень важным классом распределений, называемым нормальным.