Вопрос и гипотеза
Когда исследование повторяют, уменьшение эффекта встречается чаще, чем его отсутствие? Проверяем узкую гипотезу о направлении изменения, а не утверждение «психология не работает».
H0: вероятность меньшего повторного эффекта равна 0,5. H1: она выше 0,5. Правило решения: односторонний точный биномиальный тест, порог 0,05. Мы выбрали проверку после знакомства с публикацией, поэтому это иллюстративный вторичный анализ, а не заранее зарегистрированное подтверждение.
Проверка
В исходной сводке эффект больше повторного в 82 из 99 доступных пар. Считаем P(X ≥ 82), где X имеет биномиальное распределение с n = 99 и p = 0,5.
| Шаг | Результат |
|---|---|
| Наблюдаемая доля | 82 / 99 = 82,8% |
| Ожидаемое число при H0 | 99 × 0,5 = 49,5 |
| Точная сумма вероятностей для 82…99 | 1.090e-11 |
| Сравнение с порогом | p < 0,05 |
При указанных предпосылках наблюдение плохо согласуется с H0. В этом наборе уменьшение встречается чаще половины случаев. Значение p не означает вероятность истинности H0 или гипотезы о причинах.
Что может объяснить результат
Возможны отбор ярких первоначальных результатов, различия условий повторения, случайная переоценка исходного эффекта. Эти объяснения могут сочетаться. Подтверждающее ожидание — повод проверить решения аналитика, но не установленная причина этих 82 случаев.
Чтобы различить объяснения, нужны данные отдельных пар: протокол, точность оценки, отличия выборки и процедуры. До нового сбора следует определить основной показатель, допустимые исключения и проверку чувствительности. Сопоставление заранее зарегистрированных работ с обычными поможет уточнить гипотезу отбора, но само по себе не устранит все различия между группами.
Что ограничивает вывод
Биномиальная модель предполагает независимые сопоставимые испытания и вероятность 0,5 при H0. Мы используем опубликованный признак «исходный эффект больше»; возможные равенства и зависимости без данных отдельных работ здесь не перепроверены. Выборка не случайная выборка всей психологии. Итог относится к этой сводке и этим допущениям.
От данных к пересмотру версии
Полезная привычка — заранее назвать факт, который изменит вашу позицию. В разборе Снейпа ниже это поиск альтернативной версии; в учебных тестах — проверка подтверждений и вероятностных суждений. Это тематические связи, не экспериментальная проверка героев или тестов.
Основа расчёта: https://doi.org/10.1126/science.aac4716
Опубликованные числа и их границы — в связанной статистике ниже. Новый опыт не проводился; здесь показан воспроизводимый расчёт по агрегатам.