Данные
Проект Open Science Collaboration повторил 100 исследований из трёх психологических журналов за 2008 год. Единица сводки — исследование, не человек.
| Показатель | Значение | Знаменатель |
|---|---|---|
| Исходные положительные результаты | 97 | 100 работ |
| Значимые повторения в исходном направлении | 35 (36,1%) | 97 исходных положительных результатов |
| Средний эффект r: оригинал → повторение | 0,403 → 0,197 | 97 пар |
| Исходный эффект больше повторного | 82 (82,8%) | 99 пар |
Четыре исходных результата с p немного выше 0,05 авторы отнесли к положительным согласно трактовке исходных статей. Разные знаменатели отражают доступность показателей. Источник: таблица 1 и раздел Results.
Как читать сводку
36,1% — доля по критерию p < 0,05 и совпадению направления. Это не процент истинных теорий. Среднее r — описание набора разных эффектов, а не «средний психологический закон».
Границы
Выборка ограничена журналами, годом и выполнимостью повторения. По этой сводке нельзя оценить всю психологию, назвать причины расхождений или признать конкретный механизм недействительным.
Источник и проверка
Первичная публикация: https://doi.org/10.1126/science.aac4716
Полный текст: https://uopsych.github.io/psy611/readings/OSC_2015.pdf
Материалы проекта: https://osf.io/ezcuj/
В связанной аналитике ниже — отдельная проверка гипотезы по опубликованным агрегатам. Связи с механизмом и учебным тестом помогают обсуждать чтение доказательств, но не означают, что эти задания входили в проект.