Криза на възпроизводимостта
Повече от половината резултати в някои научни области не могат да бъдат повторени. Помисли за миг какво означава това.
През 2005 г. Джон Йоанидис публикува статия, в която аргументира, че повечето публикувани научни резултати са неверни. Звучеше крайно. После учени започнаха да проверяват. Колаборацията за отворена наука се опита да повтори 100 психологически изследвания — само 36 дадоха същия резултат. Ракова биология не се представи по-добре: учени от Amgen опитаха да възпроизведат 53 ключови проучвания и успяха само с 6. Не говорим за маргинални публикации — това са изследванията, върху които се пишат учебниците.
Причините са структурни. Кариерите зависят от публикуването на нови, положителни резултати. Списанията предпочитат вълнуващи открития пред скучни повторения. Финансирането награждава количество, не проверка. Така учените са под постоянен натиск да произвеждат впечатляващи данни — независимо дали отразяват реалността. Добави малки извадки, гъвкави аналитични методи и пристрастие при публикуване и получаваш система, която произвежда увереност от шум.
Това не значи, че цялата наука е счупена. Означава, че самокоригиращият механизъм — повторението — е бил пренебрегван десетилетия наред. Когато една находка не е независимо възпроизведена, приемай я като предварително твърдение, а не като установен факт. Кризата не е в това, че науката се е провалила, а в това, че хората забравиха коя част от науката всъщност работи.
Препратки
- John Ioannidis — Why Most Published Research Findings Are False (2005)
- Richard Harris — Rigor Mortis (2017)
- Ben Goldacre — Bad Science (2008)