Манипулиране на статистиката
Анализирай достатъчно дълго произволен набор от данни и нещо ще изглежда значимо. Това не е откритие — това е риболов.
В научните изследвания един резултат се смята за „статистически значим", когато p-стойността падне под 0.05. Този праг би трябвало да означава, че има по-малко от 5% вероятност резултатът да е случаен шум. Но ето уловката: ако тестваш достатъчно променливи, нарежеш данните по достатъчно начини или подправяш метода достатъчно пъти, почти сигурно ще се натъкнеш на нещо, което преминава прага. Това е манипулиране на статистиката и е навсякъде.
Понякога е умишлено. Изследователят знае какъв резултат очаква поръчителят и масажира числата, докато той се появи. Но по-често е несъзнателно. Опитваш един анализ, не проработва, опитваш друг. Махаш няколко отклоняващи се стойности. Предефинираш групите. Всяка стъпка поотделно изглежда разумна. Но всяка стъпка те отдалечава от честното изследване и те приближава към произвеждането на предрешен отговор.
Вредата се умножава заедно с пристрастието при публикуване. Само подправеният „значим" резултат бива публикуван. Двадесетте неуспешни опита остават скрити. Онова, което достига до хората, прилича на чиста наука. В действителност е оцелялото от подбор, създаден да произведе точно този резултат.
Р-стойност под 0.05 не е доказателство. Тя е отправна точка — и то само ако анализът е бил планиран преди събирането на данните.
Препратки
- John Ioannidis — Why Most Published Research Findings Are False (2005)
- Ben Goldacre — Bad Science (2008)
- Richard Harris — Rigor Mortis (2017)