Ограничения на рецензирането
Рецензирането от колеги е филтърът за качество в науката. То е и тесен клуб, в който всички се познават.
Идеята звучи добре: преди изследване да бъде публикувано, други експерти в областта го проверяват. Но на практика повечето специализирани области са малки. Рецензентите и авторите се конкурират за едни и същи грантове, публикуват в едни и същи списания и ходят на едни и същи конференции. Знаят чия статия рецензират дори когато е „анонимна". Имат мнения за това кой трябва да е прав. И имат сериозни кариерни причини да защитават теориите, върху които собствената им работа е изградена.
Рецензентите не са платени, претоварени са и рядко повтарят експериментите, които оценяват. Проверяват дали методите звучат разумно и дали изводите следват от представените данни — но не могат да открият манипулиране на статистиката, избирателно докладване или откровена фалшификация само от ръкопис. Високопрофилни случаи на измама са минавали безпроблемно през рецензиране в престижни списания. Също и изследвания с елементарни статистически грешки, които и студент първи курс би забелязал.
Нищо от това не означава, че рецензирането е безполезно. То улавя очевидни грешки и подобрява статиите по ръбовете. Но е филтър, не гаранция. Когато някой каже, че дадена находка е „рецензирана от експерти", като че ли това слага край на въпроса, той бърка минимална проверка с задълбочена валидация. Рецензирането означава, че някой е хвърлил поглед. Не означава, че е вярно.
Препратки
- John Ioannidis — Why Most Published Research Findings Are False (2005)
- Ben Goldacre — Bad Science (2008)
- Thomas Kuhn — The Structure of Scientific Revolutions (1962)