Συνολικά 270 επιστήμονες από πέντε ηπείρους συμμετείχαν στη νέα μελέτη, η οποία επιχειρεί να αναπαράγει τα αποτελέσματα 100 προηγούμενων ερευνών που είχαν δημοσιευτεί σε τρεις από τις πιο έγκριτες επιθεωρήσεις Ψυχολογίας.
Πρόκειται για τη μεγαλύτερη προσπάθεια μέχρι σήμερα για τη μέτρηση της επαναληψιμότητας σε οποιοδήποτε επιστημονικό πεδίο, όπως υποστηρίζει η ερευνητική ομάδα, τα συμπεράσματα της οποίας δημοσιεύονται στο περιοδικό Science.
Η επαναληψιμότητα ή αναπαραγωγιμότητα, μια βασική έννοια της επιστήμης, σημαίνει ότι τα ευρήματα μιας οποιασδήποτε μελέτης μένουν τα ίδια όταν τα δεδομένα υφίστανται νέα ανάλυση, ή όταν νέα δεδομένα συλλέγονται με ίδιες μεθόδους.
Τα τελευταία χρόνια όμως έχει παρατηρηθεί σημαντικό έλλειμμα επαναληψιμότητας σε πολλά επιστημονικά πεδία πέρα από την Ψυχολογία: Πρόσφατη ανάλυση που δημοσιεύτηκε στο περιοδικό Nature εξέταζε 53 σημαντικές μελέτες για τη βιολογία του καρκίνου και διαπίστωνε ότι μόνο οι 6 ήταν δυνατό να αναπαραχθούν.
Σε δική της μελέτη, η αμερικανική εταιρεία βιοτεχνολογίας Glenn Begley (πρώην Amgen) έδειχνε ότι μεταξύ 53 «κορυφαίων» μελετών ογκολογίας το διάστημα 2001-2011 μόνο το 11% ήταν δυνατό να αναπαραχθούν στα εργαστήρια της εταιρείας. Αντίστοιχη έρευνα της Bayer Health μπόρεσε να αναπαράγει μόλις το 25% των ακαδημαϊκών δημοσιεύσεων που εξέτασε.
«Εδώ και χρόνια υπάρχει ανησυχία για την επαναληψιμότητα των επιστημονικών ευρημάτων, όμως οι άμεσες, συστηματικές ενδείξεις ήταν περιορισμένες» σχολιάζει ο Μπράιαν Νόζεκ, συνιδρυτής του Center for Open Science και επικεφαλής της νέας ανάλυσης.
Από τις 100 απόπειρες επιβεβαίωσης προηγούμενων ευρημάτων στο χώρο της Ψυχολογίας, η ανάλυση ήταν επιτυχής μόνο σε 39 περιπτώσεις.
Σύμφωνα με την ερευνητική ομάδα, τρεις είναι οι βασικοί λόγοι για τους οποίους μια μελέτη δεν είναι δυνατό να αναπαραχθεί:
- Το αρχικό αποτέλεσμα ήταν ψευδώς θετικό
- Η απόπειρα αναπαραγωγής της μελέτης χρησιμοποιεί ελαφρώς διαφορετικές μεθόδους και υλικά
- Η απόπειρα αναπαραγωγής αποτυγχάνει κατά τύχη να αναπαράγει το αρχικό αποτέλεσμα
Ένα γενικότερο πρόβλημα, επισημαίνει ο Νόζεκ, είναι ότι τα κίνητρα των επιστημόνων δεν συμβαδίζουν πάντα με την ανάγκη αναπαραγωγιμότητας: «Οι επιστήμονες έχουν στόχο να συνεισφέρουν αξιόπιστη γνώση, ταυτόχρονα όμως πρέπει να παράγουν αποτελέσματα που τους βοηθούν να κρατήσουν τη δουλειά τους ως ερευνητές» λέει.
Για παράδειγμα, μελέτες με αναπάντεχα, εντυπωσιακά αποτελέσματα είναι πολύ πιο εύκολο να δημοσιευτούν σε σχέση με αξιόπιστες βαρετές μελέτες.
Σύμφωνα με τους συντάκτες της τελευταίας ανάλυσης, ένας τρόπος αντιμετώπισης αυτού του ελλείμματος αναπαραγωγιμότητας είναι η ελεύθερη πρόσβαση στα δεδομένα των πρωτότυπων επιστημονικών δημοσιεύσεων.
Ένας άλλος τρόπος όμως αφορά τη χρηματοδότηση της ίδιας της έρευνας: όπως εκτιμά ο Νόζεκ, η διάθεση του 3% των ερευνητικών κονδυλίων για βελτίωση της επαναληψιμότητας θα είχε μεγάλη διαφορά.
Σήμερα, λέει, το ποσοστό αυτό είναι σχεδόν μηδέν τοις εκατό.