Κρίση αξιοπιστίας – «Αστήρικτες» οι μισές έρευνες κοινωνικών επιστημών

Η κρίση ξεκίνησε πριν από αρκετά χρόνια, όταν διαπιστώθηκε ότι περισσότερες από τις μισές μελέτες στον χώρο της ψυχολογίας δεν δίνουν τα ίδια αποτελέσματα όταν αναπαράγονται από άλλους ερευνητές. Τώρα, μια μεγάλη, διεθνής προσπάθεια αποκαλύπτει ότι το ίδιο πρόβλημα αφορά γενικά τις κοινωνικές επιστήμες, στις οποίες επεκτείνεται τώρα η λεγόμενη «κρίση αναπαραγωγιμότητας».

Η ανάλυση εξέτασε χιλιάδες μελέτες που δημοσιεύτηκαν σε 62 περιοδικά την περίοδο 2009-2018 και αφορούσαν τους κλάδους των οικονομικών, της πολιτικής επιστήμης, της εγκληματολογίας, των επιστημών υγείας, του μάρκετινγκ, της ψυχολογίας, της δημόσιας διοίκησης και της κοινωνιολογίας, μεταξύ άλλων. Εκατοντάδες ερευνητές συμμετείχαν στην προσπάθεια, την οποία χρηματοδότησε η DARPA, το ερευνητικό σκέλος του αμερικανικού Πενταγώνου. Τα ευρήματα παρουσιάζονται σε τρεις επιμέρους μελέτες στο περιοδικό «Nature».

Η πρώτη μελέτη αφορά την «αναπαραγωγιμότητα», η οποία εξετάζει αν η ανάλυση των δεδομένων μιας μελέτης από άλλους ερευνητές δίνει το ίδιο αποτέλεσμα. Από τις 182 δημοσιεύσεις που ελέγχθηκαν, μόνο το 54% μπορούσε να αναπαραχθεί με ακρίβεια, με τους κλάδους των πολιτικών επιστημών και των οικονομικών να παρουσιάζουν τις καλύτερες επιδόσεις.

Η δεύτερη μελέτη εξετάζει την «ανθεκτικότητα» των μελετών, δηλαδή το κατά πόσο μια διαφορετική ανάλυση των αρχικών δεδομένων δίνει το ίδιο συμπέρασμα. Πέντε αναλυτές ανέλαβαν να εξετάσουν κάθε δημοσίευση. Στο 74% των περιπτώσεων, τουλάχιστον ένας συμφωνούσε με το αρχικό εύρημα. Ομως, μόνο στο 24% των μελετών συμφωνούσαν και οι πέντε νέες αναλύσεις.

Η τρίτη, τέλος, μελέτη αφορά την «επαναληψιμότητα», η οποία εξετάζει το εάν ένα εύρημα επιβεβαιώνεται με ανάλυση διαφορετικών μετρήσεων. Και εδώ, ο έλεγχος 164 δημοσιεύσεων έδειξε ότι μόνο στο 49% των περιπτώσεων επιβεβαιώνεται ένα στατιστικά σημαντικό εύρημα.

Οι ερευνητές συνδέουν το πρόβλημα με την πίεση που δέχονται οι επιστήμονες να δημοσιεύουν όσο γίνεται περισσότερες μελέτες, από τις οποίες εξαρτώνται οι καριέρες τους. Προειδοποιούν όμως ότι εύκολες λύσεις δεν υπάρχουν, ούτε αναγνωρίσαν στη μελέτη δείκτες με βάση τους οποίους μπορεί να προβλεφθεί εκ των προτέρων η επαναληψιμότητα ή αναπαραγωγιμότητα ενός ευρήματος.

Αν και κάποια περιστατικά αναμφίβολα σχετίζονται με απόπειρες επιστημονικής απάτης ή εσκεμμένου «μαγειρέματος» των αποτελεσμάτων, οι ερευνητές αναγνώρισαν ότι το πρόβλημα οφείλεται κυρίως σε συστημικούς παράγοντες του ακαδημαϊκού χώρου.

Παρόλα αυτά, τα επιμέρους πεδία των κοινωνικών επιστημών θα μπορούσαν να αντλήσουν μαθήματα από τον χώρο της ψυχολογίας, ο οποίος κατάφερε να λάβει μέτρα που περιόρισαν το πρόβλημα, όπως η προδημοσίευση των στόχων κάθε έρευνας, η ανάρτηση όλων των δεδομένων, ή η έμφαση στους ελέγχους αναπαραγωγιμότητας.

Το σίγουρο είναι ότι ο χώρος των κοινωνικών επιστημών θα δεχθεί ανάλογες πιέσεις να αναπτύξει τα κατάλληλα εργαλεία. Γιατί, αν το πρόβλημα διατηρηθεί, η επιστήμη γενικά κινδυνεύει να βρεθεί εκτεθειμένη σε επιθέσεις.