Nell’agosto 2016 gli autori di 50mila
studi di psicologia ricevettero, tutti nello stesso momento, una strana email
riguardante i loro lavori. A mandarla non era stato un collega o il solito
spammer, ma un programma che – senza chiedere il loro permesso – si era preso
la briga di rivedere i calcoli statistici di ogni studio e di esporre gli studi
fallati sul forum PubPeer, solitamente usato dagli scienziati per scambiarsi
pareri e critiche. Quella maestrina dalla penna rossa in formato digitale era
StatCheck, software ideato dall’olandese Michèle Nuijten, ricercatrice in
statistica all’Università di Tiburg. Al tempo, l’iniziativa divise l’accademia:
fu definitiva “molesta” e “pericolosa per la reputazione dichi fa ricerca” da
associazioni di psicologi in Germania e negli Stati Uniti, ma raccolse il
consenso di chi sosteneva, come lo psicologo Nick Brown dell’Università si
Groningen, che rimettere in discussione il proprio operato non dovrebbe
spaventare gli scienziati. Oggi, a un anno e mezzo di distanza, StatCheck non è
più il terrore degli psicologi ma un utile strumento a disposizione di tutti...
Un articolo di Science ne riporta
l’affidabilità – il programma avrebbe ragione nel 95 per cento delle sue diagnosi
– e la nuova popolarità: sarebbero infatti oltre 18mila quelli che hanno
provato a usare la versione online del programma, stacheck, per autocorreggersi prima di pubblicare uno studio,
evitando a monte imbarazzi e timori. “Non solo: ci sono diverse riviste
importanti, come Psychological Science, che hanno adottato StatCheck come
strumento per la peer review” spiega Nuijten. “L’editor di uno di questi
giornali mi ha detto che, prima di usare il nostro programma, circa il 20 per
cento degli studi che ricevevano aveva statistiche difettose. Oggi questa
percentuale è scesa all’1 per cento” L’utilità di questo strumento – che
Nuitjen definisce l’analogo del correttore automatico di Word, ma per le
statistiche – è apparsa evidente alla ricercatrice già durante il primissimo
test effettuato in segreto, ossia senza ricercatori esposti alla berlina, nel
2015. “In sole due ore StatCheck controlla 30mila studi pubblicati tra il 1985
e il 2013 da otto riviste autorevoli, trovando che un articolo su due dei 16
mila che contenevano statistiche avevano almeno un errore lieve. In un caso su
otto l’errore era grave, nel senso che correggendolo cambiavano le conclusioni
dello studio” spiega Nuitjen. Per ora i controlli di StatCheck si limitano al
ricalcolo, a partire dai numeri rilevati nel testo, del valore P. ovvero la
probabilità che l’effetto osservato nello studio sia dovuto soltanto al caso, e
riguardano solo gli studi di psicologia, che presentano le loro statistiche
secondo uno standard preciso e universale, agevole da leggere per un algoritmo.
Ma si sta già pensando a future evoluzioni di StatCheck: obiettivo gli studi
medici.
Giuliano Aluffi – Scienze – Il Venerdì di La Repubblica – 12
gennaio 2018
Nessun commento:
Posta un commento