Press enter to see results or esc to cancel.

La peer review: un falso problema

Di peer review si continua a discutere, chissà perché, anche durante l’estate. Questa volta, il confronto è stato innescato da un post pubblicato su The Conversation: Hate the peer review process? Einstein did it too. Gli autori, Andre Spice e Thomas Roulet, raccontano l’arrabbiatura di Einstein nello scoprire che un suo articolo, nel 1935, era stato inoltrato ad un referee dalla direzione della Physical Review. E quel revisore  aveva pure da ridire sul contenuto.

Oggi, i malumori sono ancora all’ordine del giorno, ma in pochi osano manifestarli. Come insegna l’insuperabile tascabile How to survive peer review, di Liz Wager, Fiona Godlee e Tom Jefferson, la strada obbligata è quella del sorriso: il referee ha sempre ragione e il fine (pubblicare prima possibile) giustifica i mezzi (dare una forma sensata al contenuto, rinunciare a qualche nostra sicurezza, separare gli Obiettivi dall’Introduzione, sistemare quella tabella in cui le somme non quadrano, togliere un paio di illustrazioni, dedicare un paragrafo ai “limiti” del nostro studio, emendare le Conclusioni da qualche affermazione non giustificata, inserire quei tre record bibliografici suggeriti: poco importa se due sono articoli dell’Editor della rivista…).

Eppure, qualcosa non torna.

Sebbene in molti ritengano che la peer review non sia da abolire ma da migliorare, la sua relativa efficacia è sotto gli occhi di tutti: non passa giorno che non si sappia di articoli falsificati e ritirati e, come sosteneva Drummond Rennie in tempi non sospetti, non esiste articolo così inutile, fraudolento o malfatto che non riesca, prima o poi, ad essere pubblicato.

Con l’esplosione del modello editoriale dell’open access, i termini del problema sono cambiati. Molto semplicemente, la formula dell’author-pay (l’autore paga per scrivere e non più il lettore per leggere) non riesce a sostenere il costo del processo di peer review tradizionale (“one of the limits of Gold OA is that it cannot sustainably practice the form of peer review and other editorial oversight associated with traditional journals“): il filtro della revisione è quasi del tutto assente.

Nelle riviste più seguite (vuoi perché più famose vuoi perché più interessanti…) la peer review si applica quasi soltanto ai cosiddetti Original Articles: se pensiamo a The Bmj, gli articoli di questo tipo non sono più di 4 per fascicolo. Sul resto dei contenuti (editoriali, note di commento, notizie, analisi, confronti testa a testa, features varie e filler di ogni genere) il controllo è per lo più formale ed è operato dalla redazione.

Gli studi che contano – sia per la sanità pubblica, sia per l’industria farmaceutica o alimentare – sono pubblicati su una manciata di periodici di medicina generale (dal NEJM al JAMA) o specialistica (da Circulation a Diabetes): i limiti di questo scenario, però, sono sotto gli occhi di tutti, perché sappiamo che dietro alle 8 pagine in PDF scaricate sul sito ce ne sono alcune migliaia fitte di dati ai quali nessuno (oltre alle direzioni mediche delle aziende o ai manager delle Contract Research Organization) avrà potuto dare un’occhiata.

Svolgere un processo di peer review sugli articoli di ricerca pubblicati è molto difficile: forse impossibile, se consideriamo che qualsiasi referee svolge il proprio compito in modo del tutto volontario senza alcun compenso. Inoltre,  il disegno e la conduzione dei trial sono formalmente ben concepiti ma, soprattutto, difficilmente attaccabili sulla base delle sole informazioni contenute nell’articolo. [Per inciso, la peer review è un’attività che richiede molto tempo, se fatta con coscienza: tempo che in gran parte dei casi è regalato da dipendenti di enti sanitari pubblici o privati a multinazionali editoriali.]

Un’ultima considerazione: la pubblicazione degli articoli che hanno importanti ricadute in termini di cambiamento dei comportamenti clinici di medici e dirigenti sanitari (quelli sui quali sarebbe davvero il caso di operare un controllo serio di qualità) è quasi sempre concordata prima della conclusione dello studio. Molto spesso direttamente dallo sponsor. Come ha fatto più volte osservare Richard Smith (per esempio nel libro The trouble with medical journals) in questi casi non esistono le condizioni sufficienti perché sia svolta una revisione critica indipendente dagli interessi dell’editore della rivista.

E allora?

Possiamo pure far finta di credere che la peer review sia ancora il garante dell’informazione scientifica.

Oppure guardare con disincanto un panorama che offre – per così dire… – molte più ombre che luci.

Aspettando il giorno in cui gli Original Articles non avranno più motivo di essere pubblicati perché i dati degli studi – in tutte le fasi di avanzamento, dal disegno alla rendicontazione – saranno liberamente accessibili in banche dati pubbliche.

E la rigorosa peer review sarà fatta dai comitati etici e dalle autorità regolatorie.

 

Comments

2 Comments

Laura Reali

Tutto molto giusto e condivisibile, ma quando gli original articles saranno liberamente accessibili in banche dati pubbliche sará auspicabile che i comitati etici e le autoritá regolatorie abbiano tutti la necessaria competenza e indipendenza, altrimenti il problema non si risolve.

Luca De Fiore

Ciao Laura, grazie per il commento (scusa il ritardo nel riscrivere a mia volta). Quello che scrivi è verissimo: la questione è complessa e non è affatto semplice “risolverla” considerati gli interessi economici e accademici che tengono a conservare lo stato attuale. Lo scenario di una peer review affidata a comitati etici e alle agenzie regolatorie (oltre che naturalmente alla discussione aperta attraverso i social media o strumenti come PubMed Commons) avrebbe il vantaggio certo di una maggiore trasparenza. E non sarebbe poco.


Leave a Comment

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Tweet

“It is essential we find ways of embedding the memory of this pandemic within our communities so that the knowledge we gain is never forgotten. A community of memory.” @richardhorton1 Ph Claudio Colotti 🙏🏻 thelancet.com/journals/lance… pic.twitter.com/q5T4A150mU

Tag Cloud

Luca De Fiore

Comunicare la salute e la medicina:
tutto quello che vorresti chiedere ma hai paura di sapere. E nemmeno sai tanto a chi chiedere…