Press enter to see results or esc to cancel.

La peer review fa schifo: teniamocela

“Ricordatevi che mentre state giudicando una pagina, anche lei vi sta giudicando”. L’avvertimento di Stephen King è inquietante e non poteva essere altrimenti. Com’è affascinante, però, se lo leggiamo pensando alla peer review, questa roba di cui in molti parlano senza sapere come funziona e che pretende di essere un filtro anche se le sue maglie sono così larghe che tutto – o quasi – riesce a passare. La pagina giudicata dal revisore vedrai che in qualche modo si vendica: tanto in qualche modo sarà pubblicata, parola di Drummond Rennie, che nel 1986 scriveva sul JAMA una frase rimasta celebre (tra quei quattro gatti che si occupano di queste cose): “There seems to be no study too fragmented, no hypothesis too trivial, no literature citation too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure and too contradictory, no analysis too self-serving, no argument too circular, no conclusions too trifling or unjustified, and no grammar and syntax too offensive for a paper to end up in print.”

Nominato deputy editor del New England Journal of Medicine nel 1977, Rennie ha attraversato 40 anni di tempeste e successi dell’editoria medico-scientifica, testimone di non poche nefandezze, alcune delle quali raccontate su Nature del 5 luglio 20161. I limiti dello strumento sono noti: la peer review non funziona se l’obiettivo è proteggere le riviste dai falsi e dalla cattiva condotta dei ricercatori. Non è sufficiente neanche se la finalità è evitare che gli studi proposti dagli autori alle riviste siano loro sottratti da revisori senza scrupoli. Insomma: «chiunque sia coinvolto nella peer review porta con sé pregiudizi, incomprensioni e lacune nella propria conoscenza e perciò nessuno dovrebbe stupirsi che la revisione critica sia spesso un processo distorto o poco efficiente». Ma, nonostante tutto, Rennie sembra esserne certo: una delle cose che ha più studiato nella sua vita professionale – la revisione critica – è da salvare.

It’s still the best process we have for judging the rigour of the scientific process. Mark Paterson, PLoS Medicine

I diversi congressi dedicati alla peer review hanno avuto Rennie tra i più appassionati organizzatori e sono serviti per valutarne opportunità e limiti, considerarne il costo, stimare la probabilità di disaccordo tra revisori e la frequenza con cui si verificano casi di cattiva condotta. Dal primo congresso di Chicago del 1989, sono stati condotti diversi trial: per mettere alla prova la peer review cieca (autore sconosciuto al revisore oltre che viceversa), la peer review successiva alla pubblicazione (post publication), l’open peer review (accettazione dei lavori proposti solo sulla base del rispetto di criteri formali e una sorta di discussion on going aperta a tutti i lettori e così via). Non è stato ottenuto alcun risultato utile a chiarire le perplessità o a preferire l’una alle altre alternative e, quando viene affrontato il discorso, quasi sempre si finisce a commentare come Churchill a proposito della democrazia: «It is the worst form of government, except for all the others».

Peer review is a rather arbitrary black box. Richard Smith

Secondo Rennie, la strada da battere è uniformarsi agli standard delle organizzazioni (vedi l’attività della Cochrane) e delle istituzioni (prende a esempio il METRICS, Meta-Research Innovation Center di Stanford diretto da John P. Ioannidis) che nel raccomandare rigore propongono checklist e percorsi minimamente flessibili che autori, direttori delle riviste e revisori dovrebbero seguire. C’è chi è convinto, invece, che il problema sia “più a monte”: «Peer review is an expensive, inefficient, ineffective, and easily abused waste of time, but it keeps a lot of people employed», twittava Richard Smith il 13 luglio 2014. La ragione per cui viene conservata è la stessa per cui si evita di mettere in discussione la pubblicazione dei risultati della ricerca nelle riviste scientifiche: un quadro realistico è offerto da una editor di BioMed Central. “From my viewpoint, journal publishing and peer review are definitely here to stay, but editors and publishers need to make sure that authors and readers understand the benefits that it brings. The process must be as pain-free and efficient as possible for authors, reviewers and editors alike»2.

Il problema è, come spesso accade, negli effetti collaterali.

 

Bibliografia

  1. Rennie D. Let’s make peer review scientific. Nature 2016; 53: 31-3.
  2. Kowalczuk M. Are journals ready to abolish peer review? http://blogs.biomedcentral.com/bmcblog/2014/04/11/are-journals-ready-to-abolish-peer-review-2/

 

 

Comments

Leave a Comment

Tweet

Jeanne Lenzer

Man Booker Prize winner Saunders explains how to write. Oh so true, so true: pic.twitter.com/UUNhv4TDVN

Tag Cloud

Luca De Fiore

Comunicare la salute e la medicina:
tutto quello che vorresti chiedere ma hai paura di sapere. E nemmeno sai tanto a chi chiedere…