Press enter to see results or esc to cancel.

Dopare l’impact factor

Da pochi giorni sono stati presentati i nuovi dati riguardanti l’impact factor delle riviste indicizzate sul Web of Science1. Nessuna particolare novità: 283 nuove riviste aggiunte alla banca dati e solo 17 cancellate.

«L’impact factor (IF) è senza dubbio l’indicatore bibliometrico più utilizzato, male utilizzato e abusato nella scienza accademica. Le riviste sono classificate nel loro ambito a seconda dell’IF che si ritiene rifletta l’importanza di ciò che viene pubblicato su una rivista. Anche i contributi dei singoli scienziati vengono valutati sulla base dell’IF delle riviste in cui viene pubblicato il loro lavoro, e, in ambito accademico, le decisioni di finanziamento e di promozione fanno molto affidamento sull’IF. Non sorprende che ci sia un’intensa pressione sui direttori delle riviste per alterare il sistema e aumentare l’IF dei periodici che dirigono e in modi che non contribuiscono al progresso della scienza e che in molti casi distorcono il processo scientifico». Come al solito John Ioannidis non le manda a dire, e in un articolo uscito sullo European Journal of Clinical Investigation critica duramente il principale fattore che determina finanziamenti e promozioni nella comunità scientifica2. Chi non imbroglia, sostengono Ioannidis e Thombs, ne paga le conseguenze.

Cosa si deve fare per aumentare l’IF?

  1. aumentare il numero di articoli che possono essere citati senza accrescere il numero degli articoli che vanno nel denominatore (“contano” come articoli pubblicati solo gli articoli di ricerca e le rassegne): per capire come funziona bisogna sapere come si calcola l’IF che, in sintesi, è nulla più che un rapporto tra articoli pubblicati da una rivista e citazioni ottenute da altri lavori su periodici indicizzati;
  2. aumentare le citazioni di articoli della “propria” rivista chiedendo agli autori di citare anche pretestuosamente lavori presenti in archivio (coercive citation): stratagemma assai diffuso3 che funziona ancora meglio quando ad auto-citarsi è lo stesso autore (self-citation);
  3. preferire la pubblicazione di rassegne, perché ottengono più citazioni;
  4. pubblicare articoli di modesto spessore qualora promettano di essere citati perché affini ai membri di una determinata società scientifica, come documenti di consenso, linee guida o altri statement di questo genere.

JIF gaming and coercive self‐citation machinations are parodies of science. John Ioannidis e Brett D. Thombs

Quasi contemporaneamente, è uscita su Nature una nota propositiva preparata da persone che da tempo si interessano alle questioni chiave della valutazione della letteratura scientifica accademica4. In sintesi, si chiede di aumentare il numero degli indicatori per coprire tutte le funzioni delle riviste accademiche, di definire una serie di principi per governare il loro uso e di creare un organo di governo per mantenere questi standard e la loro rilevanza. «Abbiamo delineato le funzioni chiave delle riviste, che rimangono in gran parte invariate dal loro inizio più di 350 anni fa. Dalla “certificazione di paternità” del lavoro originale, alla registrazione del record di ricerca (comprese le eventuali correzioni e ritrattazioni), fino alla gestione della revisione critica e della disseminazione dei contenuti».

L’IF coglie solo alcuni degli aspetti della funzione di una rivista accademica, sottolineano Paul Waters e i suoi colleghi: «Gli indicatori che riguardano la curatela, ad esempio, potrebbero prendere in considerazione l’esperienza e la pluralità del comitato editoriale, nonché il tasso di accettazione degli articoli proposti e la trasparenza dei criteri di accettazione. Gli indicatori che riguardano i dati (come quelli riferiti al numero di citazioni o agli standard di reporting) diventeranno via via più importanti con l’affermarsi della open science e dell’analisi indipendente. Gli indicatori della valutazione della ricerca potrebbero prendere in considerazione la trasparenza del processo, nonché il numero e la multidisciplinarità dei revisori tra pari e la loro tempestività.

Di particolare interesse nella proposta è l’accenno alla possibilità di una “indicizzazione e di una rendicontazione di impatto” di unità singole di pubblicazione all’interno di un articolo stesso. Cosa vuol dire? Per esempio, potrebbe essere monitorato l’impatto sulla comunità scientifica (e sul progresso delle conoscenze) di una singola figura particolarmente rappresentativa o di un set di dati riepilogato in una tabella.

Giustamente, gli autori sottolineano come qualsiasi indicatore rischi di indurre distorsioni perché la pratica editoriale e il processo di publishing possono essere forzati per migliorare la propria performance a seconda dei criteri di valutazione adottati. Per questo, qualsiasi indicatore dovrebbe essere pienamente giustificato, contestualizzato, spiegato alla comunità scientifica e oggetto di uso responsabile. L’organo di governo del sistema potrebbe proporre nuovi indicatori per affrontare le varie funzioni delle riviste accademiche, formulare raccomandazioni sul loro uso responsabile e sviluppare standard. Potrebbe anche creare materiale educazionale (per esempio sull’etica della definizione degli indicatori e sul loro uso) e servire da punto di riferimento per la segnalazione dell’uso inappropriato e per la promozione di buone pratiche. Potrebbe aiutare a proteggere i ricercatori dalle “riviste predatorie”, in genere pubblicazioni di bassa qualità che non prevedono peer review e che hanno solo scopo di lucro.

In definitiva, un sistema più articolato – e per certi versi più complesso – potrebbe essere meno esposto alle distorsioni che rendono oggi l’IF un indicatore spesso falsato. Resta da vedere se la “comunità scientifica” avrà voglia di impegnarsi per affrontare e risolvere questo problema oppure se la possibilità di alterare i meccanismi di valutazione della ricerca non sia in fin dei conti gradita e funzionale alla conservazione della medicina accademica.

Bibliografia

  1. Journal citation report 2019 update release. Research Information 2019; 20 giugno. https://bit.ly/32dpkrF (ultimo accesso 8 luglio 2019).
  2. Ioannidis, JPA, Thombs, BD. A user’s guide to inflated and manipulated impact factors. Eur J Clin Invest 2019; e13151.
  3. Chorus C, Waltman L. A large-scale analysis of impact factor biased journal self-citations. PLoS ONE 2016; 11: e0161021.
  4. Wouters P, Sugimoto CR, Larivière V, et al. Rethinking impact factors: better ways to judge a journal. Nature 2019; 569: 621-3.

Nella foto in alto: Tim Ove, Deep impact. Flickr Creative Commons

Comments

Leave a Comment

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Tweet

Global health isn’t some warm-hearted friendship circle where we all gather to toast how saintly we are. Global health is a brutal/angry political struggle to challenge/defeat the forces—political, economic, commercial—that kill/maim/oppress the excluded, silenced, and invisible.

Tag Cloud

Luca De Fiore

Comunicare la salute e la medicina:
tutto quello che vorresti chiedere ma hai paura di sapere. E nemmeno sai tanto a chi chiedere…