Press enter to see results or esc to cancel.

Le dimensioni della qualità e del valore

Affacciamoci alla finestra. Un’automobile passa per strada e si ferma a fare benzina per poi proseguire con una sosta in farmacia e, con le medicine in borsa, arrivare a casa per sfogliare una rivista scientifica. Per quanto possa apparire incredibile, questa è la sintesi della progressione del valore. L’industria dell’editoria e della comunicazione medica è quella capace della massima redditività: fino al 38 per cento di ritorno sugli investimenti. In altri termini: investi centomila euro in un progetto editoriale e ne ricavi in media quasi 140 mila. Ben più dell’utile raggiunto dal comparto automotive, dall’industria petrolifera e da quella farmaceutica che va comunque oltre il 130 per cento. E non è un caso, perché l’industria editoriale e quella del farmaco si sostengono l’un l’altra. Quanto maggiore è l’utile, tanto maggiore è il valore di un’impresa.

La qualità e il valore sono dimensioni legate tra loro?

Veniamo alla qualità. In ambito scientifico, si ritiene che possano vigilare sulla qualità la peer review e gli indici bibliometrici. Si guarda loro come a strumenti capaci di mettere ordine, di garantire il rispetto dei livelli di qualità attesi e di offrire alla comunità scientifica i necessari standard di riferimento. In realtà, la revisione critica e l’impact factor hanno mille difetti e, come si dice con una battuta, somigliano alla democrazia: non funzionano ma non sappiamo trovare di meglio.

In realtà la peer review è molto poco efficiente: l’insieme del processo di revisione è il determinante di maggior costo per un’impresa editoriale. Se fosse eseguita per fare da filtro, costerebbe cifre che nessuna casa editrice potrebbe sostenere: alcune centinaia di migliaia di dollari. Pensiamo alla peer review di una revisione sistematica che è costata un lavoro di mesi: se si dovesse controllare l’attendibilità del lavoro degli autori, sarebbe necessario rivedere non solo gli studi inclusi, ma anche quelli considerati in esito alla ricerca bibliografica. Praticamente bisognerebbe rifare il lavoro daccapo. Nella forma nella quale viene normalmente eseguita – circa due ore di tempo da parte di un refereee preso da mille altre incombenze – la peer review è anche inefficace: “La revisione tra pari è come la poesia, l’amore o la giustizia. Ha a che fare con una domanda di un grant o con un documento che viene valutato da una terza parte, che non è né l’autore né la persona che dovrà dare il giudizio finale sull’opportunità di erogare il finanziamento o di pubblicare il documento. Ma chi è un ‘pari’? Qualcuno che sta facendo esattamente lo stesso tipo di ricerca (nel qual caso è probabilmente un concorrente diretto)? Qualcuno nella stessa disciplina? Qualcuno che è un esperto di metodologia? E in cosa consiste la revisione? Qualcuno che dice ‘Il documento mi sembra perfetto’, il che è purtroppo ciò che a volte sembra essere la peer review. O qualcuno che chiede dati grezzi, ripete le analisi, controlla tutti i riferimenti e fornisce suggerimenti dettagliati per il miglioramento? Una simile revisione è davvero rarissima.”[1]

The practice of peer review is based on faith in its effects, rather than on facts. Tom Jefferson e amici [2]

Che la peer review sia poco efficace lo dimostrano la modesta qualità della letteratura scientifica, il ripetersi di frodi, le immancabili situazioni di conflitto di interessi e l’aumento del numero degli articoli ritirati anche da riviste ritenute autorevoli. Altro che “filtro”: prima o poi qualsiasi lavoro viene pubblicato: “There seems to be no study too fragmented, no hypothesis to trivial, no literature citation too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure, and too contradictory, non analysis too self-serving, no argument too circular, no conclusion too trifling or too unjustified, and no grammar and syntax too offensive for a paper to end up in print.” [3]

Negli ultimi anni, poi, si stanno moltiplicando le riviste costruite a partire da lavori pubblicati a spese degli autori secondo il modello open access e aumentano gli editori predatori e le riviste predatrici, vale a dire quelle che scrivono in modo ossessivo via email a qualsiasi autore presente nei database bibliografici promettendo una pubblicazione immediata di un articolo qualunque su riviste sconosciute. Se un editore tanto più guadagna quanti più lavori accetta, la serietà della revisione critica si trasforma in un’ancora. Nel caso delle riviste predatrici, la peer review è prevista solo in teoria: nella quasi totalità dei casi i lavori sono accettati senza revisione. Il nuovo scenario della comunicazione scientifica accademica  ha ulteriormente aggravato anche il sovraccarico informativo dei professionisti sanitari, a scapito della qualità ma a vantaggio del valore in termini di redditività economica.

L’impact factor – come gli altri indici bibliometrici – è un metro di discussa affidabilità soprattutto perché è suscettibile di condizionamenti. Tutti conoscono i molti modi per alterarlo: dalla self-citation alla cross-citation che prevede che autori amici citino vicendevolmente i lavori. Allo stesso tempo, il numero di citazioni ottenute da un articolo può non coincidere con l’affidabilità del contenuto: basti pensare alle migliaia di citazioni conquistate dal famigerato articolo di Andrew Wakefield sulla relazioni tra vaccinazioni e disturbi dello spettro autistico o di Jon Sudbø sull’associazione causale tra farmaci antinfiammatori non steroidei e riduzione del rischio di cancro del cavo orale: entrambi completamente inventati ma pubblicati sul Lancet.

Altra conseguenza pericolosa delle metriche bibliografiche è la disincentivazione dell’innovazione: i ricercatori preferiscono pubblicare in ambiti che promettono citazioni e non sono incoraggiati a perseguire percorsi di ricerca innovativi: “Any evaluation system in which the mere number of a researcher’s publications increases his or her score creates a strong disincentive to pursue risky and potentially groundbreaking work, because it takes years to create a new approach in a new experimental context, during which no publications should be expected. Such metrics further block innovation because they encourage scientists to work in areas of science that are already highly populated, as it is only in these fields that large numbers of scientists can be expected to reference one’s work, no matter how outstanding.” [4]

Peer review e indici bibliometrici possono fare poco per tutelare la qualità. Ma non perché la qualità sia una dimensione sfuggente. Se pensiamo alla qualità della cura può prestarsi giustamente a essere misurata sulla base di criteri oggettivi: l’esito delle cure, in primo luogo. Ma anche la qualità del lavoro editoriale in ambito scientifico possiamo valutarla ricorrendo a parametri misurabili: i tempi di valutazione e pubblicazione, la stabilità degli archivi digitali, la tempestività e l’attualità dei contenuti, la trasparenza nella gestione dei problemi riguardanti frodi e cattiva condotta degli autori, la disponibilità a sperimentare nuove soluzioni per la revisione critica, prima e dopo la pubblicazione.

Ma, purtroppo, tutte queste qualità raramente danno valore.

Cosa determina, dunque, il valore?

Se un’impresa dalla reputazione così compromessa come quella della comunicazione scientifica genera così tanto valore, è probabile che la qualità non sia un determinante. È la redditività, la capacità di generare profitti che determina il valore. Non è la qualità ma un’altra dimensione, l’utilità, non riferita però all’utente finale, il lettore. Anche l’utilità non è legata necessariamente alla qualità. Pensiamo per esempio ad un articolo del quale un’industria ordina centinaia di migliaia di reprint: quasi sempre si tratta di studi sponsorizzati e molto spesso hanno un relativo valore scientifico ma un’alta “utilità” economica sia per l’azienda sponsor, sia per la rivista che li ha pubblicati. “Data on reprint sales are hard to come by, but a 2012 study showed, for example, that the Lancet in one year had 88 “high reprint sales” ranging from 24 000 to 835 000 copies and the BMJ  72 “high reprint sales” ranging from 1000 to 526 000 copies. The median order for the Lancet was £287 000 with the highest £1.55 million, while for the BMJ the median order was £12 500 with the highest £132 000. (It’s worth noting that the US journals, despite their enthusiasm for transparency, refused to release data, but the sales for the New England Journal of Medicine are likely to be even higher than for the Lancet.) What the study didn’t disclose—but I know—is that the profit margin on reprint sales is high—at around 80%. So the Lancet by publishing one study and selling reprints for £1.55 million made well over £1m in profit.” [5]

Se il costo di un reprint – vale a dire la ristampa di un articolo pubblicato – corrisponde soltanto a un quinto del prezzo al quale verrà venduto, evidentemente il valore di un bene non si misura sul costo della produzione ma sulle prestazioni di un prodotto. È un aspetto molto importante e molto discusso, soprattutto a proposito della determinazione del costo dei medicinali. In altre parole: il prezzo di un farmaco va definito in base al costo sostenuto per la ricerca oppure per il valore aggiunto in termini di guarigione, maggiore sopravvivenza o migliore qualità di vita? Ancora non c’è una risposta. Il valore dipende dall’output e non dall’input e, come dice Michael Porter, è definito in relazione al cliente e alla sua disponibilità a spendere.

Qualità, valore. E i valori?

In un contesto assistenziale, la qualità può anche essere vista come quella coincidenza di tempo e di spazio dove il curante, il cittadino e l’istituzione si incontrano e sono soddisfatti. Esattamente la stessa cosa nella comunicazione scientifica: la qualità è quando l’incontro tra un autore, un editore e un lettore si realizza pienamente, con soddisfazione di tutti. [6]

I valori sono un’altra cosa, non possono necessariamente essere definiti in rapporto alla qualità e tantomeno al valore o alla utilità. Qualcuno ritiene che la pratica medica, l’assistenza e la ricerca siano imprese tecniche e come tali dovrebbero difendere sé stesse rispettando una necessaria distanza dai valori. In altri termini, dovrebbero mantenersi libere dai condizionamenti che i valori possono indurre. Ma è punto di vista difficilmente difendibile. Anche nell’editoria – e soprattutto quella scientifica – i valori sono qualcosa di cui si sente parlare molto di rado: “Modern publishers have too often evolved into anonymous and homogeneous conglomerates, more focused on accumulating quantity than fostering quality. Indeed, the perception of quality ‘is increasingly becoming an evanescent and secondary element’. The identities of publishers have blurred. Claims that they make unique contributions to science look increasingly unconvincing. Volume is not value.” [7] Ancora Horton, pochi giorni fa, scriveva di nuovo in una Offline del Lancet: ” Scientific publishers as we know them today remain a threatened species. They will have to do more to prove their added value to science and society. Unless they do so, they may not deserve to survive.”[8]

Torniamo a quella convergenza di tempo e di spazio dove può accadere di essere soddisfatti, in un ambulatorio come leggendo alla scrivania o sul divano. Potremmo sognare di procedere oltre. Qualcosa come il salire un gradine ulteriore o spostarsi in una zona più riservata. In quello spazio e in quei momenti, chi si incontra può rendersi pienamente conto di condividere qualcosa di più della soddisfazione. Delle idee di futuro.

In una parola, i valori.

Questa nota è la traccia di una relazione all’inaugurazione del master di secondo livello dell’università di Parma sulla “Governance del rischio clinico e promozione della sicurezza delle cure.” Qui il sito del master.


[1] Smith R. Peer review: a flawed process at the heart of science and journals. J R Soc Med. 2006;99(4):178–182. doi:10.1258/jrsm.99.4.178

[2] Jefferson T, Alderson P, Wager E, Davidoff F. Effects of Editorial Peer Review: A Systematic review. JAMA. 2002;287(21):2784–2786. doi:10.1001/jama.287.21.2784

[3] Rennie D. Guarding the guardians: a conference on editorial peer review. JAMA. 1986;256(17):2391–2.

[4] Alberts B. Impact factor’s distortions. Science, 17 maggio 2013.

[5] Smith R. The hypocrisy of medical journals over transparency. BMJ Blogs 2018; 24 gennaio.

[6] Wonnegutt K, STringer L. Stringere la mano a Dio. Milano: Garzanti, 2020.

[7] Horton R. Offline: the crisis in scientific publishing. Lancet 2016;388(10042):322.

[8] Horton R. Offline: Scientific publiching: trust and tribulations. Lancet 2020;395:296.

Comments

Leave a Comment

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Tweet

Molte associazioni di malati fanno cose concrete: la @RegioneLazio ne segnala diverse @SaluteLazio chiede di mandare il link agli sportelli informativi @anto_gaudioso @tepetrangolini @mapegu @F_Memini @DTaruscio @OssMalattieRare @Cittadinanzatti @Cittadinanzatt5 twitter.com/ilpensiero/sta…

Tag Cloud

Luca De Fiore

Comunicare la salute e la medicina:
tutto quello che vorresti chiedere ma hai paura di sapere. E nemmeno sai tanto a chi chiedere…