Press enter to see results or esc to cancel.

Le bufale perdute nella nebbia

L’informazione scientifica è talmente condizionata che anche la credibilità delle più prestigiose riviste internazionali è messa in discussione. La peer review non funziona (o è addomesticata) e l’impact factor è un parametro non più credibile per giudicare la qualità dei contenuti. Ciò che leggiamo sulle riviste è solo la punta di un iceberg di dati che, molto spesso, nascondono imbarazzanti verità: che fare? Raccomandare la massima prudenza nell’accostarsi alle fonti ma non perdere l’occasione per ricordare l’importanza dello studio, della riflessione e del confronto…

– – – – –

«Dicesi “libello” un’operetta volta a trattare con caustico sarcasmo i luoghi comuni di un’epoca in nome del libero pensiero. In Italia i libelli di questa fatta vennero scritti dai libertini nel secolo decimosettimo. Prima ancora che l’Illuminismo facesse vincere, per breve stagione, i “lumi della ragione”». Così Luca Carra recensiva il libro Attenti alle bufale su Tempo medico nel novembre del 2005, pagine che entravano nella categoria del “libelli” nonostante fossero quelle di “una guida serissima”. Era nata per gioco, quasi per scommessa tra l’autore e l’editore: la prima puntata era sul titolo che sceglieva di andare dritto al problema, scartando ogni ipotesi accademica: nessun toolkit per l’EBM ma una frase che sottolineava come lo scopo del libro fosse “semplicemente” quello di mettere il lettore nella condizione di proteggersi da solo. Un manuale di autodifesa, insomma.

Un manuale scritto –  secondo Carra –  da un appartenente alla “schiera degli scettici in medicina”, un “epidemiologo italo-britannico col gusto della provocazione, sin quasi allo sberleffo” come scriveva Roberto Satolli in un altro commento uscito sulla Rivista dei libri. Nell’italiano colloquiale, chi ha dubbi e li manifesta è un rompipalle, anche se la parola scettico ha una storia che dovrebbe garantirle una ben diversa considerazione. Per la Treccani, infatti, è “chi esclude la possibilità di una conoscenza assoluta delle cose e del raggiungimento della verità. (…) Il termine deriva dal greco σκέψις, che propriamente designa l’esercizio dello σκέπτεσϑαι, del «controllo critico» circa gli oggetti del sapere, compiuto senza giungere a una conclusione definitiva.” Se ad un caratteraccio aggiungi un’insopprimibile tendenza a non prendersi mai troppo sul serio, la frittata è fatta: nessun “corrosivo Baedeker della letteratura scientifica” potrà mai essere fino in fondo apprezzato se – definendo la tipologia dei “cattivi Maestri” – questi saranno definiti come coloro che «mescolano principi etici di uno scafista con il rigore scientifico dello sceneggiatore del film storico del 1969 Maciste contro Dracula».

La leggerezza e l’ironia che attraversavano le pagine delle Bufale erano simili a quelle cui facevano ricorso anche altri amici: erano gli ultimi anni della direzione di Richard Smith al BMJ – con l’indimenticabile numero dedicato alle relazioni pericolose tra medici e industria raffigurati in copertina come porcelli intorno ad una tavola imbandita – e – in Italia – della pubblicazione del Bollettino di informazione sui farmaci dell’AIFA, che in ogni fascicolo – accanto alle schede utili per la valutazione critica degli articoli scientifici – invitava i lettori ad andare per strada con una macchina fotografica per sintetizzare in un’immagine il concetto di rischio o di ricerca.

La recensione di Tempo medico coglieva il pericolo principale che Attenti alle bufale portava all’attenzione non soltanto dei lettori più ingenui ma anche di chi in modo convinto frequentava gli ambienti della evidence-based medicine: la trasformazione della stessa medicina basata sulle prove in merce di marketing. In mani interessate – sottolineava Carra –  tutto può essere trasformato in mistificazione. Dieci anni dopo, il rischio prefigurato è diventato il principale problema denunciato da uno degli articoli più citati e discussi del 2014[1]: “The first problem is that the evidence based «quality mark» has been misappropriated and distorted by vested interests. In particular, the drug and medical devices industries increasingly set the research agenda. They define what counts as disease (…) and predisease «risk states» (…).They also decide which tests and treatments will be compared in empirical studies and choose (often surrogate) outcome measures for establishing «efficacy».”

Industry may manage to publish its outputs as “unbiased” studies in leading peer reviewed journals. Trisha Greenhalgh

Ancora la Greenhalgh: “Furthermore, by overpowering trials to ensure that small differences will be statistically significant, setting inclusion criteria to select those most likely to respond to treatment, manipulating the dose of both intervention and control drugs, using surrogate endpoints, and selectively publishing positive studies, industry may manage to publish its outputs as “unbiased” studies in leading peer reviewed journal”. A chi ha letto il “libello” queste cose suonano familiari: da una parte la sistematica ricerca di alterare la metodologia dello studio sia nel disegno sia nell’analisi degli esiti. Dall’altra l’attività sistematica di condizionamento della comunicazione dei risultati, sopprimendo quelli non funzionali alla promozione di ciò che è stato studiato e utilizzando le più accreditate e ascoltate riviste accademiche.

Al punto era evidente questa deriva che la terza edizione del libro è stata intitolata “Attenti alle bufale e ai mandriani”, intendendo con questo termine i diversi stakeholder della comunicazione scientifica: tutti “portatori di interessi” che possono non coincidere con quelli dei lettori. Proprio nella gestione di questi interessi si nascondono le principali insidie. È un terreno scivoloso, frequentato da pochi ma agguerriti concorrenti: le maggiori case editrici scientifiche internazionali, le riviste di medicina generale e specialistiche a più elevato impact factor, le agenzie di pubbliche relazioni, le fondazioni volute dalle industrie farmaceutiche per promuovere ricerche di mercato, per sostenere l’attività delle associazioni di pazienti, per organizzare convegni. A questo proposito, dobbiamo considerare che gli studi clinici potenzialmente capaci di incidere sulla pratica prescrittiva dei medici (e quindi anche sui bilanci dei sistemi sanitari) non sono molti e, soprattutto, sono pubblicati su un numero limitato di riviste.[2] Tanto più consolidato è il prestigio di un periodico scientifico, quanto maggiore dovrebbe essere il senso di responsabilità necessario per conservare la propria credibilità assicurando alle proprie scelte rigore e trasparenza.

Al contrario, il percorso di questi “seminal paper” verso la pubblicazione segue quasi sempre itinerari privilegiati, corsie preferenziali caratterizzate da una singolare opacità: in mancanza di trasparenza, non si può non restare sorpresi di fronte all’incapacità della peer review di cogliere dei difetti macroscopici di alcuni contributi o – chissà – di trascurarli.[3] Ad ogni buon conto, alcuni punti fermi dovrebbero essere condivisi almeno per quanto riguarda un tipo di documento come la revisione sistematica: una volta redatti, i protocolli devono essere pubblicati per ricevere critiche e commenti, potenzialmente molto utili per migliorare la qualità della revisione stessa; l’intero processo deve essere caratterizzato dalla trasparenza, non solo per una questione etica di principio, ma perché solo in questo modo il lavoro degli autori può essere replicato e, quindi, valutato; è necessaria la trasparenza anche riguardo i metodi con cui i dati sono stati raccolti, valutati, estratti  e sintetizzati; qualsiasi scelta riguardante la selezione degli studi per l’inclusione nella revisione (così come per l’esclusione) deve essere motivata.

Queste semplici regole vengono … sistematicamente disattese. Come ha fatto rilevare Carl Henegan, direttore del Centro per l’EBM del Nuffield Departiment for Primary Care Health Sciences di Oxford, commentando una meta-analisi di studi controllati randomizzati sul trattamento dell’influenza con oseltamivir nell’adulto appena pubblicata dal Lancet,[4]  “as opposed to the 20 trials included in the Cochrane systematic review, this current analysis included only 9 treatment trials and crucially did not perform a quality assessment of the evidence, and as such, the Roche funded study  published in the Lancet doesn’t meet the criteria for a systematic review. In addition, unlike Cochrane systematic reviews, there was no protocol pre-specified at the outset, which the authors should not deviate from, or if they do should be explained.”

Non solo: anche un aspetto importante come il conflitto di interesse – che si riteneva sufficientemente governato dalle disclosure in calce ad ogni articolo – torna a rappresentare un problema. Nell’articolo pubblicato dal settimanale inglese, le relazioni di alcuni degli autori con le aziende direttamente coinvolte nella produzione e commercializzazione di farmaci antivirali sono nascoste o minimizzate. Che sia necessario un chiarimento circa il significato stesso dell’aggettivo indipendente è confermato da una frase dell’editoriale che accompagna la meta-analisi: “The re-analysis was funded by an unrestricted grant from Roche but was done by an independent research group, thus seeking to overcome the suggested bias associated with industry-funded studies”.[5] Apprendiamo, infatti, che ricevere un finanziamento non compromette l’indipendenza del proprio lavoro. Abbiamo inoltre conferma che non si configura alcun conflitto di interessi ricevendo del denaro non direttamente da un’azienda ma da una fondazione creata appositamente da un’industria per supportare le proprie politiche di marketing.

One of the greatest harms from nondisclosure of results may be the erosion of the trust accorded to researchers. JAMA

Sette anni fa, Vittorio Demicheli scriveva: “In questo mondo globalizzato dalla comunicazione, e non solo, occorre mantenere elevata la propria capacità di valutare criticamente le informazioni: non farsi confondere dall’autorevolezza della fonte informativa ma incrociare le informazioni provenienti da fonti diverse, controllare la consistenza dei dati, giudicare la coerenza esterna e quella interna delle ricerche, controllare la qualità dei disegni di studio”.[6] La storia recente ci dice, però, che la sintesi delle evidenze non può basarsi solo su quanto è stato pubblicato. È di questi giorni un intervento sul blog della Stanford School of Medicine che riprende una Viewpoint uscita sul JAMA[7]: un terzo dei ricercatori non ha condiviso i risultati dei propri studi neanche a quattro anni dalla loro conclusione. Le conseguenze sono pesanti: “Without access to complete information about a particular scientific question, including negative or inconclusive data, duplicative studies may be initiated that unnecessarily put patients at risk or expose them to interventions that are known to be ineffective for specific uses. If multiple related studies are conducted but only positive results are reported, publication bias can distort the evidence base. Incomplete knowledge can then be incorporated into clinical guidelines and patient care. However, one of the greatest harms from nondisclosure of results may be the erosion of the trust accorded to researchers by trial participants and, when public funds are used, by taxpayers”.

Purtroppo, anche il giorno in cui tutti i ricercatori condivideranno i propri database qualcosa di molto importante potrebbe ancora mancare: i dati riportati nei Clinical Study Report (CSR). In diversi casi, è stato addirittura necessario un vero e proprio lavoro investigativo per far venire alla luce dei risultati della ricerca non riportati in letteratura: le bufale si perdono nella nebbia e il problema principale di oggi è che il processo di produzione delle revisioni sistematiche richiederebbe risorse che quasi mai il sistema di finanziamento riesce a rendere disponibili:[8] data la disponibilità crescente dei CSR, i finanziatori devono considerare come riallocare le risorse indirizzandole verso i ricercatori capaci di garantire un nuovo e più analitico approccio all’analisi della letteratura.

Qualsiasi “conclusione”, oggi, rischia di essere molto transitoria. Al fallimento multisistemico[9] di cui si è parlato a proposito della famigerata “saga dell’oseltamivir” corrisponde un fallimento multisistemico della produzione della letteratura scientifica; la crisi di credibilità è tale che molte delle certezze del mondo accademico sono messe in discussione: dai meccanismi della peer review al valore degli indicatori bibliometrici classici come metro per giudicare l’autorevolezza di una rivista. È una fase delicata: mai come oggi è opportuno continuare a raccomandare al personale sanitario la massima prudenza nell’accostarsi alle fonti di informazione, senza cedere alla tentazione di demotivare chi lavora nella sanità, scoraggiando lo studio, la riflessione e la partecipazione a progetti di ricerca utili a migliorare la salute dei cittadini.

 

Bibliografia

[1] Greenhalgh Trisha, Howick Jeremy, Maskrey Neal.Evidence based medicine: a movement in crisis?BMJ 2014; 348:g3725

[2] Ioannidis JPA.  Concentration of the Most-Cited Papers in the Scientific Literature: Analysis of Journal Ecosystems. PLoS ONE 2006; 1: e5. doi:10.1371/journal.pone.0000005

[3] Jefferson T. Transparency and opaqueness in oseltamivir studies. CEBM blogs 2015; January 30. http://www.cebm.net/transparency-opaqueness-oseltamivir-studies/

[4]  Roblin P. Dobson Lancet Tamiflu Re-analysis: independent review group. Really? CEBM blogs 2015; January 30. http://www.cebm.net/dobson-lancet-tamiflu-re-analysis-independent-review-group-really/

[5] Kelly H, Cowling BJ. Influenza: the rational use of oseltamivir. The Lancet 2015; online published January 30.

[6] Demicheli V. Presentazione. Attenti alle bufale. 3° ed. Roma: Il Pensiero Scientifico Editore, 2008.

[7] Hudson KL, Collins FS. Sharing and Reporting the Results of Clinical Trials.JAMA. 2015;313(4):355-356. doi:10.1001/jama.2014.10716.

[8] Doshi P, Jefferson T. Clinical study reports of randomised controlled trials: an exploratory review of previously confidential industry reports. BMJ Open 2013;3:e002496.

[9] Jefferson T, Doshi P. Multisystem failure: the story of anti-influenza drugs. BMJ 2014; 348

Comments

Leave a Comment

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Tweet

10 cose per dar spazio ai ricercatori più giovani. [Perché essere primo o ultimo autore di articoli di altri? Perché presidere meeting a cui non si ha contribuito? Perché collezionare cariche? E altri 7] dottprof.com/2019/10/10-cos… pic.twitter.com/kPagIs7V79

Tag Cloud

Luca De Fiore

Comunicare la salute e la medicina:
tutto quello che vorresti chiedere ma hai paura di sapere. E nemmeno sai tanto a chi chiedere…