A forza di torturarli i dati … migliorano

Immagina di desiderare tantissimo di fare l’amore con quella donna (proprio quella donna e proprio fare l’amore eh). Arriva un tuo amico e ti invita a fare un esperimento: per cento giorni di seguito le chiederai un appuntamento, la metà delle volte telefonandole e l’altra metà aggiungendo alla telefonata un messaggio con whatsapp. Alla fine dei tentativi scoprirai …

Continue reading

Ricerca e letteratura scientifica: che casino

Un vero casino. Questa la definizione con cui – nella sua relazione al congresso della Associazione Alessandro Liberati Network Italiano Cochrane – John Ioannidis ha sintetizzato la situazione attuale dell’attività di ricerca e della produzione di letteratura scientifica. Il direttore del Meta Research Innovation Center dell’università di Stanford ha offerto una panoramica di straordinario interesse che ha riproposto in ordine logico i risultati di alcune delle principali ricerche da lui coordinate o pubblicate negli ultimi anni da altri ricercatori.

[ti interessa conoscere meglio di cosa si occupa il METRICS diretto da Ioannidis? Segui il link e arriva al sito.]

No registration, no replication, no publication. John Ioannidis

La ricerca clinica sembra orientata alla negazione. A farla breve, ecco i problemi principali. In primo luogo, circa la metà degli studi ha dei limiti metodologici importanti: quesiti di ricerca mal concepiti, risultati non generalizzabili, premesse condizionate da punti di vista soggettivi, progetti avviati senza considerare altri eventuali studi sullo stesso argomento che già siano stati condotti. Secondo, in circa un quinto dei casi lo studio tradisce il protocollo: cambiano in corso d’opera i criteri di eleggibilità dei pazienti e il campione viene “contaminato”. Terzo, i finanziamenti influenzano i risultati degli studi e, in circa il 70 per cento dei casi, non sono dichiarati. Quarto, in circa il 20 per cento dei casi la potenza statistica degli studi non è tale da garantire risultati significativi. Quinto, gli studi non sono riproducibili (in uno studio condotto in ambito oncologico lo era quasi il 90% delle ricerche).

C’è poi l’ampiamente noto problema della non pubblicazione dei risultati degli studi. Circa la metà delle ricerche, infatti, non viene pubblicata, per il veto dei finanziatori, o per una sorta di “pudore” dei ricercatori stessi, o anche per il mancato interesse delle riviste, soprattutto nel caso di studi che producono risultati negativi, vale a dire non favorevoli all’intervento sperimentale studiato. E se l’articolo vede la luce? Ebbene, anche in questo caso i risultati sono spesso mal presentati e i metodi descritti in maniera lacunosa o imperfetta. I contenuti sono presentati in maniera da enfatizzare ciò che si ha interesse a sottolineare, l’abstract non sintetizza fedelmente la ricerca o i comunicati stampa inviati ai media sono preparati in modo da sopravvalutare i risultati ottenuti.

Pubblicato e disseminato, l’articolo è pronto per essere … fatto a fette dagli stessi autori che, a partire da uno stesso dataset di risultati, spesso cedono alla tentazione della pubblicazione duplicata su riviste diverse (la cosiddetta salami science). Se non ci pensano gli autori, lo fanno i loro colleghi: non passa giorno non salti fuori un caso di plagio sulla letteratura internazionale anche “autorevole” o comunque indicizzata…

Il risultato è uno spreco intollerabile di risorse economiche e umane (quasi sempre le due cose coincidono). Ioannidis ha riproposto gli studi di Chalmers e Glasziou e il dossier pubblicato sul Lancet nel gennaio 2014, partendo dai risultati del suo studio del 2005 uscito su PLoS Medicine, Why most published research findings are false. Il quadro dipinto a Torino è desolante e molti dei presenti hanno reagito con incredulità e rassegnazione. Eppure, la possibilità di invertire la rotta esiste, anche se i correttivi metterebbero in discussione le fondamenta del sistema di produzione e condivisione delle conoscenze. In estrema sintesi, sarebbe necessario…

  1. privilegiare la ricerca clinica collaborativa e multicentrica
  2. premiare e fare crescere la “cultura delle riproducibilità” degli studi
  3. registrare ogni ricerca disegnata e avviata in database accessibili pubblicamente
  4. adottare dei metodi statistici … decorosi
  5. standardizzare definizioni e strategie di analisi dei dati
  6. utilizzare dei valori di soglia statistica più appropriati e stringenti
  7. migliorare la qualità del disegno degli studi, il processo di peer review, l’attività di reporting dei metodi e dei dati e la formazione del personale coinvolto nella ricerca.

Più facile a dirsi che a farlo. Per disinnescare una situazione esplosiva, bisognerebbe anche ripensare un sistema che premia molto più la quantità della produzione scientifica che la sua qualità.

Altrimenti, il rischio che il casino aumenti è davvero molto elevato.

 

 

Innovazione? Valori, non tecnologia

Cerca di immaginare cosa prova il malato. Questa frase ha guidato per anni il lavoro del Center of Medical Humanities and Bioethics della University of Texas San Antonio fondato da Abraham Verghese che oggi, a Paolo Alto, porta avanti il progetto Stanford 25 per rivalutare la clinica al letto del paziente. Alle Scientific Sessions dell’American College …

Continue reading

Sei cose sulla salute della donna

Otto marzo sempre più faticoso, schiacciato tra 364 giorni maschili. La lettura di due cose fondamentali – Being mortal di Atul Gawande, e Less medicine, more health, di Gilbert Welch – suggerisce di mettere in fila sei consigli per la salute delle donne. 1. Non sempre far presto significa far meglio: la diagnosi precoce è spesso …

Continue reading

Il Prof è al congresso? Il malato ce la fa

I pazienti con specifici problemi cardiovascolari ad alto rischio è più probabile che sopravvivano se sono ricoverati in ospedale nei giorni in cui si svolgono i principali congressi di cardiologia, quando gran parte degli specialisti nel trattamento delle malattie del cuore è assente. Non è un errore ma il risultato di un lavoro pubblicato su JAMA Internal Medicine. Allo studio …

Continue reading

Viviamo meno da sani e più da malati

Cento chilometri di Raccordo anulare. Andata e ritorno tra casa e Marriott, sulla collina che sta per franare sulla Roma-Fiumicino. Tra Auchan e il centro direzionale Alitalia si alternano i caccia in bilico dallo sfasciacarrozze, le palme capitozzate dal punteruolo rosso, il Tevere gonfio sulla diga a Flaminio, l’area di servizio Selva Candida interna ed …

Continue reading

Altra ricerca non è necessaria

Se hai studiato un problema e hai trovato qualcosa devi dirlo subito, prima che chi legge si stufi. In altre parole, nel cosiddetto Plain Language Summary di una revisione sistematica Cochrane,  il paragrafo delle Conclusioni deve stare all’inizio e non alla fine. Per quanto possa sembrare la scoperta dell’acqua calda, è una delle proposte che ha …

Continue reading

ECM: anche in questo caso "Less is more"

Se un medico dovesse “scegliere consapevolmente” tra le opportunità formative a disposizione difficilmente deciderebbe di seguire un corso di bridge. Eppure è accaduto, a Palermo e a Bergamo, negli ultimi mesi. Corsi accreditati dal programma nazionale di educazione continua in medicina. A Palermo il corso è stato annullato mentre l’evento (così – paradossalmente – ministero …

Continue reading