Ricerca e letteratura scientifica: che casino

Un vero casino. Questa la definizione con cui – nella sua relazione al congresso della Associazione Alessandro Liberati Network Italiano Cochrane – John Ioannidis ha sintetizzato la situazione attuale dell’attività di ricerca e della produzione di letteratura scientifica. Il direttore del Meta Research Innovation Center dell’università di Stanford ha offerto una panoramica di straordinario interesse che ha riproposto in ordine logico i risultati di alcune delle principali ricerche da lui coordinate o pubblicate negli ultimi anni da altri ricercatori.

[ti interessa conoscere meglio di cosa si occupa il METRICS diretto da Ioannidis? Segui il link e arriva al sito.]

No registration, no replication, no publication. John Ioannidis

La ricerca clinica sembra orientata alla negazione. A farla breve, ecco i problemi principali. In primo luogo, circa la metà degli studi ha dei limiti metodologici importanti: quesiti di ricerca mal concepiti, risultati non generalizzabili, premesse condizionate da punti di vista soggettivi, progetti avviati senza considerare altri eventuali studi sullo stesso argomento che già siano stati condotti. Secondo, in circa un quinto dei casi lo studio tradisce il protocollo: cambiano in corso d’opera i criteri di eleggibilità dei pazienti e il campione viene “contaminato”. Terzo, i finanziamenti influenzano i risultati degli studi e, in circa il 70 per cento dei casi, non sono dichiarati. Quarto, in circa il 20 per cento dei casi la potenza statistica degli studi non è tale da garantire risultati significativi. Quinto, gli studi non sono riproducibili (in uno studio condotto in ambito oncologico lo era quasi il 90% delle ricerche).

C’è poi l’ampiamente noto problema della non pubblicazione dei risultati degli studi. Circa la metà delle ricerche, infatti, non viene pubblicata, per il veto dei finanziatori, o per una sorta di “pudore” dei ricercatori stessi, o anche per il mancato interesse delle riviste, soprattutto nel caso di studi che producono risultati negativi, vale a dire non favorevoli all’intervento sperimentale studiato. E se l’articolo vede la luce? Ebbene, anche in questo caso i risultati sono spesso mal presentati e i metodi descritti in maniera lacunosa o imperfetta. I contenuti sono presentati in maniera da enfatizzare ciò che si ha interesse a sottolineare, l’abstract non sintetizza fedelmente la ricerca o i comunicati stampa inviati ai media sono preparati in modo da sopravvalutare i risultati ottenuti.

Pubblicato e disseminato, l’articolo è pronto per essere … fatto a fette dagli stessi autori che, a partire da uno stesso dataset di risultati, spesso cedono alla tentazione della pubblicazione duplicata su riviste diverse (la cosiddetta salami science). Se non ci pensano gli autori, lo fanno i loro colleghi: non passa giorno non salti fuori un caso di plagio sulla letteratura internazionale anche “autorevole” o comunque indicizzata…

Il risultato è uno spreco intollerabile di risorse economiche e umane (quasi sempre le due cose coincidono). Ioannidis ha riproposto gli studi di Chalmers e Glasziou e il dossier pubblicato sul Lancet nel gennaio 2014, partendo dai risultati del suo studio del 2005 uscito su PLoS Medicine, Why most published research findings are false. Il quadro dipinto a Torino è desolante e molti dei presenti hanno reagito con incredulità e rassegnazione. Eppure, la possibilità di invertire la rotta esiste, anche se i correttivi metterebbero in discussione le fondamenta del sistema di produzione e condivisione delle conoscenze. In estrema sintesi, sarebbe necessario…

  1. privilegiare la ricerca clinica collaborativa e multicentrica
  2. premiare e fare crescere la “cultura delle riproducibilità” degli studi
  3. registrare ogni ricerca disegnata e avviata in database accessibili pubblicamente
  4. adottare dei metodi statistici … decorosi
  5. standardizzare definizioni e strategie di analisi dei dati
  6. utilizzare dei valori di soglia statistica più appropriati e stringenti
  7. migliorare la qualità del disegno degli studi, il processo di peer review, l’attività di reporting dei metodi e dei dati e la formazione del personale coinvolto nella ricerca.

Più facile a dirsi che a farlo. Per disinnescare una situazione esplosiva, bisognerebbe anche ripensare un sistema che premia molto più la quantità della produzione scientifica che la sua qualità.

Altrimenti, il rischio che il casino aumenti è davvero molto elevato.

 

 

Amazon: meno male che nun so’ italiani

Il papà era generale e i due fratelli ufficiali di carriera. Si ruppe un braccio giocando a pallone e Valentino Bompiani invece di ammiraglio diventò editore. Circostanze altrettanto casuali sembrano aver guidato la vita dei librai italiani incontrati nel pomeriggio in cui – se tutto fosse andato come si deve – sarei potuto rientrare a casa …

Continue reading

Che esagerati quei comunicati stampa

Le notizie sulla salute pubblicate dai giornali esagerano e in molti casi questo dipende da come sono fatti i comunicati stampa prodotti da università e centri di ricerca. Su dieci press release, quattro contengono affermazioni eccessive rispetto ai contenuti degli articoli realmente pubblicati sulle riviste scientifiche, articoli che i comunicati stessi dovrebbero promuovere. Più di tre …

Continue reading

Fare ricerca è lasciare tracce

Tutti d’accordo – nonostante le non poche osservazioni critiche anche recenti1 – sul fatto che le sperimentazioni controllate randomizzate siano il gold standard della ricerca clinica. Proprio il loro valore atteso diventa una ragione in più per criticare il fatto che l’accesso ai dati grezzi di queste ricerche sia generalmente consentito solo a poche persone: …

Continue reading

Cercare documenti? Come andare a funghi

“Picasso diceva: <Io non cerco, trovo>. Si può trovare anche non cercando. Ma quando si cerca bisogna avere un’idea di cosa si sta cercando. E bisogna sapere in anticipo cosa ce ne faremo di quello che stiamo cercando, altrimenti non troveremo niente. La ricerca presuppone l’esistenza di un contenitore già pronto, cui ciò che si trova dovrà adattarsi”.

Andare in giro per il bosco è utile anche se passeggi e non cerchi nulla. Basta che ti alzi però.
Andare in giro per il bosco è utile anche se passeggi e non cerchi nulla. Basta che ti alzi però.

Quello che scrive Tullio Pericoli nel suo libro appena uscito, Pensieri della mano, sembra pensato proprio per chi vuole migliorare le proprie conoscenze consultando bibliografia e documentazione scientifica. Conoscere la tecnica per interrogare una banca dati – da Medline/Pubmed alla Cochrane Library – è importante, ma lo è ancora di più dare un obiettivo alla propria ricerca, dare il giusto peso ai dati recuperati, saper interpretare le informazioni e condividere le strategie migliori per tradurre ciò che abbiamo trovato in conoscenze che possano servire a migliorare la pratica clinica o a determinare diverse politiche di sanità pubblica.

Alla fin della fiera, è come andare a funghi, valutarne la qualità, vedere se hanno i vermi, cucinarli ed assaggiarli con gli amici.

Ecco le dispositive dell’intervento al corso sulla ricerca delle informazioni all’Ospedale Bambino Gesù di Roma, il 31 marzo 2014.

La concorrenza sleale di PubMed

La National Library of Medicine (NLM) preannuncia un nuovo servizio: PubMed Commons. Uno spazio di commenti alla letteratura internazionale. “We hope that PubMed Commons will leverage the social power of the internet to encourage constructive criticism and high quality discussions of scientific issues that will both enhance understanding and provide new avenues of collaboration within …

Continue reading

Psichiatria senza frontiere ma ricca di progetti

Uno degli impegni domenicali è l’acquisto del Corriere della Sera e del Sole 24 Ore e ogni volta si rinnova la curiosità di vedere se nella Lettura o nel Domenicale ci sia qualcosa che ripaghi l’investimento: non economico, beninteso, ma dello sbattimento di dover uscire di casa prima che l’edicola chiuda per riaprire il lunedì. …

Continue reading

Se Harvard lavora (solo?) per la BBC

Su cento studenti, a 25 piacerebbe fare ricerca ma, anche tra questi più interessati, solo uno su quattro saprebbe dire come funziona il finanziamento di uno studio. È uno dei risultati di un’indagine su una coorte di allievi della facolta di medicina dell’università di Edinburgo, pubblicato sul Lancet prima dell’estate. La vita da ricercatore è dunque …

Continue reading