1 Analisi critica della letteratura e dei lavori scientifici Metodologia per il medico di famiglia...
-
Upload
liberatore-amore -
Category
Documents
-
view
213 -
download
1
Transcript of 1 Analisi critica della letteratura e dei lavori scientifici Metodologia per il medico di famiglia...
1
Analisi critica della letteratura Analisi critica della letteratura e dei lavori scientificie dei lavori scientifici
Metodologia per il medico di famiglia
Scuola Toscana di Formazione
2
Elementi di validità di un Elementi di validità di un lavoro di ricerca.lavoro di ricerca.
Validità metodologica.
Rilevanza clinica.
Trasferibilità.
3
Analisi critica dei lavori Analisi critica dei lavori scientificiscientifici
Quale ipotesi gli autori volevano provare?
Quale tipo di studio è stato effettuato?
La metodologia è corretta?
4
Classificare un articoloClassificare un articolo
Studi osservazionaliStudi sperimentali
Ricerche quantitativeRicerche qualitative
5
La ricerca qualitativaLa ricerca qualitativa
Se le ricerche quantitative studiano la diversità quantitativa dei fenomeni, esprimendola in forma numerica e probabilistica, le ricerche qualitative ne cercano i motivi e postulano spiegazioni o pongono interrogativi
6
La ricerca qualitativaLa ricerca qualitativa
Metodi Documentazione (atti dei convegni e
comportamento dei medici) Osservazione passiva (descrizione) Osservazione partecipativa Intervista (di solito strutturata) Focus groups
7
Classificare un articoloClassificare un articolo
Studi primari Studi sperimentali RCT Studi di coorte Studi caso controllo Studi osservazionali trasversali
8
Classificare un articoloClassificare un articolo
Studi secondari
Revisioni Sistematiche Non sistematiche Metaanalisi Linee Guida
9
Classificare un articoloClassificare un articoloStudi secondari
Revisioni non sistematiche: riassumono un gruppo di studi primari
Revisioni sistematiche: riassumono studi primari esaminati e valutati secondo una metodica precisa e rigorosa
Metanalisi: integrano i risultati numerici di più studi primari
Linee guida: si basano sugli studi primari per trarre conclusioni su come si dovrebbe svolgere la pratica clinica
Analisi decisionali/ analisi economiche
10
Classificare un articoloClassificare un articolo
In ordine di importanza
1. RCT definitivi Metaanalisi
2. RCT non definitivi
3. Studi di coorte o caso controllo
4. Studi osservazionali
5. Casi clinici
6. Studi ecologici
11
Gerarchia dei Gerarchia dei tipi di studio tipi di studio in funzione del livello di provein funzione del livello di prove
Metanalisi
Revisioni Sistematiche
RCTs
(Studi Controllati Random)
Studi di Coorte
Studi Caso-Controllo
Studi Osservaz. Trasversali
Casi Clinici
12
Metaanalisi( over review)Metaanalisi( over review)
Revisione globale, sistematica ed organizzata e sintesi statistica retrospettiva dei risultati di più studi clinici che affrontano il medesimo argomento.
Si basa su criteri di valutazione espliciti.
13
Revisioni di studi clinici Revisioni di studi clinici (pubblicati(pubblicati))
Non sistematiche
Sistematiche
14
Metanalisi: i metodi.Metanalisi: i metodi.
NARRATIVO ( il più classico),tipico della revisione tradizionale in cui chi analizza i dati ne riassume i risultati ed esprime la sua opinione.
IL METODO DEI VOTI, in cui si suddividono gli studi disponibili in positivi, negativi, incerti ( posta troppa enfasi sulla sugnificatività statistica).
15
Metanalisi.Metanalisi.
Come i trials randomizzati anche le MA possono essere condotte in modo inappropriato e concludersi con risultati inattendibili.
Con le MA non si possono avere informazioni che non erano presenti nei singoli studi.
16
Criteri di validità che gli AA Criteri di validità che gli AA devono documentaredevono documentare..
1. Modalità di selezione degli studi. 2. Definizioni adeguate di pazienti,
trattamenti e razionale dell’analisi. 3. Modalità di estrazione dei dati. 4. Qualità dell’analisi statistica ( test
utilizzati, misurazione della variabilità dei risultati, presentazione grafica e interpretazione dei risultati.
17
Metanalisi: criteri di validità.Metanalisi: criteri di validità.
1. Obiettivo della MA è ben definito e clinicamente rilevante?
2. E’ verosimile che la ricerca degli studi abbia mancato l’identificazione di studi importanti?
3. I criteri di inclusione ed esclusione erano ragionevoli e coerenti con l’obiettivo?
18
Metanalisi : criteri di validità.Metanalisi : criteri di validità.
4. Esiste un numero di studi sufficiente per la MA ed il numero dei pazienti è ragionevolmente elevato?
5. Sono studi simili per caratteristiche dei pazienti inclusi,modalità di trattamento, end points?
6. Sono i risultati degli studi non eterogenei, cioè tendono a dimostrare un chiaro beneficio?
19
MetanalisiMetanalisi
20
MetanalisiMetanalisi
Vantaggi Metodi di inclusione precisi (selezione
di lavori validi) Grande quantità di informazioni Riduzione del ritardo fra ricerca e
applicazione Generalizzabilità dei risultati
(popolazione diversificata)
21
Metanalisi : i limitiMetanalisi : i limiti..
I trials sono assai diversi per numerosità dei pazienti.
I pazienti sono diversi da studio a studio anche se reclutati con analoga diagnosi.
Condizioni di setting differenti. Validità scientifica e attendibilità dei
risultati diversi ( carenze metodologiche).
22
Metanalisi : i limiti.Metanalisi : i limiti.
Quando si fa una MA si finisce invariabilmente per dimostrare una qualche efficacia del trattamento studiato.
23
Analisi critica dei lavori Analisi critica dei lavori scientifici.scientifici.
La valutazione va fatta soprattutto sui singoli lavori.
Elementi da valutare:OriginalitàDisegno sperimentale adeguato al quesito di
ricerca.Metodo, validato e accuratamente descritto.Analisi.
24
L’ABSTRACTL’ABSTRACT
Importante quando si vuole effettuare su internet una ricerca.
Convenzionale, descrive: problema,metodi,risultati,conclusioni
Strutturato , descrive : obiettivo,disegno,setting,caratteristiche dei pazienti,intervento,misure di outcome, risultati, conclusioni.
25
Articolo scientifico: IMRAD.Articolo scientifico: IMRAD.
Introduzione.Metodi Risultati ( And)Discussione
26
INTRODUZIONEINTRODUZIONE
Riassume le informazioni più importanti.
Aiuta a comprendere le ragioni dello studio.
Descrive lo scopo (non le conclusioni) della ricerca.
Cita altri lavori analoghi o correlati allo studio.
27
METODIMETODI
Disegno dello studio.Selezione dei pazienti.Definizione della malattia.Intervento,metodi e trattamenti.Misure di outcomePotenza ed analisi statistiche.Aspetti etici.
28
RISULTATIRISULTATI
Descrizione dei partecipanti allo studio (rifiuto e perdita nel follow-up).
Risposta alle ipotesi formulate.
29
DISCUSSIONEDISCUSSIONE
Sintesi dei risultati principali.Conseguenze “pratiche” dei
risultati.Vantaggi e limiti dei metodi
utilizzati.Studi futuri.
30
Articoli clinici: caratteristiche Articoli clinici: caratteristiche generaligenerali
Importanza/prestigio della rivista
Peer review ( lavori accuratamente valutati da revisori esperti)
Impact factor ( parametro che pesa le riviste sul numero di citazioni ricevute normalizzato per il numero di lavori pubblicati)
Conflitti di interesse
31
La caccia agli errori della La caccia agli errori della ricerca.ricerca.
ERRORI METODOLOGICI: nella impostazione ed interpretazione dello studio.
DISTORSIONI : diversità fra ciò che esce dai laboratori di ricerca e ciò che arriva al medico ( risultati diversi da quelli realmente riscontrati).
32
ERRORI METODOLOGICIERRORI METODOLOGICI..
Gli errori nell’analisi e nell’interpretazione dei risultati possono essere corretti, se identificati in tempo, gli errori nella impostazione sono sempre irrimediabili e spesso condizionano il destino della ricerca.
33
ERRORI METODOLOGICI.ERRORI METODOLOGICI.
1. Mancanza di un confronto : fra i più comuni errori l’organizzazione di una ricerca di tipo NON COMPARATIVO (modo migliore per ottenere un risultato positivo).
2. Errata scelta del confronto: non validi i confronti retrospettivi o storici né quelli contemporanei ma non randomizzati.
34
ERRORI METODOLOGICIERRORI METODOLOGICI..
3. Mancata o errata randomizzazione : non è sufficiente prevedere un gruppo di confronto, occorre che ciò avvenga per randomizzazione. Molto spesso previsti sistemi alternativi ( assegnazione in successione alternata oppure in base al giorno di ricovero o data di nascita).
Errata perché si può prevedere o anticipare il trattamento da assegnare.
35
ERRORI METODOLOGICI.ERRORI METODOLOGICI.
4. Non adozione delle condizioni di CECITA’ singola o doppia.
Essenziale non solo in fase di assegnazione dei trattamenti ma anche , e soprattutto, nella fase di conduzione della ricerca e della valutazione dei risultati.
36
ERRORI METODOLOGICI.ERRORI METODOLOGICI.
5. Non adeguata scelta del disegno sperimentale.
Anche se organizzate secondo i principi della sperimentazione controllata e randomizzata molte ricerche non sono in grado di fornire tutta l’informazione che dovrebbero perché pianificate secondo un disegno non appropriato.
37
ERRORI METODOLOGICI.ERRORI METODOLOGICI.
6. Mancata stima delle dimensioni del campione : errore estremamente frequente.
Nella maggioranza degli studi non c’è accenno alla stima del campione che è necessario studiare per avere una buona probabilità di mettere in evidenza, se esiste, una determinata differenza fra i trattamenti in studio.
38
ERRORI METODOLOGICI.ERRORI METODOLOGICI.
6. Mancata stima delle dimensioni del campione : in uno studio ben organizzato si deve stabilire a priori la numerosità del campione sapendo quale sia la “ potenza” dello studio ( cioè la differenza minima che si può svelare come statisticamente significativa).
39
ERRORI METODOLOGICIERRORI METODOLOGICI..
7. Mediocre livello dello standard statistico: è quella che potremmo definire la frenesia del p>0,05 , valore che in troppi lavori assume un’alea magica di significatività dimostrativa. “p” non è la probabilità di fare un errore ritenendo l’effetto osservato come vero ma semplicemente la probabilità dell’ “ipotesi nulla”.
40
ERRORI METODOLOGICIERRORI METODOLOGICI..
7. Mediocre livello dello standard statistico:
nell’applicazione del Test di significatività un errore nel quale è facile imbattersi è l’uso improprio del test “ T di Student” (parametrico) per esempio per effettuare confronti multipli a coppia, creando confusione fra inferenza ed estrapolazione dei dati.
41
DISTORSIONI : 5 DISTORSIONI : 5 MECCANISMI MECCANISMI
FONDAMENTALI.FONDAMENTALI.
1. Vizio del risultato positivo : più facile la pubblicazione di ricerche con risultato positivo.
2.Parzialità dell’arbitro : più facile la pubblicazione di un articolo recante un messaggio che concorda con quello dei revisori.
42
DISTORSIONI.DISTORSIONI.
3. Dilemma del rischio relativo ed assoluto:
più facile che venga prescritto un trattamento se i risultati della sperimentazione vengono rappresentati in termini di rischio relativo piuttosto che di rischio assoluto.
4. Tono del linguaggio : più facile venga prescritto un trattamento se i risultati vengono enfatizzati.
43
DISTORSIONI.DISTORSIONI.
5. Informazione pilotata : più facile che venga prescritto un trattamento se l’informazione è parziale o si omettono dati importanti o vengono rappresentati in modo fallace.
44
DUE errori da non DUE errori da non commettere.commettere.
1- Printed word bias:
“ mi fido dello studio perché è stato
pubblicato”.
2- Omission bias:
“ Ho fretta, quindi passo subito alle
conclusioni”.
45
CONCLUSIONI: gli 11 item.CONCLUSIONI: gli 11 item.
1. Se sono stabiliti i criteri di eligibilità. 2. Se questi sono stati applicati prima
della allocazione del trattamento. 3. Se l’allocazione è stata fatta con
randomizzazione. 4. Quale metodo di randomizzazione. 5. Le condizioni di cecità.
46
CONCLUSIONI : gli 11 item.CONCLUSIONI : gli 11 item.
6. Se la valutazione dei risultati è fatta in cieco.
7. Quali sono state le complicanze del trattamento.
8. Quanti pazienti persi nel follow-up e perché e se sono stati considerati
( Intention to treatment)
47
CONCLUSIONI : gli 11 item.CONCLUSIONI : gli 11 item.
9. Il tipo di analisi statistica utilizzato.
10. I metodi statistici utilizzati. 11. In che modo è stata calcolata
l’entità del campione o l’entità della differenza attesa.