Thordis Thomsen, Seniorforsker, Abdominalcentret ... · Liberati et al. 2009. ... Symbol Kvalitet...
Transcript of Thordis Thomsen, Seniorforsker, Abdominalcentret ... · Liberati et al. 2009. ... Symbol Kvalitet...
Systematiske Reviews (SR)
• Systematiske reviews forsøger at samle al empirisk evidens indenfor præspecificerede kriterier med henblik på at besvare et specifikt forskningsspørgsmål.
• Systematiske reviews sigter mod at minimere bias ved brug af eksplicitte, systematiske metoder.
Higgins, JPT. & Green, S. Cochrane Handbook for Systematic Reviews of Interventions.
The Cochrane Collaboration & John Wiley & Sons Ltd. 2008
‘Traditionelle’ (ikke-
systematiske) reviews:
bruger ikke al tilgængelig evidens
varierende kvalitet
varierende metodologi
forældes hurtigt
risiko for intenderet/uintenderet BIAS
Indeholder:
– Fokuseret, klinisk spørgsmål (PICO)
– Publiceret protokol, hvori metoden er beskrevet før søgning af litteratur
– Fyldestgørende søgning
– U-biased udvælgelse og ekstraktion af data
– Kritisk vurdering af data
– Syntese af data
– Struktureret rapport
– Jævnlig opdatering
Systematiske reviews
• P → participants • I → interventions or risk factors • C → comparisons ~ controls • O → outcomes
“How does preoperative smoking cessation intervention
compared to standard preoperative care affect the occurrence of postoperative complications following elective surgery?”
Det fokuserede kliniske spørgsmål
6
Flow chart Potentially relevant n=815
Detailed evaluation
n=29
Potentially appropriate RCTs n=26
RCTs included n=11 9 trials/11 papers
Studies excluded n=786 Not relevant
Studies excluded n=3 Not RCTs
RCTs excuded n=15 not surgical patients n=5 interventions not preoperative n=7 compares smokers to non-smokers n=1 outcomes not relevant n=2
Studies excluded
n=3
Not RCTs
Studies excluded
n=15 Not surgical pts
Not preoperative intervention
Compares smokers to non-smokers
Outcomes not relevant
Studies excluded
n=786
Not relevant
• Meta-analyse er brugen af statistiske metoder med henblik på at opsummere og kombinere resultater af uafhængige studier.
• Hvert studie vægtes ift den information, studiet bidrager med (størrelse & præcision af effekt estimatet)
Liberati et al. 2009. The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies that Evaluate Health Care Interventions: Explanation and Elaboration. Annals of Internal Medicine: W65-W94; 151(4).
Meta-analyse
Meta-analyse – fixed effect
Meta-analyse af effekten af præoperativ rygestopintervention
på postoperative komplikationer
Meta-analyse –random effect
Meta-analyse af effekten af præoperativ rygestopintervention
på postoperative komplikationer
Heterogeneitet
• Heterogeneitet er en konsekvens af klinisk eller metodologisk forskellighed – eller både og – mellem studier.
• Viser sig ved at interventionseffekter er mere forskellige fra hinanden end man ville forvente ud fra ren tilfældighed.
• I2-statistikken beskriver den %-del af variationen i interventionseffekten der skyldes heterogeneitet snarere end tilfældighed.
Heterogeneitet
• Lad være med at lave metaanalyse
• Undersøg heterogeneitet→subgruppeanalyse
• Ignorer
• Random-effect
Risiko for bias Type af bias Beskrivelse Domæne i Cochrane’s ROB
tool
Selektionsbias Systematiske forskelle ml grupper i baseline karakteristika
Sequence generation Allocation concealment
Performance bias Systematiske forskelle ml grupper i pleje/behandling/opførsel
Blinding af deltagere, personale og outcome assessorer
Attrition bias Systematiske forskelle ml grupper i withdrawals
Ufuldstændig outcome data Blinding som ovenfor
Detektionsbias Systematiske forskelle ml grupper i outcome vurdering
Blinding som ovenfor
Reporting bias Forskelle ml planlagte/rapporterede fund
Selektiv rapportering af outcomes
Higgins, JPT. & Green, S. Cochrane Handbook for Systematic Reviews of Interventions. The Cochrane Collaboration & John Wiley & Sons Ltd. 2008
Publikationsbias
• Publicerede studier afviger systematisk fra alle gennemførte studier på området
• Publicerede studier er generelt ”positive”
– Forskerpræference for ”positive” fund
– Journal editors ditto
– Industrifinansiering
Adequate sequence generation?
And
rew
s 2
00
6 (1
5)
+
Azo
di 2
00
8 (2
1)
+
Lin
dströ
m 2
00
8 (2
2)
+
Mo
ller 2
00
2 (3
6)
+
Myle
s 2
00
4 (3
7)
+
Ra
tne
r 20
04
(39
)+
Sore
nse
n 2
00
3 (3
8)
+
Sore
nse
n 2
00
7 (4
2)
+
Ville
bro
20
08
(23
)+
Warn
er 2
00
5 (4
0)
+
Wolfe
nd
en
200
5 (4
1)
+
Allocation concealment?
+++++++++++
Blinding???+++++??++
Incomplete outcome data addressed?
++++–++?+++
Free of selective reporting?
+++++++++++
Free of other bias?
+++++++++++
Risiko for bias vurdering
GRADE
The Grades of Recommendation, Assessment, Development and Evaluation
Formål:
At evaluere kvaliteten af evidensen for individuelle outcomes
Kriterier for kvalitet?
5 faktorer kan reducere kvaliteten af evidensen
1. Limitations ift design og udførelse (risiko for bias)
2. Inconsistency (eller heterogeneitet)
3. Indirectness (PICO og applikerbarhed)
4. Imprecision (antal events og konfidensintervaller)
5. Publikationsbias
Summary of findings (SOF) tables
Sammenfatter fundene i et systematisk review
Præsenterer
• Kvaliteten af evidensen
• Størrelsen af effekten
• Begrundelser for beslutninger vedr vurderingerne
GRADE
Symbol Kvalitet Fortolkning
++++ Høj Meget usandsynligt, at mere forskning vil ændre tiltroen tll præcision af effekt estimat
+++ Moderat Sandsynligt, at mere forskning vil påvirke tiltroen til effekt estimatet og kan eventuelt resultatet
++ Lav Meget sandsynligt, at mere forskning vil påvirke tiltroen til effekt estimatet og ændre resultatet
+ Meget lav Estimat af effekt meget usikker
Oversat fra Schünnemann H et al. Undervisning i The GRADE-approach,
Cochrane Colloquium 2011, Madrid
GRADE -Inconsistency
• Når studier har vidt forskellige effektestimater… eller heterogeneitet
• Undersøg årsager til heterogeneitet (forskellige populationer, interventioner, outcomes)
• Din tiltro til resultaterne er lavere når der er uforklaret heterogeneitet
lower quality of the evidence
Inconsistency
Direkte evidens kommer fra forskning der
• Er udført på populationer og systemer, som dem vi søger evidens til
• Inkluderer de interventioner, vi er interesseret i og sammenligner dem med relevante comparators
• Har målt effekt på de outcomes, som vi er interesseret i
• Sammenligner A vs B, ikke – A vs kontrol
– B vs Kontrol
GRADE - indirectness
Publikationsbias
Systematisk over- eller under estimering af effekt pga selektiv publikation af studier
”File drawer problem”
Hurtigere og hyppigere publikation af positive studier
Langsom og mindre hyppig publikation af negative/inkonklusive studier
Hvornår skal man mistænke publikationsbias?
Store studier med mange patienter inkluderet forbliver oftest ikke upublicerede og giver ofte mere nøjagtige estimater af effekt
Risikoen for bias er sandsynligt større i reviews baseret på små studier
Studier finansieret af industrien vil mere sandsynligt have outcomes, der er fordelagtige for sponsor
GRADE-CERQual Confidence in Findings from Qualitative
Evidence Syntheses
Hvor meget tillid kan vi have til fundene fra synteser af kvalitative studier?
CERQual er en tilgang, der kan støtte brugere i at vurdere dette
GRADE kriterier
Kvantitativ • Risk of bias
• Directness
• Consistency
• Precision
• Risk of publication bias
Kvalitativ • Methodological
limitations
• Relevance
• Coherence
• Adequacy of data