Meta-análisis
description
Transcript of Meta-análisis
[email protected]@uab.es 11
Meta-análisisMeta-análisis
[email protected]@uab.es 22
Preguntas básicasPreguntas básicas
¿Qué es?¿Qué es? ¿Para qué sirve?¿Para qué sirve? ¿Cómo se regula?¿Cómo se regula? ¿Cómo se hace?¿Cómo se hace? ¿Qué métodos?¿Qué métodos? ¿Cuándo?¿Cuándo?
[email protected]@uab.es 33
INDICEINDICE
1. Definición1. Definición2. Objetivos 2. Objetivos 3. Antecedentes históricos3. Antecedentes históricos4. Protocolo y desarrollo de un meta-4. Protocolo y desarrollo de un meta-
análisisanálisis5. Estimadores del tamaño del 5. Estimadores del tamaño del
efectoefecto6. Ejemplo de meta-análisis6. Ejemplo de meta-análisis
[email protected]@uab.es 44
DefiniciónDefiniciónEl meta-análisis es unaEl meta-análisis es una revisión sistemáticarevisión sistemática de un de un gran númerogran número de estudiosde estudios queque utilizautiliza métodos métodos estadísticosestadísticos parapara combinar, sintetizar e integrarcombinar, sintetizar e integrar la información de variosla información de varios estudios independientesestudios independientes que son considerados por el análista como que son considerados por el análista como ““combinables”combinables”
Adaptado de:Adaptado de:- Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8.- Huque MF. Experiences with meta-analysis in NDA submissions. Proc
Biopharmaceutical Section of the American Statistical Association 1988;28-33.- Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic
reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48:168-71.
- D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:605-616.
[email protected]@uab.es 88
OBJETIVOSOBJETIVOS
Conclusión:Conclusión:– Ganancia en precisiónGanancia en precisión– Comparación crítica de los resultadosComparación crítica de los resultados– Diferencias en magnitud o sentidoDiferencias en magnitud o sentido– Posibilidad de generalizarPosibilidad de generalizar
[email protected]@uab.es 1010
EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICOEVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO
Ratio articulos/mes
0,0005,000
10,00015,00020,00025,00030,00035,00040,000
1950-1959
1960-1969
1970-1979
1980-1984
1985-1989
1990-1992
(Junio)
1992(Julio)-1995
Ratio articulos/mes
[email protected]@uab.es 1111
CARACTERÍSTICASCARACTERÍSTICAS Areas de aplicaciónAreas de aplicación
Ciencias de la educaciónCiencias de la educación PsicologíaPsicología BiologíaBiología MedicinaMedicina Ciencias medio-ambientalesCiencias medio-ambientales QuímicaQuímica FísicaFísica EconomíaEconomía Etc...Etc...
[email protected]@uab.es 1212
CARACTERÍSTICASCARACTERÍSTICAS Problemas preliminaresProblemas preliminares
– Selección de materialSelección de material BibliografíaBibliografía
– Búsqueda informatizada (Medline, Science Citacion Index, ...)Búsqueda informatizada (Medline, Science Citacion Index, ...)– Búsqueda manual (Citas referenciadas, conferencias)Búsqueda manual (Citas referenciadas, conferencias)– Lenguas extranjerasLenguas extranjeras– Estudios presentados a conferencias y congresosEstudios presentados a conferencias y congresos– Calidad de los estudiosCalidad de los estudios
– Diseños distintos (estudios de cohortes, caso-Diseños distintos (estudios de cohortes, caso-control, ...)control, ...)
[email protected]@uab.es 1313
CARACTERÍSTICASCARACTERÍSTICAS Datos:Datos:
– Tipos de medida de los efectosTipos de medida de los efectos– Escalas de medidaEscalas de medida– Extensión de la informaciónExtensión de la información
Datos originalesDatos originales Estadísticos de resumenEstadísticos de resumen Estimación del efecto y errores estándarEstimación del efecto y errores estándar Valores de significaciónValores de significación
[email protected]@uab.es 1414
CARACTERÍSTICASCARACTERÍSTICAS
Datos:Datos:– Toda la información, a excepción de los Toda la información, a excepción de los
datos originales, complica enormemente datos originales, complica enormemente el ajuste por distinto factores de el ajuste por distinto factores de confusión potencialesconfusión potenciales
Disponibilidad de los estudios: Disponibilidad de los estudios: Sesgo de publicaciónSesgo de publicación
[email protected]@uab.es 1515
CARACTERÍSTICASCARACTERÍSTICAS
No independencia de los No independencia de los estudios estudios – Tiempo: momento en que se realiza el Tiempo: momento en que se realiza el
estudioestudio– Centro o investigadorCentro o investigador– Múltiple publicación de los resultadosMúltiple publicación de los resultados– Mismos sujetos (en distintos estudios)Mismos sujetos (en distintos estudios)
[email protected]@uab.es 1616
Ventajas y limitacionesVentajas y limitaciones
VentajasVentajasConsideración sistemática (evaluación no Consideración sistemática (evaluación no
sesgada)sesgada)Cuantificación de los resultadosCuantificación de los resultadosAumento de precisión de los resultadosAumento de precisión de los resultadosMayor capacidad de estudiar efectos en Mayor capacidad de estudiar efectos en
subgrupossubgruposMayor facilidad para evaluar las Mayor facilidad para evaluar las
discrepancias entre estudiosdiscrepancias entre estudiosMayor generalización de las conclusionesMayor generalización de las conclusiones
[email protected]@uab.es 1717
Ventajas y limitacionesVentajas y limitaciones
Limitaciones:Limitaciones:La calidad está limitada por los estudios La calidad está limitada por los estudios
individualesindividualesDificultad para establecer los criterios de Dificultad para establecer los criterios de
inclusióninclusiónSesgo de selección (publicación, lengua, Sesgo de selección (publicación, lengua,
calidad ...)calidad ...)
[email protected]@uab.es 1818
ProtocoloProtocolo Como en cualquier otro estudio, antes de iniciar unComo en cualquier otro estudio, antes de iniciar un
meta-análisis se debe elaborar un protocolo completometa-análisis se debe elaborar un protocolo completoy detalladoy detallado
El protocolo debería incluir como mínimo:El protocolo debería incluir como mínimo:-- Una descripción detallada de los objetivos e hipótesis que Una descripción detallada de los objetivos e hipótesis que
se van a probarse van a probar-- Los criterios de inclusión y exclusión de los estudiosLos criterios de inclusión y exclusión de los estudios-- Los procedimientos que se utilizarán para probar la Los procedimientos que se utilizarán para probar la
homogeneidad de los tamaños de los efectos entre homogeneidad de los tamaños de los efectos entre estudiosestudios
-- Los métodos estadísticos que se utilizarán para estimar el Los métodos estadísticos que se utilizarán para estimar el tamaño del efecto globaltamaño del efecto global
-- Los métodos que se utilizarán para presentar y resumirLos métodos que se utilizarán para presentar y resumirlos resultadoslos resultados
[email protected]@uab.es 1919
Análisis de la Análisis de la heterogeneidadheterogeneidad
Respuesta a la siguiente pregunta:Respuesta a la siguiente pregunta:¿SON COMBINABLES LOS ESTUDIOS?¿SON COMBINABLES LOS ESTUDIOS?
Pruebas de homogeneidad de los resultados de los Pruebas de homogeneidad de los resultados de los estudios individuales:estudios individuales:-- Prueba ji-cadrado Q de CochranPrueba ji-cadrado Q de Cochran-- Prueba ji-cuadrado de Breslow-DayPrueba ji-cuadrado de Breslow-Day
Las pruebas de homogeneidad tienen baja potencia Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidadpara detectar la heterogeneidad
Un valor p de la prueba de homogeneidad 0.10, Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudiospodría no ser válido combinar los estudios
[email protected]@uab.es 2020
Egger et al. Systematic reviews in health care. London: BMJ books, 2001.
[email protected]@uab.es 2121
Magnitud del efecto (1)Magnitud del efecto (1) Los métodos estadísticos utilizados para estimar Los métodos estadísticos utilizados para estimar
el tamaño del efecto global de diferentes estudios el tamaño del efecto global de diferentes estudios se basan ense basan en Modelos de Efectos Fijos y Efectos Modelos de Efectos Fijos y Efectos AleatoriosAleatorios
LosLos Modelos de Efectos FijosModelos de Efectos Fijos asumen un efecto asumen un efecto constante del tratamiento entre estudios, es decir, constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son los tamaños de los efectos entre estudios son homogéneos o similares.homogéneos o similares.-- Los diferentes estudios pertenecen a una misma Los diferentes estudios pertenecen a una misma
poblaciónpoblación-- Consideran la variabilidad intra-estudioConsideran la variabilidad intra-estudio
[email protected]@uab.es 2222
Magnitud del efecto (2)Magnitud del efecto (2) LosLos Modelos de Efectos AleatoriosModelos de Efectos Aleatorios consideran que consideran que
existe una variación entre estudiosexiste una variación entre estudios-- Los estudios provienen de poblaciones diferentesLos estudios provienen de poblaciones diferentes-- Consideran la variabilidad intra e inter-estudioConsideran la variabilidad intra e inter-estudio
[email protected]@uab.es 2323
Magnitud del efecto (3)Magnitud del efecto (3) Ninguno de los dos modelos se puede considerarNinguno de los dos modelos se puede considerar
““correcto”:correcto”:
-- Si los estudios son homogéneosSi los estudios son homogéneosLa elección entre un modelo de efectos fijos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los y efectos aleatorios no es importante, ya que los resultados serán idénticosresultados serán idénticos
-- Si los estudios no son homogéneosSi los estudios no son homogéneosEs más apropiado elegir un modelo de efectos Es más apropiado elegir un modelo de efectos aleatoriosaleatorios
Los modelos de efectos fijos y efectos aleatorios Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para utilizan diferentes métodos estadísticos para combinarlos resultadoscombinarlos resultados
[email protected]@uab.es 2424
Magnitud del efecto (4)Magnitud del efecto (4)
Efectos fijos
Efectos aleatorios
Método Efecto Método Efecto
V. Cualit. Mantel-Haenszel OR, RR DerSimonian- Laird
Ratios y Diferencias
Peto OR
Basado en la varianza general
Ratios y diferencias
V. Cuantit. Diferencias tipificadas entre
medias
Cuantitativas
Diferencias tipificadas
entre medias
Cuantitativas
[email protected]@uab.es 2525
Unbiased Hedges’ g estimateUnbiased Hedges’ g estimate
Corrections for small sample size will be made.Corrections for small sample size will be made.
ce
14
31
m
Jm
94
31
14
31
ee nng
mgd
2 ec nnm
[email protected]@uab.es 2626
Effect size interpretationEffect size interpretation
Since effect sizes are non-dimensional Since effect sizes are non-dimensional measurements (no units), some measurements (no units), some conventions have been proposedconventions have been proposed[1][1],,[2][2]: : – small≈0.20,small≈0.20,– medium≈0.50 medium≈0.50 – large≈0.80large≈0.80
– [1][1] Cohen, J. (1988). Cohen, J. (1988). Statistical power analysis for the behavioral Statistical power analysis for the behavioral sciencessciences (2nd ed.). Hillsdale, NJ: Erlbaum. (2nd ed.). Hillsdale, NJ: Erlbaum.
– [2] [2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.155-159.
[email protected]@uab.es 2727
Análisis de sensibilidad Análisis de sensibilidad (resumen)(resumen)
Un análisis de sensibilidad evalúa la Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un estabilidad de las conclusiones de un análisis según las asunciones análisis según las asunciones (supuestos) que se han realizado en el (supuestos) que se han realizado en el análisisanálisis
Cuando una conclusión permanece Cuando una conclusión permanece invariante al variar las asunciones del invariante al variar las asunciones del análisis, se refuerza la confianza en la análisis, se refuerza la confianza en la validez de las conclusiones del análisisvalidez de las conclusiones del análisis
[email protected]@uab.es 3131
Análisis de la robustezAnálisis de la robustez
Análisis del sesgo de publicación y/o inclusión Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivosselectiva de estudios positivos
Correlación entre la magnitud del efecto y Correlación entre la magnitud del efecto y el tamaño muestral de los estudios.el tamaño muestral de los estudios.
[email protected]@uab.es 3232
Análisis del sesgo de publicación y/o Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos inclusión selectiva de estudios positivos (1)(1)
La introducción del sesgo de publicación y/o La introducción del sesgo de publicación y/o inclusión selectiva de estudios positivos en un inclusión selectiva de estudios positivos en un meta-análisis se debe fundamentalmente a que:meta-análisis se debe fundamentalmente a que:
-- La mayoría de estudios publicados presentan La mayoría de estudios publicados presentan resultados positivos significativos y una minoría resultados positivos significativos y una minoría muestran resultados negativos o no significativos muestran resultados negativos o no significativos
-- Hay una tendencia a seleccionar y, por tanto, Hay una tendencia a seleccionar y, por tanto, incluir en el meta-análisis los estudios o datos no incluir en el meta-análisis los estudios o datos no publicados con resultados positivos significativospublicados con resultados positivos significativosy a guardar los que muestran resultados y a guardar los que muestran resultados negativos o no significativosnegativos o no significativos
[email protected]@uab.es 3333
Análisis del sesgo de publicación y/o Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos inclusión selectiva de estudios positivos (2)(2)
PUBLISHED STUDIES VS UNPUBLISHED STUDIES
RE
LA
TIV
E L
IVE
-BIR
TH
RA
TIO
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
PUBLISHED UNPUBLISHED PUBLISHED + UNPUBLISHED DATA
PUBLISHED+ UNPUBLISHED
FAVOURS CONTROL
FAVOURS TREATMENT
Data from Jeng GT et al. JAMA 1995; 274:830-836
[email protected]@uab.es 3434
Los métodos utilizados para detectar la introducción Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son:del sesgo de publicación en un meta-análisis son:
– Funnel plotFunnel plot– El análisis de la asimetria del funnel plotEl análisis de la asimetria del funnel plot
Si el número de estudios incluidos en el meta-Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no del efecto global entre los estudios publicados y no publicadospublicados
En un meta-análisis basado en todos los estudios En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de originales, no es necesario analizar el sesgo de publicaciónpublicación
Análisis del sesgo de publicación y/o Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos inclusión selectiva de estudios positivos (3)(3)
[email protected]@uab.es 3535
Funnel plotFunnel plot
Published
Unpublished
Overall OR
DEMONSTRATION OF FUNNEL PLOT
ODDS RATIO
SA
MP
LE
SIZ
E
0
20
40
60
80
100
120
140
160
180
200
220
0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0
[email protected]@uab.es 3636
Funnel plotFunnel plot
Published
Overall OR
DEMONSTRATION OF FUNNEL PLOT
ODDS RATIO
SA
MP
LE
SIZ
E
0
20
40
60
80
100
120
140
160
180
200
220
0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2
[email protected]@uab.es 3737
Análisis de la correlaciónAnálisis de la correlación
Una correlación significativa entre la magnitud Una correlación significativa entre la magnitud del efecto y el tamaño de la muestra de los estudios del efecto y el tamaño de la muestra de los estudios indica que el tamaño del efecto depende del tamaño indica que el tamaño del efecto depende del tamaño del estudiodel estudio
Esta correlación puede indicar una verdadera Esta correlación puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estaría estudios, es decir, la rigurosidad del estudio estaría en función de su tamañoen función de su tamaño
En este caso podría no ser valido el meta-análisisEn este caso podría no ser valido el meta-análisis
[email protected]@uab.es 3838
Análisis de la correlaciónAnálisis de la correlaciónCORRELATION BETWEEN THE EFFECT SIZE AND SAMPLE SIZE
SAMPLE SIZE
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
2.0
2.2
2.4
100 140 180 220 260 300 340 380 420
OD
DS
RA
TIO
r2 = 0.01b = 0.0009p = 0.70
[email protected]@uab.es 3939
Presentación gráficaPresentación gráfica
[email protected]@uab.es 4040
Conclusiones (1)Conclusiones (1)1.1. El meta-análisis es un herramienta valida y El meta-análisis es un herramienta valida y
poderosa para la síntesis de la investigación poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.)(justificación, protocolo, etc.)
2.2. La utilización no crítica del meta-análisis puede La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son:críticas que se realizan a un meta-análisis son:
-- Sesgo de publicación y/o inclusión selectiva de Sesgo de publicación y/o inclusión selectiva de estudios positivosestudios positivos
-- Heterogeneidad entre estudiosHeterogeneidad entre estudios-- Correlación entre el tamaño del efecto y el Correlación entre el tamaño del efecto y el
tamaño de la muestratamaño de la muestra
[email protected]@uab.es 4141
Conclusiones (2)Conclusiones (2)3.3. Únicamente cuando estos problemas son Únicamente cuando estos problemas son
debidamente considerados y analizados por debidamente considerados y analizados por medio de:medio de:
-- Análisis de la asimetría del funnel plotAnálisis de la asimetría del funnel plot-- Pruebas de homogeneidadPruebas de homogeneidad-- Análisis de la correlación entre el Análisis de la correlación entre el
tamaño del efecto y el tamaño de la tamaño del efecto y el tamaño de la muestra de los estudiosmuestra de los estudios
Es posible aplicar esta técnica estadística Es posible aplicar esta técnica estadística para combinar los estudios de forma que los para combinar los estudios de forma que los resultados globales sean científicamente resultados globales sean científicamente validosvalidos
[email protected]@uab.es 4242
Meta-análisisMeta-análisisEjemploEjemplo
Ferran Torres Ferran Torres [email protected]@uab.es
[email protected]@uab.es 4343
ExampleExample
Fleiss JL The statistical basis of meta-analysis. Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Statistical Methods in Medical research 1993; 2: 121-145.121-145.
Results of seven placebo-controlled randomised Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death studies of the effect of aspirin in preventing death after myocardial infarctionafter myocardial infarction
[email protected]@uab.es 4444
StudyAAS Placebo AAS Placebo
MRC-1 49 67 615 624CDP 44 64 758 771MRC-2 102 126 832 850GASP 32 38 317 309PARIS 85 104 810 812AMIS 246 219 2267 2257ISIS-2 1570 1720 8587 8600
deaths Total patients
Studies of aspirin in myocardial infarction
[email protected]@uab.es 4545
Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%
95% CI
8.910 iw3.99yw ii Pooled estimate of ln(OR) =
OR = 0.90 (0.84 0.96)
11.08.910
3.99
Meta-analysis of Aspirin trials
[email protected]@uab.es 4646
Graphical representationGraphical representation
[email protected]@uab.es 4747
Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%
95% CI
Fixed OR = 0.90 (0.84 0.96)
Study OR y=ln(OR) var Prop weightMRC-1 0.72 0.46 1.10 -0.33 0.05 8.0%CDP 0.68 0.43 1.05 -0.38 0.05 8.0%MRC-2 0.80 0.57 1.12 -0.22 0.03 13.0%GASP 0.80 0.46 1.36 -0.22 0.07 5.0%PARIS 0.79 0.52 1.20 -0.23 0.05 9.0%AMIS 1.13 0.86 1.48 0.12 0.02 21.0%ISIS-2 0.90 0.72 1.10 -0.11 0.01 36.0%
95% CI
Random OR= 0.88 95%CI : (0.77 ; 0.99)
[email protected]@uab.es 4848
[email protected]@uab.es 4949
[email protected]@uab.es 5050
[email protected]@uab.es 5151
10.4%-14.2% = 3.8%
[email protected]@uab.es 5252
Lancet 2001,356: 1668-75
[email protected]@uab.es 5353
Meta-análisisMeta-análisisEjemploEjemplo
Ferran Torres Ferran Torres [email protected]@uab.es
[email protected]@uab.es 5454
Effects of Effects of plantagoplantago ovataovata husk on lipid metabolism. A husk on lipid metabolism. A meta-analysismeta-analysis
[email protected]@uab.es 5757
Statistical issues on the results (2)Statistical issues on the results (2)
Treatment armsTreatment arms 2 per study except 1:2 per study except 1:
– (MacMahon 1998): The mentioned study was a (MacMahon 1998): The mentioned study was a three arm trial with a control group (n=74) and 2 three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d active doses of 7 G/d (n=101), and 10.5G/d (n=91). (n=91).
– Half the sample size of the control group (n=37; Half the sample size of the control group (n=37; 74/2) was used for the comparison between 74/2) was used for the comparison between each active group.each active group.
[email protected]@uab.es 5858
[email protected]@uab.es 5959
[email protected]@uab.es 6161
Statistical issues on the results (3)Statistical issues on the results (3)
Heterogeneity and sensibility analysisHeterogeneity and sensibility analysis
– (a) The biggest studies have the lowest magnitude effect (a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is for Total Cholesterol, although the direction of the effect is positive for all of them. positive for all of them.
– (b) There are probably some unpublished small studies (b) There are probably some unpublished small studies with negative results, although the bigger studies are with negative results, although the bigger studies are positive.positive.
=>=>
– Pooled results too heterogeneousPooled results too heterogeneous very cautious with the conclusions very cautious with the conclusions fixed effects not validfixed effects not valid
[email protected]@uab.es 6262
Meta-analysis estimationsMeta-analysis estimations
Significant effect for Significant effect for – Total Cholesterol (p<0.001)Total Cholesterol (p<0.001)– LDL (p<0.001) LDL (p<0.001)
““Marginally significant“Marginally significant“– Triglycerides (p=0.213 but p=0.021 for Triglycerides (p=0.213 but p=0.021 for
the fixed effect approach) the fixed effect approach) No effect:No effect:
– HDL (p=0.886 and p=0.178 for the fixed HDL (p=0.886 and p=0.178 for the fixed effect approach)effect approach)
[email protected]@uab.es 6363
-5 -4 -3 -2 -1 0 1 2 3 4 5
-0.80 ( -0.93 , -0.68 )
Study
ANDERSON 1988 BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(fixed effects)
Fibern: mean(SD)
13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)
n=522
Controln: mean(SD)
13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)
n= 648
Fiber vs Placebo effect in lipid reduction. Total CholesterolHedges unbiased g, Fixed effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
[email protected]@uab.es 6464
-5 -4 -3 -2 -1 0 1 2 3 4 5
-1.01 ( -1.31 , -0.70 )
Study
ANDERSON 1988 BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)
n=522
Controln: mean(SD)
13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)
n= 648
Fiber vs Placebo effect in lipid reduction. Total CholesterolHedges unbiased g, Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
[email protected]@uab.es 6565
-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9
-0.31 ( -0.37 , -0.24 )
Study
ANDERSON 1988 BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)
n=522
Controln: mean(SD)
13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)
n= 648
Fiber vs Placebo effect in lipid reduction. Total CholesterolDifference of means (mmol/L), Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
[email protected]@uab.es 7373
SubgroupsSubgroups SS with ES>1SS with ES>1
– Cholesterol and LDLCholesterol and LDL fiber food supplement compoundfiber food supplement compound intake duration between 4 and 8 weeksintake duration between 4 and 8 weeks daily doses >10G/ddaily doses >10G/d
Moderate SS ESModerate SS ES– >8 weeks regimens >8 weeks regimens
-0.7 cholesterol and -0.8 LDL-0.7 cholesterol and -0.8 LDL
SS with ES≈1 SS with ES≈1 – periods of study publication: no clear trendperiods of study publication: no clear trend
Adult population: replication of the main pooled Adult population: replication of the main pooled effect because only 2 studies on childhood.effect because only 2 studies on childhood.
[email protected]@uab.es 7474
Group P value
Hedges’ g estimator (random)
95% Lower Limit
95% Upper Limit
Main pooled effect 0.000 -1.007 -1.311 -0.703 Type of fiber
Fiber food supplement compound 0.000 -1.134 -1.561 -0.707 Diet or Cereals supplements 0.000 -0.869 -1.313 -0.426
Duration of fiber Intake <=4 weeks 0.310 -0.670 -1.966 0.625 >4 to <=8 weeks 0.000 -1.171 -1.539 -0.803 >8 weeks 0.024 -0.672 -1.255 -0.088
Daily dose < 5 G/d 0.939 -0.024 -0.644 0.596 >= 5 to 10 G/d 0.005 -0.908 -1.542 -0.275 >10 G/d 0.000 -1.123 -1.477 -0.769
Population Non Adults 0.303 -0.786 -2.282 0.711 Adults 0.000 -1.032 -1.350 -0.714
Year of publication 1988-1990 0.000 -1.807 -2.418 -1.196 1991-1993 0.001 -0.786 -1.234 -0.338 1994-1997 0.000 -0.971 -1.456 -0.486 >=1998 0.016 -0.370 -0.673 -0.068
CholesterolCholesterol
[email protected]@uab.es 7676
Meta-análisisMeta-análisisNormativasNormativas
Ferran Torres Ferran Torres [email protected]@uab.es
[email protected]@uab.es 7777
Guias y NormativasGuias y Normativas ICH - E9: Statistical Principles for Clinical ICH - E9: Statistical Principles for Clinical
Trials Note for Guidance on Statistical Trials Note for Guidance on Statistical Principles for Clinical Trials. Principles for Clinical Trials. CMP/ICH/363/96. September 1998CMP/ICH/363/96. September 1998
CPMP/EWP/2330/99: Validity and CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Interpretation of Pooled Analyses, and one Pivotal studyPivotal study
The Potsdam International Consultation on The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March Meta-analysis Potsdam, Germany, March 19941994
QUORUM. Statement. QUORUM. Statement. Lancet 1999; 354: 1896-1900.Lancet 1999; 354: 1896-1900.
[email protected]@uab.es 7878
Potsdam International Potsdam International CosultationCosultation
Journal of Clinical Epidemiology 1995; 48: 1-71Journal of Clinical Epidemiology 1995; 48: 1-71
Cook DJ, Sackett DL, Spitzer WO. Methodologic Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized guidelines for systematic reviews of randomized control trials in health care from the Potsdam control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;consultation meta-analysis. J Clin Epidemiol 1995;48:168-71.48:168-71.
Describen los pasos que se deben seguir en el Describen los pasos que se deben seguir en el desarrollo de un meta-análisis rigurosodesarrollo de un meta-análisis riguroso
[email protected]@uab.es 7979
[email protected]@uab.es 8080
ICH Biostatistical guidelineICH Biostatistical guideline””Individual clinical trials should always be Individual clinical trials should always be
large enough to satisfy their objectives.”large enough to satisfy their objectives.”
””The use of meta-analytic techniques to The use of meta-analytic techniques to combine these estimates is often useful, combine these estimates is often useful, because it allows a more precise estimate because it allows a more precise estimate of the size of the treatment effects.”of the size of the treatment effects.”
[email protected]@uab.es 8181
ICH Biostatistical guidelineICH Biostatistical guideline
””Under exceptional circumstancesUnder exceptional circumstances a a meta-analytic approach may be the most meta-analytic approach may be the most appropriate way to, or the only way, of appropriate way to, or the only way, of providing sufficient overall evidence of providing sufficient overall evidence of efficacy ...”efficacy ...”
[email protected]@uab.es 8282
PtC on Meta-analysesPtC on Meta-analyses
”… ”… not to encouragenot to encourage applicants to rely applicants to rely on a submission where stand alone on a submission where stand alone studies have been substituted by a studies have been substituted by a meta-analysis of trials of inadequate meta-analysis of trials of inadequate size.”size.”
[email protected]@uab.es 8383
Acceptable regulatory purposes for meta analysisAcceptable regulatory purposes for meta analysis
To improve the precision of the estimate To improve the precision of the estimate of efficacyof efficacy
To evaluate whether overall positive To evaluate whether overall positive results are also seen in pre-specified results are also seen in pre-specified subgroupssubgroups
To evaluate apparently conflicting results.To evaluate apparently conflicting results.
[email protected]@uab.es 8484
Acceptable regulatory purposes for Acceptable regulatory purposes for meta analysismeta analysis
To evaluate an additional efficacy outcome To evaluate an additional efficacy outcome that requires more power than the that requires more power than the individual trials can provide.individual trials can provide.
To evaluate safety in a subgroup, or a rare To evaluate safety in a subgroup, or a rare event in all patients.event in all patients.
[email protected]@uab.es 8585
Pre-specification: Meta-analysis Pre-specification: Meta-analysis protocolprotocol
The objective of the analyis.The objective of the analyis. Criteria for inclusion and exclusion of Criteria for inclusion and exclusion of
studies (study populations, study design, studies (study populations, study design, dosage, duration etc). dosage, duration etc).
Strategy for indentification of studies.Strategy for indentification of studies. Endpoints. The definitions set up for the Endpoints. The definitions set up for the
individual studies should be followed.individual studies should be followed.
[email protected]@uab.es 8686
Pre-specification: Meta-analysis Pre-specification: Meta-analysis protocolprotocol
Statistical methods. P-value more extreme Statistical methods. P-value more extreme than the conventional 0.05. Evaluation of than the conventional 0.05. Evaluation of hetreogeneity.hetreogeneity.
Plan for evaluation of robustness. Plan for evaluation of robustness. Demonstration of consistency in Demonstration of consistency in alternative analyses.alternative analyses.
[email protected]@uab.es 8787
Timing of the meta-analysis protocolTiming of the meta-analysis protocol
A retrospective specification should A retrospective specification should be avoided if possible.be avoided if possible.
In retrospectively specified protocols the In retrospectively specified protocols the primary specifications and definitions set primary specifications and definitions set up in the indivi-dual studies should be up in the indivi-dual studies should be followed.followed.
[email protected]@uab.es 8888
Retrospective meta-analysisRetrospective meta-analysis
May be acceptable ifMay be acceptable if some studies clearly positivesome studies clearly positive no major numerical interactionsno major numerical interactions positive trend in inconclusive studiespositive trend in inconclusive studies pooled CI well away from zero (or unity)pooled CI well away from zero (or unity) selection bias unlikelyselection bias unlikely robustness of the findingsrobustness of the findings
[email protected]@uab.es 8989
Selection of studiesSelection of studies
Obligation to submit Obligation to submit all studiesall studies relevant to relevant to the claims made.the claims made.
Selection bias normally not a problemSelection bias normally not a problem for for new chemical entities.new chemical entities.
Selection bias in drug applications not Selection bias in drug applications not specific to applications with a meta-specific to applications with a meta-analysisanalysis
[email protected]@uab.es 9090
Selection of studiesSelection of studies
Substantial Substantial risk for selection bias in risk for selection bias in applications wholly or partly relying on applications wholly or partly relying on bibliographical databibliographical data..
The strategy for indentifying relevant The strategy for indentifying relevant studies should be presented together with studies should be presented together with a thorough discussion of a potential a thorough discussion of a potential selection bias.selection bias.
[email protected]@uab.es 9191
Clinical relevance of pooled resultsClinical relevance of pooled results
Statistical significance vs clinical Statistical significance vs clinical relevance.relevance.
Emphasis on clinical judgement.Emphasis on clinical judgement.
Significant effects might be to small to Significant effects might be to small to result in a positive overall risk/benefit.result in a positive overall risk/benefit.
[email protected]@uab.es 9292
Heterogeneity and external validityHeterogeneity and external validity
Are the study populations sufficiently Are the study populations sufficiently representative of a common target population representative of a common target population (dosage, duration, severity etc)?(dosage, duration, severity etc)?
Are there any reason to suspect a clinically Are there any reason to suspect a clinically relevant interaction?relevant interaction?
Suspected interactions and major clinical Suspected interactions and major clinical differences among the individual studies differences among the individual studies should be evaluated in alternative analyses.should be evaluated in alternative analyses.
[email protected]@uab.es 9393
Pooled analyses of safety endpointsPooled analyses of safety endpoints
Less sophisticated pooling of data from Less sophisticated pooling of data from variable sources.variable sources.
Strigent meta-analysis for in depth evaluation Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses.of safety signals from less reliable analyses.
Special attention to the inclusion of studies Special attention to the inclusion of studies that are likely to dilute potential negative that are likely to dilute potential negative effect.effect.
Intra-study comparisons a minimum Intra-study comparisons a minimum requirement.requirement.
[email protected]@uab.es 9494
ICH E9 Statistical principles for Clinical ICH E9 Statistical principles for Clinical Trials, 1998Trials, 1998
””The results of the confirmatory trial(s) The results of the confirmatory trial(s) should be robust.”should be robust.”
””In some circumstances the weight of In some circumstances the weight of evidence from a single confirmatory evidence from a single confirmatory trial may be sufficient.”trial may be sufficient.”
[email protected]@uab.es 9595
What is the crucial question?What is the crucial question?
Do we have enough studies?Do we have enough studies?
oror
Do we have enough data?Do we have enough data?
[email protected]@uab.es 9696
Arguments for replicationArguments for replication
More than one study provides a broader More than one study provides a broader basis for generalisation of the results.basis for generalisation of the results.
Protection against fraudProtection against fraud
Reduced risk for some hidden systematic Reduced risk for some hidden systematic biasbias
The general demand for replication of The general demand for replication of scientific resultsscientific results
[email protected]@uab.es 9797
Fundamental requirement on the Fundamental requirement on the phase III documentationphase III documentation
Adequate and well-controlled data of good Adequate and well-controlled data of good quality quality
A sufficient number of patients, A sufficient number of patients, with a sufficient variety and disease conditions, with a sufficient variety and disease conditions, collected by a sufficent number of investigators, collected by a sufficent number of investigators, demonstrating a positive risk/benefit in the demonstrating a positive risk/benefit in the
intended population at the intended dose and intended population at the intended dose and manner of use.manner of use.
Minimum requirement: One controlled study Minimum requirement: One controlled study with sta-tistically compelling and clinically with sta-tistically compelling and clinically relevant results.relevant results.
[email protected]@uab.es 9898
Reasons to plan for more than one studyReasons to plan for more than one study
Lack of pharmacological rationaleLack of pharmacological rationale
A new pharmocological principleA new pharmocological principle
Phase I and phase II data limited or Phase I and phase II data limited or unconvincingunconvincing
A therapeutic area with a history of A therapeutic area with a history of failed studies or failures to confirm failed studies or failures to confirm seemingly convincing resultsseemingly convincing results
Any other need to address additional Any other need to address additional questions in the phase III programquestions in the phase III program
[email protected]@uab.es 9999
Crucial issues in the one pivotal study Crucial issues in the one pivotal study situationsituation
Internal and external validity.Internal and external validity.
Clinical relevance. The treatment Clinical relevance. The treatment benefit must be large enough to be benefit must be large enough to be clinically relevant.clinically relevant.
Statistical significance. Passing the Statistical significance. Passing the conventional 5% significance level is conventional 5% significance level is usually not sufficient.usually not sufficient.
[email protected]@uab.es 100100
Crucial issues in the one pivotal study situationCrucial issues in the one pivotal study situation
Data qualityData quality
Internal consistency. Similar findings in Internal consistency. Similar findings in pre-specified sub-populations and for pre-specified sub-populations and for different endpoints.different endpoints.
Center effects.Center effects.
Plausibility of the hypothesis tested.Plausibility of the hypothesis tested.
[email protected]@uab.es 101101
Scientific advice on One confirmatory studyScientific advice on One confirmatory study
Sponsors’ argument Sponsors’ argument New/extended indication, pediatric indicationNew/extended indication, pediatric indication New formulationNew formulation Effects on survivalEffects on survival Serious disease (e.g. cancer)Serious disease (e.g. cancer) Life-long disease without cureLife-long disease without cure No therapy currently availableNo therapy currently available Rare disease (orphan drug)Rare disease (orphan drug) One study in each of two indicationsOne study in each of two indications Placebo controlled dose-finding study positivePlacebo controlled dose-finding study positive
[email protected]@uab.es 102102
Conclusion on One Pivotal studyConclusion on One Pivotal study
There is no formal requirement to include There is no formal requirement to include two or more pivotal studies in the phase III two or more pivotal studies in the phase III program.program.
In most cases several studies is the most In most cases several studies is the most feasible way to provide the data needed.feasible way to provide the data needed.
In the exceptional event of a one pivotal In the exceptional event of a one pivotal study application, theis study has to be study application, theis study has to be particularly compelling.particularly compelling.