U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y … · La presente unidad didáctica pretende dar a...
Transcript of U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y … · La presente unidad didáctica pretende dar a...
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y METANÁLISIS DE ENSAYOS CLÍNICOS
1. INTRODUCCIÓN
El auge que las revisiones de la literatura científica han experimentado en los
últimos años, como una herramienta útil para hacer frente a la
sobreabundancia de información y facilitar a los profesionales de la salud la
actualización en sus conocimientos, ha motivado una creciente atención hacia
este nuevo formato de publicación científica. Cada vez resulta más habitual
encontrar artículos de revisión publicados en las revistas científicas de mayor
difusión.
En realidad, las revisiones no sólo son un tipo particular de publicación dirigida
a proporcionar una visión global acerca de un tema específico, sino que, bajo
ciertas condiciones (revisiones sistemáticas), también se trata de un método
formal de investigación (en este caso denominada investigación secundaria,
pues no se realiza directamente sobre pacientes sino sobre estudios primarios).
La realización de una revisión exige una planificación cuidadosa, pues sus
autores deberán tomar multitud de decisiones acerca de los estudios originales
y sus datos. Por ello, resulta necesario contar con un protocolo previamente
aprobado por sus autores donde se establezcan de forma suficientemente clara
y explícita todos los procedimientos y cada uno de los criterios que van a guiar
después el proceso de la revisión.
La presente unidad didáctica pretende dar a conocer los aspectos básicos de la
realización de una revisión, permitiendo a los lectores diferenciar entre una
revisión sistemática realizada de forma rigurosa de aquellas otras denominadas
‘revisiones narrativas’ basadas en la opinión, así como capacitarle (aunque a
un nivel muy básico) para llevar a cabo una revisión de algún tema de su propio
interés.
Las revisiones sistemáticas son investigaciones científicas en sí mismas, con
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 1
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
métodos prefigurados y un ensamblaje de los estudios originales, que
sintetizan los resultados de éstos.α Las características básicas que mejor
definen a una revisión sistemática se podrían resumir en las siguientes: 1) Son
síntesis y análisis de la información disponible sobre un tema con un enfoque
práctico. 2) Se basan en la mejor evidencia científica disponible. 3) Formulan
preguntas claramente definidas. 4) Utilizan métodos sistemáticos y explícitos
para identificar y seleccionar estudios, evaluar éstos críticamente, extraer los
datos de interés y analizarlos.
Consecuentemente, las revisiones sistemáticas pretenden ser: 1) Rigurosas: en
cuanto a los estudios incluidos (con criterios de calidad, etc.). 2) Informativas:
enfocadas hacia problemas reales, tratando de contestar una pregunta
claramente delimitada o específica, e idealmente analizando y presentando los
datos de la forma que mejor ayude a la toma de decisiones. 3) Exhaustivas: su
objetivo es identificar y utilizar la mayor cantidad posible de información
pertinente, sin introducir sesgos (de publicación, de selección, etc.). 4)
Explícitas: ya que todos los métodos utilizados en la revisión deben ser
descritos con suficiente detalle. 5) Reproducibles: de ser necesario, el lector
puede reproducirla al disponer de información detallada acerca de los métodos
utilizados y poder verificar los resultados.
Tradicionalmente se ha realizado un tipo de revisiones que podríamos
denominar ‘narrativas’. El inconveniente de este tipo de revisiones es que
utilizan métodos “informales”, no explícitos, y a menudo personales y
subjetivos1. Consecuentemente, los lectores de una revisión narrativa
encararán dos problemas: primero, los autores no especifican el proceso que
han seguido para buscar, reunir y evaluar la información que les ha llevado a
ofrecernos sus conclusiones; y en segundo lugar, y ante la ausencia de dicha
información, no serán capaces de repetir y verificar los resultados y las
conclusiones de la revisión1.
En contraposición, como se ha señalado anteriormente, las revisiones
sistemáticas emplean métodos explícitos y sistemáticos que limitan el sesgo,
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 2
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
proporcionando así resultados más fiables2. Otra diferencia importante es que
las revisiones sistemáticas se generan para responder en profundidad a
cuestiones clínicas generalmente muy concretas y específicas. Estas
cuestiones pueden y deben formularse con precisión (véase más adelante el
apartado “componentes clave de una pregunta”). Por otra parte, la mayor parte
de los artículos de revisión de tipo narrativo abarcan un amplio abanico de
asuntos relacionados con un tema, más que uno en profundidad y por lo tanto
pueden ser más útiles para adquirir una perspectiva amplia sobre un tema,
pero no lo son tanto para obtener respuestas concretas y mensurables ante
cuestiones clínicas específicas.
En resumen, se podría concluir que, de entre las múltiples diferencias que
existen entre las revisiones narrativas y las sistemáticas (resumidas en la tabla
I), destaca que las primeras están basadas frecuentemente en opiniones
(además de, por supuesto, en algunos datos objetivos), mientras que las
revisiones sistemáticas están basadas fundamentalmente en pruebas3.
Los metanálisis se definen como la utilización de técnicas estadísticas para
combinar los datos de los estudios que han intentado responder la misma
pregunta y presentarlos y resumirlos de manera gráfica y sintética. Aunque a
veces se utilicen indistintamente los dos términos, revisión sistemática no es
igual a metanálisis1. La primera es el proceso que nos lleva a obtener los
estudios cuyos resultados pueden combinarse –o no– matemáticamente para
poder ofrecer conclusiones. Cuando los resultados de los estudios primarios se
resumen pero no se combinan con métodos estadísticos, el resultado puede
denominarse revisión sistemática “cualitativa”. Así, el método matemático
llamado metanálisis (que daría como resultado una revisión sistemática
“cuantitativa”) es sólo una parte, aunque muy importante, de la revisión
sistemática. Dicho de otro modo, un metanálisis es la combinación estadística
de al menos dos estudios para obtener una estimación única del efecto de la
intervención en salud que estamos evaluando (pooled effect o efecto
combinado).
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 3
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
En los últimos años ha habido un aumento espectacular del número de
revisiones sistemáticas y metanálisis publicados, pero no siempre se han
explicitado de forma clara sus métodos, lo que ha conllevado resultados
confusos. Para mejorar la publicación de los metanálisis de ensayos clínicos,
se creó un grupo de trabajo multidisciplinario que elaboró la declaración
QUOROM4. Recientemente QUOROM se ha actualizado y ha pasado a
llamarse PRISMA5,6 (Preferred Reporting Items for Systematic reviews and
Meta-Analyses). En el apartado final de esta unidad se describen con más
detalle las características de la declaración PRISMA, así como su lista de
comprobación (ver tabla II) y su diagrama de flujo de estudios (ver figura 1).
PRISMA dispone también de una página web: http://www.prisma-statement.org/
En esta misma línea cabe mencionar el trabajo de la Colaboración Cochrane,
una organización internacional sin ánimo de lucro que intenta ayudar a tomar
decisiones clínicas y sanitarias bien fundamentadas preparando, manteniendo
y divulgando revisiones sistemáticas sobre los efectos de la atención sanitaria.
La Colaboración dispone del programa Review Manager (RevMan)7, diseñado
para ayudar a escribir las revisiones sistemáticas de forma estructurada y llevar
a cabo el metanálisis con facilidad, y también del Cochrane Handbook For
Systematic Reviews of Interventions8, manual metodológico para la elaboración
de las revisiones sistemáticas Cochrane. Todo ello puede descargarse de
forma gratuita en la página web de la Colaboración. (www.cochrane.org). En la
figura 2 se muestra el logotipo de la Colaboración Cochrane, que representa un
metanálisis de siete ensayos clínicos: cada línea horizontal representa el
resultado de un ensayo clínico (cuanto más estrecha es la línea, más cierto o
preciso es el resultado) mientras que el rombo representa sus resultados
combinados. La línea vertical indica la posición alrededor de la cual las líneas
horizontales se concentrarán si los dos tratamientos comparados en los
ensayos clínicos tuviesen efectos similares. Si una línea horizontal toca la línea
vertical, significa que aquel ensayo clínico concreto no halló diferencias claras
entre los tratamientos. La posición del rombo a la izquierda de la línea vertical
indica que el tratamiento estudiado es beneficioso.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 4
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
2. DISEÑO DE REVISIONES SISTEMÁTICAS DE ENSAYOS CLÍNICOS
2.1 Formulación del problema
Al igual que en cualquier proyecto de investigación, la primera y más importante
decisión a la hora de preparar una revisión sistemática es determinar el enfoque
de la misma, lo que se consigue planteando preguntas claramente delimitadas.
Dichas preguntas y los objetivos de una revisión sirven también a los lectores
para valorar inicialmente la relevancia de la misma. Así, los lectores pueden
utilizar las preguntas y los objetivos planteados para juzgar si la revisión les
puede resultar de interés y si es pertinente para las cuestiones que ellos se
plantean3.
Existen varios componentes clave que son necesarios para formular
correctamente una pregunta y que deben especificarse en la sección de
“Criterios de selección de los estudios” de la revisión. Una pregunta claramente
definida debe responder al formato PICO, es decir, especificar el tipo de
población (participantes), el tipo de intervenciones y comparaciones a valorar y
el tipo de resultados (outcomes) que son de interés para la revisión9,10. A modo
de ejemplo, una pregunta correctamente planteada sería: ¿En la población
asintomática de más de 50 años (los participantes) el cribado con colonoscopia
(la intervención) se asocia con una reducción en la mortalidad debida al cáncer
de colon (el resultado)?
Con respecto al tipo de participantes, resulta de utilidad considerar en dos fases
el tipo de personas que son objeto de interés para la revisión. En primer lugar,
hay que definir (o referenciar) los criterios diagnósticos que establecen la
presencia de la enfermedad o de la condición (la población de interés no siempre
se trata de pacientes sino que puede consistir en sujetos que presentan un factor
de riesgo o exposición en común) que pretendemos evaluar, debiéndose
establecer criterios que sean suficientemente explícitos para estas definiciones.
A menudo, las revisiones se focalizan en un estadio evolutivo (p.e., cáncer
metastásico) o nivel de gravedad específico (p.e., asma severo) de la
enfermedad, y no a la totalidad de su espectro, lo que implica la necesidad de
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 5
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
establecer unos criterios de definición que permitan seleccionar adecuadamente
sólo aquellos estudios que resulten pertinentes para la revisión. En segundo
lugar, hay que identificar la población y el ámbito de interés. Esto implica tener
que decidir si se está interesado en un grupo específico de la población, en
función de factores como la edad, el sexo, la etnia, etc., así como en un ámbito
específico dónde se aplica la intervención (pacientes ingresados, ambulatorios,
en consultas especializadas, etc.). Cualquier restricción basada en
características específicas de la población o del ámbito de estudio debe estar
justificada por evidencia ya reconocida. Por ejemplo, enfocar una revisión sobre
la efectividad del cribado (screening) de cáncer de colon mediante colonoscopia
dirigida únicamente a individuos mayores de 50 años de edad parece estar
justificado por diversas razones, entre las que destaca que la incidencia de este
tipo de cáncer en individuos menores de 50 años es muy baja.
El segundo componente clave de una pregunta bien formulada consiste en
especificar las intervenciones que son de interés. Para ello, deberá describirse
su composición, niveles de dosis aceptables, vía de administración, duración,
línea de tratamiento, etc., según proceda. También es importante definir las
intervenciones frente a las que éstas serán comparadas, es decir, el tipo de
grupo control que es aceptable para la revisión. Así, debe considerarse con
detenimiento si las personas en el grupo control pueden estar recibiendo otras
intervenciones (y cuáles) distintas al placebo.
El tercer componente clave de una pregunta bien formulada es la especificación
–con criterios explícitos– de aquellos resultados concretos que sean de interés.
Los revisores deben evitar abrumar a los lectores con datos que tienen poca o
ninguna trascendencia pero, al mismo tiempo, deben tener cuidado en no omitir
datos importantes.
Un componente adicional al plantear una pregunta es el tipo de diseño de los
estudios, pues algunos resultan superiores a otros para tratar de responder a
determinadas preguntas. Muchos autores consideran que los ensayos clínicos
controlados y aleatorizados son una condición sine qua non para tratar asuntos
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 6
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
referentes a la eficacia terapéutica. Existen dos razones fundamentales por las
que se debe ser cauteloso a la hora de incluir estudios no aleatorizados en una
revisión sobre los efectos de la atención sanitaria, ambos relacionados con los
sesgos. En primer lugar, la aleatorización es el único modo de controlar aquellos
factores que podrían influir en la capacidad del paciente para responder
favorablemente al tratamiento o intervención, tanto aquellos factores pronósticos
conocidos como aquellos que no se conocen o no están cuantificados. Datos
empíricos indican que, por lo general, los estudios no aleatorizados tienden a
sobrestimar los efectos de las intervenciones sanitarias. A pesar de las
consideraciones anteriores, a veces resulta apropiado realizar una revisión
sistemática de los estudios no aleatorizados sobre los efectos de un determinado
tratamiento. Por ejemplo, en ocasiones el curso de una enfermedad es tan
uniforme o los efectos de una intervención son tan evidentes que resulta
innecesario, e incluso dudosamente ético, realizar un ensayo clínico
aleatorizado. Por último, otros aspectos relevantes acerca del diseño de los
estudios que merecen ser considerados desde el inicio son si se revisarán
únicamente aquellos estudios que tienen un seguimiento de una cierta duración
(p.e., al menos de un año) o bien que poseen ciertas características de diseño
(p.e., estudios doble ciego). No obstante, es preciso tener en cuenta que cuanto
más restrictivos sean los criterios exigidos acerca del diseño de los estudios para
responder a la pregunta planteada, menos probabilidades habrá de encontrar
datos que respondan de forma específica a preguntas tan restringidas.
2.2 Búsqueda de los estudios
Una vez que se ha planteado correctamente una pregunta, deberían
determinarse qué componentes clave se tendrán en cuenta para definir la
estrategia de búsqueda inicial11. En general, los componentes clave que resultan
de utilidad cuando se realiza una búsqueda bibliográfica en bases electrónicas
incluyen la condición o enfermedad de interés y la intervención o exposición que
se está evaluando. Aunque se pueda estar específicamente interesado en un
ámbito determinado, los estudios no suelen estar indexados según esta variable
dentro de las bases de datos electrónicas. Además, los estudios pueden evaluar
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 7
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
múltiples resultados, algunos de los cuales pueden ser relevantes para la
revisión pero es posible que no formen parte de la indexación del artículo.
Posibles fuentes de información para la localización de estudios incluyen12: 1)
Bases de datos bibliográficas computarizadas de estudios publicados en
revistas indexadas (MEDLINE, EMBASE, Excerpta Médica, Índice Médico
Español, Cochrane Library). 2) Artículos de revisión y metanálisis (a partir de
las listas de referencias). 3) Artículos originales (publicaciones preliminares o
completas) en publicaciones primarias. 4) Publicaciones secundarias:
resúmenes de artículos publicados en otras revistas como originales (Evidence
Based Medicine, ACP Journal Club, etc.). 5) Resúmenes de congresos. 6)
Tesis doctorales (registro de publicaciones de facultades). 7) Libros de texto
sobre el tema. 8) Contactos personales con expertos, sociedades científicas,
grupos de trabajo, etc. 9) Agencias financiadoras (FIS, CICYT, fundaciones,
etc.). 10) Registros de ensayos clínicos (Ministerio de Sanidad, Colaboración
Cochrane, registros monográficos, etc.). 11) Industria farmacéutica. 12)
Búsquedas manuales a partir de las citas bibliográficas de los artículos
originales.
2.3 Desarrollo de una estrategia de búsqueda
En el protocolo de una revisión (documento previo a la revisión en el que se
detallan de forma explícita los criterios y los métodos que van a guiar el
proceso de la revisión) debe describirse el proceso mediante el que se
identifican los estudios para su posterior inclusión en una revisión, es decir,
debe explicitarse la estrategia de búsqueda.
Aunque es importante que la búsqueda sea lo más completa posible, siempre
es necesario mantener un equilibrio entre el nivel de sensibilidad y
especificidad. Aumentar la sensibilidad en una búsqueda implica reducir su
precisión e identificar más artículos no relevantes. A menudo, los
documentalistas que se han especializado en búsquedas electrónicas pueden
ser de gran ayuda en el desarrollo y ejecución de las mismas. El desarrollo de
una estrategia de búsqueda es un proceso iterativo en el cual los términos que
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 8
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
se utilizan son modificados según los resultados que se vayan obteniendo. Por
lo tanto, es importante trabajar estrechamente con un documentalista en el
momento de decidir en qué bases de datos buscar y qué estrategias de
búsqueda utilizar en cada una de ellas. Idealmente, los revisores deben estar
junto al documentalista cuando se ejecute la estrategia de búsqueda.
Un buen abordaje para desarrollar una estrategia de búsqueda exhaustiva es
empezar utilizando términos múltiples que describan la condición o enfermedad
de interés y combinarlos con el operador booleano “OR”. Esto significa que se
identificarán los artículos indexados que incluyan por lo menos uno de los
términos utilizados. Los resultados pueden reducirse utilizando posteriormente
el operador “AND”. En este paso, se identifican los artículos que utilizan los
términos que describen las intervenciones que se están evaluando (agrupados
con el operador “OR”) si también abordan la condición de estudio (es decir, si
cumplen la intervención “Y” la condición). Por ejemplo, una estrategia de
búsqueda para evaluar la posible relación entre la infección por el virus C de la
hepatitis y el linfoma no Hodgkiniano sería: (“Hepatitis C” OR “Hepatitis C virus”
OR HCV) AND (Lymphoma OR “Non-Hodgkin lymphoma” OR
“lymphoproliferative disease” OR “lymphoproliferative disorder”).
La estrategia de búsqueda debe describirse con suficiente detalle en la revisión
como para que el proceso pueda reproducirse. La documentación debe incluir
las principales fuentes de información utilizadas para identificar los estudios, la
estrategia de búsqueda para cada base de datos consultada y la fecha en la
que se realizó dicha búsqueda, las limitaciones temporales (por ejemplo, de
1966 a 2008) y las limitaciones de idioma o de otro tipo (aunque éstas deben
evitarse en la medida de lo posible).
2.4 Selección de estudios
Todas las referencias de estudios identificados como potencialmente elegibles
deben ser evaluadas posteriormente para confirmar si cumplen los criterios de
inclusión para la revisión. Todo este proceso debe representarse en un
diagrama de flujo de ensayos clínicos (ver figura 1). Los revisores deben
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 9
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
decidir: a) Cuándo se necesitará que más de un revisor evalúe la relevancia de
cada artículo (actitud, en general, recomendable). b) Si las decisiones en
cuanto a la selección serán tomadas por especialistas en el tema, por no
especialistas, o por ambos (los especialistas en un área específica con
frecuencia tienen opiniones formadas previamente que pueden sesgar sus
evaluaciones, tanto sobre la relevancia como sobre la validez de los artículos;
por lo tanto, aunque es importante que al menos un revisor sea versado en el
tema objeto de revisión, quizá sea una ventaja disponer de un segundo revisor
que no sea un experto en esa área). c) Cómo se resolverán las discrepancias si
existe más de un revisor (generalmente mediante discusión, pues la causa del
desacuerdo es a menudo un simple descuido por parte de uno de los revisores;
cuando la discrepancia se deba a una diferencia de interpretación más
profunda el tema debe ser resuelto por consenso).
2.5 Evaluación de la calidad de los estudios incluidos
La evaluación de la calidad de los estudios individuales que se incluyen en las
revisiones sistemáticas es necesaria para limitar los sesgos y guiar la
interpretación de resultados. Incluso si la revisión incluye sólo ensayos clínicos
aleatorizados, es importante conocer si éstos fueron de buena calidad. Los
factores metodológicos que justifican una evaluación detallada de la calidad
son aquellos relacionados con la validez de los estudios individuales y ciertas
características del diseño que afectan a la interpretación de los resultados. La
interpretación de los resultados depende de la validez de los estudios incluidos
y de otras características. Por ejemplo, una revisión quizá resuma 20 ensayos
clínicos válidos que evalúan los efectos del tratamiento erradicador de H. pylori
sobre los síntomas de la dispepsia funcional; sin embargo, los ensayos clínicos
quizá examinen diferentes tipos de pacientes (con dispepsia de tipo ulceroso o,
por el contrario, de tipo dismotilidad) y es posible que tengan períodos de
seguimiento variables (desde unos pocos meses hasta más de un año). Estos
aspectos afectarían a la interpretación aunque quizá no estén relacionados
directamente con la validez interna de los ensayos.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 10
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
2.6 Validez. Sesgos en los ensayos clínicos
Antes de fijarnos en las conclusiones de una revisión sistemática debemos
valorar si nos las vamos a creer1. Cuanta mayor sea la validez de los estudios
que sustentan dicha revisión, más nos fiaremos de las conclusiones. En el
contexto de una revisión sistemática, la validez de un estudio se refiere a la
capacidad de evitar los errores sistemáticos o sesgos mediante el correcto
diseño y realización del estudio. En una revisión sistemática, las diferencias
observadas en la validez de los estudios incluidos podrían ayudarnos a explicar
la variabilidad de sus resultados. De este modo, los estudios más rigurosos
tienen mayor probabilidad de dar resultados más próximos a la “verdad”,
mientras que los estudios menos rigurosos suelen estar sesgados hacia la
sobreestimación de la eficacia de la intervención.
En resumen, el término sesgo hace referencia a los problemas de validez
interna de una investigación, esto es, se plantea si los resultados obtenidos son
ciertos en la población de referencia a la que se pretende generalizar los
resultados13. Por ejemplo, si es cierta la menor incidencia de hemorragia
digestiva por varices esofágicas en los pacientes cirróticos que reciben
profilaxis con beta-bloqueantes. Por el contrario, la validez externa de una
investigación se plantea a la hora de generalizar los resultados obtenidos, es
decir, si los datos encontrados en una población son aplicables a otra. En los
estudios sobre los efectos de la atención sanitaria pueden existir cuatro tipos
de sesgos o errores sistemáticos: de selección, de realización (performance
bias), de desgaste o pérdida (attrition bias) y de detección.
Sesgo de selección. Uno de los factores más importantes que puede sesgar y
distorsionar las comparaciones entre tratamientos está relacionado con el
proceso de obtención de los grupos a comparar. Así, en el diseño de ensayos
clínicos es muy importante utilizar un método apropiado para prevenir que se
conozca de antemano la asignación de los tratamientos14. Mientras se evalúa la
elegibilidad potencial de un participante en un ensayo clínico, las personas que
reclutan a los participantes deben desconocer el tratamiento que corresponde a
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 11
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
la próxima asignación. Lo ideal es que el proceso de asignación no pueda ser
influido por las personas que lo llevan a cabo, para lo que debería instaurarse
un programa de asignación aleatoria implantado por alguien no implicado en el
reclutamiento (por ejemplo, alguien ubicado en una oficina central del ensayo).
Si no puede organizarse tal aleatorización central, entonces es necesario tomar
otras precauciones para evitar la manipulación del proceso de asignación por
las personas que participan en el reclutamiento. El proceso de ocultar la
asignación hasta que se asigna el tratamiento se denomina “ocultación de la
asignación” o allocation concealment (que no debe confundirse con el término
“cegar”, que se reserva para las medidas tomadas para reducir el sesgo una
vez que la intervención ya ha sido asignada).
Sesgo de realización. Hace referencia a las diferencias sistemáticas en la
atención sanitaria proporcionada a los participantes en los grupos de
comparación, aparte, claro está, de la intervención bajo estudio. Para proteger
contra las diferencias en la atención y contra el efecto placebo, puede
“cegarse” a aquellos que dan y reciben el tratamiento para que no conozcan el
grupo al que están asignados quienes lo reciben.
Sesgo de desgaste o pérdida. Se refiere a las diferencias sistemáticas entre los
grupos de comparación en cuanto a la pérdida de participantes durante el
estudio. A menudo, estas pérdidas no son debidas al azar, sino que están
relacionadas más o menos directamente con los tratamientos aplicados. En
este caso, cuando el número de pérdidas es desigual en las diversas ramas del
ensayo clínico, deberemos ser muy precavidos a la hora de interpretar los
resultados. La manera de tratar las pérdidas en el análisis de los resultados
puede sesgar los resultados (especialmente cuando éstas se omiten o ignoran
en el análisis) y la información incompleta sobre cómo se tratan las pérdidas
puede ocultar este problema.
Sesgo de detección. El sesgo de detección se refiere a las diferencias
sistemáticas entre los grupos de comparación en la evaluación de resultados.
Los ensayos clínicos que ciegan la asignación de las intervenciones a quienes
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 12
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
evalúan los resultados son, lógicamente, menos propensos a estar sesgados
que los ensayos clínicos que no lo hacen. El cegamiento es particularmente
importante en aquellas investigaciones que utilizan medidas subjetivas de
resultado, como el dolor.
2.7 Evaluación del riesgo de sesgo de los estudios
Si se han utilizado, como es aconsejable, varios criterios explícitos para valorar
la validez interna, es aconsejable resumirlos para obtener una evaluación
global de la robustez de los resultados de cada estudio15,16. Se han identificado
al menos 25 escalas y 9 listas de comprobación que han sido utilizadas para
evaluar la validez y la “calidad” de los ensayos clínicos controlados y
aleatorizados, pero ninguna de ellas puede recomendarse sin reservas13,17.
La Colaboración Cochrane ha creado una herramienta para evaluar la calidad
metodológica de los estudios incluidos en una revisión: la tabla de ‘Riesgo de
sesgo’8. En esta tabla se evalúan varios dominios:
1. Generación de la secuencia de aleatorización.
2. Encubrimiento de la asignación aleatoria.
3. Cegamiento de los participantes, el personal responsable del estudio y la
evaluación de los resultados.
4. Datos incompletos de los resultados de interés (desgaste y exclusiones).
5. Descripción selectiva de los resultados de interés.
6. Otros (específicos del tema o del diseño de los estudios de la revisión).
Para evaluar estos dominios, tenemos que tener en cuenta tres
consideraciones clave:
1. La descripción literal de cómo la publicación refleja el dominio que estamos
evaluando.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 13
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
2. La valoración de los autores de la revisión del dominio (sí, no o poco claro
según la improbabilidad de que el dominio esté expuesto a fuentes de sesgo).
Es decir, valoramos con un sí cuando consideramos que hay un riesgo bajo de
sesgo, no si el riesgo es alto y poco claro si es confuso.
3. El cegamiento y los datos incompletos de los resultados de interés pueden
evaluarse por separado para diferentes variables de resultado.
Los dominios de ‘generación de la secuencia de aleatorización’, ‘encubrimiento
de la asignación aleatoria’ y ‘descripción selectiva de los resultados de interés’
deberían valorarse con una única entrada para cada uno de los estudios. Para
los dominios ‘cegamiento’ y ‘datos incompletos de los resultados de interés’, se
pueden utilizar una o más entradas porque se deben hacer valoraciones
separadas para las distintas variables de resultado, aunque se aconseja
agruparlas, como por ejemplo en variables de resultado ‘subjetivas’ u ‘objetivas’
para la evaluación del cegamiento, etc.
Finalmente, el dominio final (‘otras fuentes de sesgo’) puede valorarse
individualmente para cada estudio o de forma global, aunque se recomienda el
uso de entradas múltiples, pre-especificadas para valorar este dominio y que
pueden ser para los estudios globalmente o para las variables de resultado
(agrupadas) de cada estudio. En cualquier caso, añadir nuevas entradas
implica especificar una pregunta que debería responderse con un ‘sí’ para
especificar un riesgo bajo de sesgo.
2.8 Extracción de datos
El formulario de recogida de datos es un puente entre lo que han informado los
investigadores de los estudios primarios en las publicaciones correspondientes
y lo que, en último término, informa el autor de la revisión. La primera
información que debería recoger un formulario de extracción de datos son los
criterios de inclusión de los estudios para la revisión (habitualmente en forma
de check-list). Aunque la búsqueda y el proceso de selección deberían haber
descartado la mayoría de estudios no elegibles, es conveniente comprobar la
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 14
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
elegibilidad de éstos en el momento del resumen o de la recogida de datos.
Así, las revisiones Cochrane incluyen una tabla de estudios excluidos para
aquellos que inicialmente parecían reunir los criterios de inclusión pero que,
tras un examen más minucioso, fueron finalmente excluidos.
Otro de los apartados esenciales lo constituye la información acerca de los
métodos de los estudios incluidos. Algunas de las características de la
metodología de los estudios que pueden ser relevantes incluyen la duración del
estudio, el tipo de ensayo (diseños paralelos, cruzados), el cegamiento (de
pacientes, proveedores y evaluadores de resultados), el número de pérdidas y
de cambios de tratamiento, las cointervenciones y otros factores potenciales de
confusión. Además, el apartado de métodos del formulario de recogida de
datos debe incluir los criterios de evaluación de la calidad utilizados (véase el
apartado previo).
Los criterios diagnósticos utilizados para definir el problema de salud de interés
pueden ser una fuente importante de variabilidad clínica y deberían describirse
con detalle. Por ejemplo, en una revisión sobre terapia farmacológica con
infliximab en la enfermedad de Crohn es importante conocer cómo se
estableció en cada estudio el fenotipo (inflamatorio o fistulizante) y cómo se
definió la refractariedad al tratamiento convencional (corticoresistencia o
corticodependencia).
Cómo medir el resultado de los estudios puede ser una de las secciones más
difíciles de diseñar del formulario de extracción de datos. Los informes de los
estudios suelen incluir más de una medida de resultado (mortalidad, morbilidad,
calidad de vida, etc.); además, pueden presentar la misma medida de resultado
usando diferentes escalas de cuantificación, pueden incluir medidas de
resultado para diferentes subgrupos de pacientes o pueden señalar medidas de
resultado en diferentes momentos del tiempo. Por ejemplo, la valoración del
efecto del tratamiento erradicador de H. pylori sobre la dispepsia funcional es
un tema intensamente controvertido. En parte, ello se debe a la falta de
acuerdo entre los diversos estudios realizados sobre cómo se deben cuantificar
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 15
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
los síntomas dispépticos y por lo tanto su mejoría: los síntomas podrían
considerarse como una variable cuantitativa y el beneficio como un descenso
determinado en el valor medio de todos los pacientes tras el tratamiento; o
también podría compararse el porcentaje de pacientes con síntomas
dispépticos de una determinada gravedad antes y después del tratamiento; por
último, otra alternativa más simplista consiste en definir como éxito terapéutico
sencillamente la ausencia de síntomas dispépticos al final del estudio. Por otra
parte, el momento preciso en que se evalúan los síntomas tras haber
administrado tratamiento erradicador de H. pylori puede ser también relevante,
pues algún estudio ha sugerido que existe una cierta latencia desde que
desaparece la infección hasta que se comprueba la mejoría sintomática (en
caso de que esto realmente ocurra).
En resumen, el formulario de extracción de datos debería contener toda la
información relevante de los estudios originales (aspectos clínicos,
metodológicos y los datos numéricos de los resultados), registrada de forma
apropiada, de tal modo que facilite llevar a cabo la revisión sin necesidad de
volver de nuevo, una y otra vez, a los estudios originales.
2.9 Análisis y presentación de los resultados
Mientras que en los estudios primarios, los investigadores seleccionan y
recogen datos de los pacientes individuales, en las revisiones sistemáticas los
investigadores seleccionan y recogen datos de los estudios primarios, a partir
de los cuales realizan los análisis. Estos pueden ser narrativos, con un
resumen estructurado y la discusión de las características de los estudios y de
sus resultados, o bien cuantitativos, con la realización de un metanálisis.
La diferencia observada en las variables de resultado entre los dos (o más)
grupos de estudio que han sido tratados de forma distinta es lo que se conoce
como el ‘efecto del tratamiento o de la intervención’. Tanto si el análisis de los
resultados de los estudios es narrativo como si es cuantitativo, se pueden
considerar cuatro preguntas para facilitar la síntesis de los resultados:
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 16
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
1. ¿Cuál es la dirección del efecto? (el tratamiento o la intervención puede
aumentar, reducir o bien no modificar la frecuencia de un resultado).
2. ¿Cuál es el tamaño del efecto? (la frecuencia de un resultado puede
modificarse – aumentar o reducir- en diversos grados, lo que determinará la
importancia clínica de este efecto).
3. ¿Es consistente el efecto en los diferentes estudios? (cuando la dirección y
el tamaño del efecto observado en los diversos estudios es consistente,
aumenta la robustez del resultado).
4. ¿Cuál es la fuerza de la evidencia para este efecto? El metanálisis
proporciona un método estadístico para contestar las preguntas 1 a 3. La
valoración de la pregunta 4 se basa en juicios basados en la valoración del
diseño del estudio y el riesgo de sesgo, así como en medidas estadísticas de
incertidumbre. (Ver apartado “Metanálisis de ensayos clínicos” para más
detalles acerca de la realización del metanálisis).
Las síntesis narrativas utilizan métodos cualitativos para contestar a las
preguntas 1 a 4, en revisiones en las que no puede utilizarse el metanálisis. En
este caso, el método utilizado en cada apartado debe especificarse
previamente, justificado y seguido de forma sistemática. Puede introducirse
sesgo si los resultados de un estudio se enfatizan de forma inapropiada en
comparación con los otros estudios.
2.10 Interpretación de los resultados
Existen algunos temas que deben ser objeto de discusión en una revisión
sistemática y que pueden ser de ayuda en la toma de decisiones, como la
solidez de la evidencia, la aplicabilidad de los resultados o el balance entre los
beneficios esperados y los posibles daños y costes de la intervención de
interés. Con respecto a la solidez de la evidencia, un buen punto de partida o
de final para la sección de discusión de una revisión es abordar cualquier
limitación metodológica importante de los estudios incluidos y de los métodos
usados en la revisión que pueda afectar a las decisiones prácticas a tomar.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 17
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
En relación a la aplicabilidad, una de las ventajas de una revisión de conjunto
es que, dado que incluye numerosos estudios, los resultados proceden de una
variedad muy diversa de pacientes3. Si los resultados son consistentes a través
de los estudios, se aplicarán por tanto a esta amplia variedad de pacientes.
Incluso así, se puede seguir teniendo dudas sobre la aplicabilidad de los
resultados. Por ejemplo, una revisión sobre la estrategia test-and-treat en la
dispepsia, basada en el diagnóstico y el consiguiente tratamiento de la
infección por H. pylori sin necesidad de practicar una gastroscopia, se basa en
una serie de estudios que evalúan dicha estrategia en pacientes dispépticos
jóvenes (por ej. menores de 50 años), pues en este grupo de edad la incidencia
de cáncer gástrico es mínima; sin embargo, el lector puede que proceda o
resida en una zona de alta incidencia de adenocarcinoma gástrico como Japón
o Latinoamérica, donde probablemente no sea aplicable este punto de corte
para la edad y sea prudente reducirlo. Por tanto, los usuarios de cualquier
revisión sistemática deben decidir si la evidencia que encuentran en ella es o
no aplicable a sus circunstancias específicas. Para hacerlo, deben decidir si los
participantes y los entornos en los estudios incluidos son razonablemente
similares a su propia situación. En general, en lugar de aplicar rígidamente los
criterios de inclusión y de exclusión de los estudios a situaciones específicas,
es mejor preguntarse si hay razones evidentes por las cuales los ensayos no
deben aplicarse en ciertas circunstancias.
Un tercer aspecto es el de si los beneficios compensan los riesgos de la
intervención. Por ejemplo, en una revisión sistemática y metanálisis llevada a
cabo por la Colaboración Cochrane sobre el efecto del tratamiento erradicador
de H. pylori en la dispepsia funcional, se concluye que la erradicación del
microorganismo tiene un pequeño pero estadísticamente significativo efecto
beneficioso; los autores plantean un modelo económico que sugiere finalmente
que este modesto beneficio es, probablemente, coste-efectivo.
Finalmente, un error común que se comete cuando la evidencia disponible no
es concluyente, tanto al describir resultados como al sacar conclusiones, es
confundir “la ausencia de evidencia de efecto” con “la evidencia de que no hay
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 18
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
ningún efecto”. Dicho de otro modo, no es lo mismo decir que un estudio “no ha
demostrado diferencias estadísticamente significativas” entre dos tratamientos,
que afirmar que realmente “no existen diferencias” y que ambos tratamientos
son equivalentes. Los autores y los lectores deben ser cuidadosos de no caer
en esta trampa, que afecta típicamente a los estudios (y también a los
metanálisis) que incluyen un reducido número de pacientes, lo que se traduce
en una escasa potencia estadística.
Una segunda equivocación común consiste en sacar conclusiones que van
más allá de la evidencia que se analiza. Por ejemplo, si un metanálisis ha
demostrado que un determinado tratamiento es más eficaz que el placebo para
controlar la hemorragia digestiva por varices en los pacientes con cirrosis
hepática, esto no implica que dicho tratamiento se siga necesariamente de una
disminución de la mortalidad, ya que es posible que ésta dependa, como
realmente ocurre, de otros factores que no se ven modificados por el
tratamiento en cuestión. Por último, incluso afirmaciones generales del tipo “se
necesitan más estudios...”, tan empleadas en las últimas líneas de muchos
manuscritos, deberían evitarse. En todo caso, los revisores deben especificar
exactamente qué investigación se necesita y su justificación precisa.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 19
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
3. METANÁLISIS DE ENSAYOS CLÍNICOS
La razón fundamental para realizar las revisiones de forma sistemática es
asegurar la validez de los resultados, pero el papel del análisis estadístico en
las revisiones puede estar menos claro. A veces, el uso de la estadística
(metanálisis) puede parecer, y quizá lo sea, más un obstáculo que una ayuda
para los que no están familiarizados con estas técnicas. Existe también el
riesgo de prestar demasiada atención al rombo-diamante situado al final del
gráfico que resume los resultados de estudios individuales en un metanálisis
(figura 2). En ocasiones, los revisores y los lectores, con las prisas de llegar al
rombo-diamante, descuidan la importancia de la reflexión y de las
consideraciones hechas en los pasos anteriores al análisis o en el análisis
mismo.
3.1 Justificación para realizar un metanálisis en una revisión sistemática
Para preparar una revisión sistemática se deben obtener datos de los estudios
individuales y, posteriormente, se pueden usar métodos estadísticos para
analizar y resumir estos datos en un único dato de síntesis o medida
combinada del efecto. Si se usan apropiadamente, dichos métodos
proporcionan una herramienta potente para llegar a unas conclusiones que
tengan sentido y ayudan a evitar errores de interpretación. Cuando en una
revisión no se usan métodos estadísticos es fácil cometer el error de comparar
el número de estudios positivos con el número de estudios negativos. Esta
especie de “recuento de votos”, en el que se confiere el mismo valor a los
estudios de pequeño y gran tamaño, es poco fiable y debe evitarse, porque un
estudio puede considerarse positivo o negativo dependiendo de cómo
interpreten los resultados los revisores y además porque no tiene en cuenta el
peso relativo de la evidencia fiable proporcionada por cada estudio3. Al “contar
los votos” también se tiende a pasar por alto los efectos pequeños pero
clínicamente relevantes, en particular al considerar como negativos los estudios
con resultados que no son estadísticamente significativos (debido
probablemente a un error beta consecuencia de la escasa potencia
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 20
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
estadística). Además, un investigador puede interpretar un estudio como
positivo mientras que otro considera el mismo como negativo; por ejemplo, un
efecto importante que no sea estadísticamente significativo podría ser
interpretado como positivo a la luz de la importancia clínica y negativo desde la
perspectiva de la significación estadística3. Sin embargo, los metanálisis
valoran los estudios de acuerdo, entre otras cosas, con su tamaño,
concediendo a los más grandes un mayor peso; por este motivo, los resultados
globales representan un promedio ponderado de los resultados de los estudios
individuales3. Por supuesto, el uso de métodos estadísticos –metanálisis– no
garantiza que los resultados de una revisión sean válidos, como ocurre también
en un estudio primario. Así, como cualquier herramienta, matemática o no, los
métodos estadísticos pueden utilizarse de modo inapropiado.
3.2 Objetivos de los metanálisis
Entre los propósitos generales comunes a cualquier metanálisis se
encuentran12:
1. Resumir los resultados de la literatura recogida y hacer de ella una
valoración cualitativa y cuantitativa.
2. Resolver la incertidumbre (por ej., si un determinado fármaco tiene efecto
beneficioso o no).
3. Mejorar la precisión del estimador del efecto testado (esto es, aumentar el
poder estadístico).
4. Comparar y contrastar los resultados divergentes de los estudios
individuales (resolver discrepancias).
5. Responder preguntas nuevas que los estudios originales no habían
planteado o no tenían suficiente poder estadístico para responderlas
(análisis de subgrupos).
6. Orientar futuros trabajos de investigación (generar hipótesis).
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 21
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
3.3 Indicaciones para la realización de un metanálisis
Existen, además, ciertas situaciones concretas en las que estaría
específicamente indicado realizar un metanálisis:
1. Cuando hay que tomar decisiones (terapéuticas por ejemplo) y no se
dispone de tiempo suficiente para realizar nuevos estudios. La revisión
sistemática es una técnica científica eficiente, pues, aunque es laboriosa y
ocupa mucho tiempo, este procedimiento es generalmente más rápido y
menos costoso que embarcarse en un nuevo estudio18.
2. Cuando existen muchos estudios no concluyentes sobre los efectos de un
tratamiento; bien porque el efecto esperable es pequeño –aunque relevante
desde el punto de vista clínico– o bien porque el estudio que se tendría que
realizar para obtener una respuesta definitiva es irrealizable. Así, los
metanálisis aumentan el poder estadístico de los estudios originales, lo que
es especialmente ventajoso en condiciones de baja prevalencia o cuando
se evalúan efectos de pequeña magnitud18. Un bonito ejemplo es el
representado por el logotipo de la Colaboración Cochrane (ver figura 2),
que ilustra la capacidad de los corticoides para reducir la mortalidad
perinatal en los recién nacidos de mujeres con riesgo de parto prematuro,
mediante un metanálisis que incluye 7 ensayos clínicos aleatorizados: el
efecto beneficioso es estadísticamente significativo, a pesar de que sólo
dos de los estudios mostraban un claro efecto a favor de los corticoides18.
3. Cuando los resultados entre estudios son divergentes o incluso
contradictorios. En estos casos el metanálisis puede contribuir a explicar el
porqué de las discrepancias entre estudios.
4. Cuando se desea establecer con cierta precisión la magnitud del efecto de
una intervención sanitaria.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 22
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
3.4 Características del metanálisis
¿Qué es el metanálisis? Tal como lo hemos definido anteriormente, es el
análisis estadístico de una serie de estudios individuales, con el objeto de
integrar los resultados en una medida resumen.
La idea clave es que el propósito del metanálisis es combinar resultados
numéricos; en otras palabras, a partir de los estimadores de efecto de los
distintos estudios (ya sean odds ratios, riesgos relativos o diferencias de
medias) se calcula un estimador de efecto global.
El metanálisis es conceptualmente muy sencillo: el estimador de efecto global
se calcula como una media ponderada de los estimadores de efecto de los
estudios. Por ejemplo, las diferencias de riesgo de los estudios individuales se
ponderan y se calcula la media de todas ellas; el resultado es la diferencia de
riesgo combinada que tomamos como resultado del metanálisis y que se
presenta de forma gráfica, acompañada de su intervalo de confianza (ver figura
2).
En el momento de combinar los resultados de diferentes estudios, cada estudio
tiene un peso específico en el conjunto del metanálisis dependiendo de su
tamaño. Este peso refleja la cantidad de información que el estudio contiene y
aporta al metanálisis (básicamente el número de eventos observado). Así, a los
estudios con mayor información se les asigna un mayor peso y, por tanto, sus
resultados influyen más en el cálculo del estimador global del efecto en
comparación con otros estudios más pequeños y/o con menor número de
eventos. Existen diversos métodos para asignar pesos a los estudios
individuales, todos ellos basados en el mismo fundamento, siendo el más
conocido el método del inverso de la varianza (siendo la varianza inversamente
proporcional al tamaño del estudio). Por esta razón, la estimación global del
efecto no es simplemente una media aritmética de todos los resultados sino
una media ponderada de los mismos.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 23
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
3.5 Tipos de variables y medidas de efecto
El primer paso y el más importante en la planificación del análisis consiste en
especificar qué comparaciones se harán. Estas deben relacionarse clara y
directamente con las preguntas que se plantean cuando se formula el objetivo
de la revisión. Las comparaciones principales deben especificarse en el
protocolo de la revisión. Una vez se han especificado las comparaciones, el
próximo paso consiste en preparar resúmenes de los datos en forma de tablas.
En el caso de variables dicotómicas (resultados que están presentes o
ausentes, como la mortalidad), los datos que deben resumirse son el número
de personas que experimentaron el suceso o resultado en cada grupo de
comparación, y el número total de personas asignadas aleatoriamente a cada
grupo. En el caso de variables continuas (como la tensión arterial), los datos
que deben resumirse son el número de personas en cada grupo y la media y la
desviación estándar de la medida de resultado en cada grupo.
Por lo que respecta a las medidas de efecto (expresión numérica del efecto de
la intervención) que utilizaremos, dependerá del tipo de variables que
tengamos. En el caso de variables dicotómicas, las medidas de efecto que se
utilizan son: el riesgo relativo (RR), el odds ratio (OR) y la diferencia de riesgos
(DR). En el caso de variables continuas, se utilizan la diferencia de medias
(DM) y la diferencia de medias estandarizada (DME).
A continuación se repasan brevemente cada una de estas medidas de efecto.
En el caso de variables dicotómicas se calculan a partir de una tabla 2x2, como
la que se muestra en la tabla IIIa.
Tal como se muestra en el ejemplo de la tabla IIIb, el riesgo relativo compara la
probabilidad de presentar la variable de resultado de interés en el grupo de
intervención con la probabilidad en el grupo control y la fórmula para calcularlo
es RRi = (ai / n1i) / (bi /n2i).
El odds ratio es una medida de asociación estadística que compara las
oportunidades (¡ojo, aquí no se trata de probabilidades!) de presentar la
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 24
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
variable de resultado que tienen los pacientes del grupo intervención respecto a
los del grupo control y se calcula como ORi = aidi /bici. La tabla IIIc muestra un
ejemplo de Odds Ratio.
La diferencia de riesgos (DR) es la medida de efecto más intuitiva pero la
menos utilizada. Consiste en la diferencia entre la probabilidad de presentar la
variable de resultado en el grupo de intervención y la probabilidad en el grupo
control. Se calcula como RDi = (ai /n1i) – (bi /n2i), y se muestra un ejemplo en la
tabla IIId.
Las primeras dos medidas de efecto (riesgo relativo y odds ratio) son medidas
relativas que informan, en términos relativos, acerca de la magnitud del efecto
esperable con el tratamiento (por ejemplo, informan que el riesgo se reduce a
la mitad, o a un tercio). La última medida (diferencia de riesgos) informa en
términos absolutos del impacto real del tratamiento (por ejemplo, con el
tratamiento los eventos se reducen en un 20% pasando de una tasa del 80%
sin tratamiento al 60% con tratamiento).
En el caso de variables continuas, podemos medir el efecto de una intervención
comparando las medias del resultado en uno y otro grupo de pacientes,
mediante su diferencia: la diferencia de medias (DM).
Otra medida de efecto utilizada en variables continuas es la diferencia de
medias estandarizada (DME) y consiste en calcular la diferencia de medias y
dividirla por la estimación conjunta de la desviación estándar (asumiendo que
es idéntica en ambos grupos). Esta se calcula fácilmente a partir de las
desviaciones estándares en cada grupo de intervención. Esta medida es
necesaria cuando los estudios han utilizado diferentes escalas de medida para
un mismo resultado.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 25
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
3.6 Homogeneidad de efectos
En la elaboración de una revisión sistemática, desde el principio se intenta
garantizar la homogeneidad clínica estableciendo unos criterios de inclusión
bien delimitados, que definen una población de estudios suficientemente
parecida en cuanto a diseño del estudio, participantes incluidos, intervenciones
aplicadas, etc. No se trata de que los estudios sean iguales (¡lo que sería del
todo imposible e incluso innecesario!) sino razonablemente semejantes como
para que tenga algún sentido analizarlos conjuntamente. A pesar de este filtro
cualitativo que aplicamos a los estudios al inicio de la revisión cuando
decidimos su inclusión, puede ser que los resultados de los mismos no sean
parecidos, pudiendo existir heterogeneidad de efectos estadísticamente
significativa - término opuesto a homogeneidad de efectos. La heterogeneidad
de efectos estadísticamente significativa implica que la variabilidad entre los
efectos (las diferencias entre intervención y control observadas en los distintos
estudios) es mayor de lo que podría esperarse por azar.
Para detectar este tipo de heterogeneidad, ya sea en medidas de resultado
continuas o dicotómicas, podemos aplicar una de las pruebas de significación
desarrolladas para este fin, como es la prueba de Cochran basada en la chi-
quadrado. Esta prueba compara las medidas de efecto individuales de los
estudios con el resultado global del metanálisis. Cuando la prueba es
significativa, indica que los resultados son muy diferentes o inconsistentes, es
decir, hay mucha dispersión en los resultados de los estudios, y por tanto un
grado elevado de heterogeneidad. Dado que normalmente el número de
estudios incluidos en un metanálisis es bajo, esta prueba tiene poca potencia y
por ello se recomienda fijar un valor p de 0,1 como umbral de significación. Es
decir, si en nuestra revisión la prueba de heterogeneidad nos da un valor de
p=0,08, diremos que existe heterogeneidad significativa (al nivel de
significación α=0,10).
Existe otro estadístico, el I2, que mide la proporción de la variación en el
estimador global del efecto que no puede ser explicada simplemente por el
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 26
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
azar. Se expresa como un porcentaje, siendo los valores más altos los
indicadores de heterogeneidad. A grandes rasgos, los valores de 25%, 50% y
75% representan valores de heterogeneidad baja, moderada o muy alta19. En la
figura 3 se presentan dos ejemplos de metanálisis con y sin heterogeneidad.
Frente a una situación con heterogeneidad significativa y preocupante, la
primera pregunta que debe hacerse el revisor es "¿tiene sentido combinar
estos resultados?". En otras palabras, el revisor debe cuestionarse, qué
interpretabilidad tiene una medida combinada de efecto si los resultados que se
combinan son extremadamente dispares y existe la sospecha fundada de que
esta heterogeneidad no es debida al azar. Si el revisor contesta negativamente
a su pregunta, deberá desestimar la realización del metanálisis y optar por
presentar los resultados individuales de los estudios, al tiempo que investiga
cuáles son las causas de la heterogeneidad y qué factores clínicos o del diseño
y realización de los estudios podrían estar implicados en ella. Esta
investigación a posteriori de las fuentes de heterogeneidad permitirá
profundizar en los aspectos médicos y metodológicos del tema de revisión,
incrementando el conocimiento sobre la patología y el tratamiento
considerados. A veces, a partir del estudio de las causas de heterogeneidad,
se podrán formular hipótesis de investigación a demostrar en futuros trabajos
clínicos o de revisión. Por estas razones, el revisor observa heterogeneidad en
sus resultados, no debe sentirse decepcionado y pensar que su esfuerzo ha
sido en vano, pues si bien es cierto que no podrá presentar un estimador de
efecto combinado que exprese la eficacia del tratamiento estudiado, también es
cierto que ve abierto ante sí una vía de estudio que probablemente le reportará
otros muchos resultados y conocimientos de interés, y permitirá tomar
decisiones bien informadas20.
El riesgo basal de la población de estudio es quizás el primer factor a tener en
cuenta en el estudio de las causas de heterogeneidad. Asi, por ejemplo,
estudios realizados en pacientes más graves o con peor pronóstico (asma
grave; cáncer metastático; pacientes pluripatológicos; pacientes de edad
avanzada…) pueden arrojar resultados distintos a otros estudios realizados en
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 27
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
pacientes con menor riesgo (asma leve; cáncer localizado; pacientes sin otras
patologías asociadas; pacientes jóvenes…). Otra posible causa de
heterogeneidad está relacionada con diferencias en el modo de administración
(dosis, duración, etc.) de la intervención en estudio. Así, por ejemplo, un
análisis más profundo de la heterogeneidad demuestra que la reducción del
riesgo de enfermedad isquémica depende fundamentalmente de la magnitud y
la duración de la reducción del colesterol sérico. Otras posibles causas serían
diferencias en los instrumentos de medida y/o criterios de interpretación, o en el
diseño del estudio (por ejemplo, diseño abierto versus doble-ciego), entre otras.
Un metanálisis que no tenga en cuenta estos factores, puede llevar a
conclusiones falsas21.
Volviendo a la pregunta sobre la conveniencia de realizar metanálisis, si el
revisor responde afirmativamente, deberá preguntarse a continuación “¿qué
modelo estadístico -efectos fijos o aleatorios- es más adecuado en esta
situación?"
3.7 Análisis de efectos fijos versus análisis de efectos aleatorios
Existen diversas técnicas para resumir los resultados de los estudios, todas
ellas con sus defensores y detractores. El resultado es que no existe un
consenso acerca de qué técnica es más adecuada en general, pues cada una
de ellas puede ser la más indicada en una situación concreta.
Los dos modelos estadísticos utilizados para realizar el metanálisis son el
modelo de efectos fijos y el modelo de efectos aleatorios. El modelo de efectos
fijos asume que existe un único valor verdadero subyacente y que todos los
estudios estiman ese único valor real. En consecuencia, este modelo asume
que las diferencias observadas entre las estimaciones del efecto son debidas
únicamente a variaciones dentro de los estudios. El modelo sólo contempla una
potencial fuente de variabilidad intra-estudio (varianza), ignorando las posibles
variaciones que existan los estudios.
El modelo de efectos aleatorios, por el contrario, asume que existe un rango
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 28
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
de posibles valores reales del efecto del tratamiento, e incorpora esta variación
entre estudios (además de la variabilidad intra-estudio) en la estimación de la
medida de efecto combinada. Los dos modelos proporcionaran resultados
prácticamente idénticos en las situaciones en que no existe heterogeneidad de
efectos, y proporcionarán resultados progresivamente distintos cuanta más
heterogeneidad exista entre los estudios analizados.
3.8 Métodos de combinación de medidas de efecto
Existen cuatro grandes métodos de combinación de medidas de efecto, que se
describen a continuación a grandes rasgos. En primer lugar, existe el método del inverso de la varianza aparecido ya en los años 3022. Este método
pondera los resultados de cada estudio por el inverso de la varianza observada
en ese estudio, es decir, por su precisión. Con este método los estudios de
mayor tamaño muestral y/o mayor número de eventos, que son los que
presentan menos variabilidad en sus resultados, tendrán más peso en el
análisis que los estudios pequeños y/o con menos eventos, cuyos resultados
son menos precisos. Este método se puede aplicar a cualquier medida de
efecto (tanto para datos continuos como para datos dicotómicos), y bajo
cualquiera de los dos modelos (efectos fijos y efectos aleatorios). La
generalización del método para el modelo de efectos aleatorios se denomina
método de DerSimonian-Laird, y consiste en ponderar los estudios
individuales por el inverso de la suma de la varianza individual (varianza intra-
estudio) y la varianza global (varianza entre-estudios)23. De esta forma, los
estudios se ponderan por su variabilidad interna pero también por la
variabilidad o heterogeneidad observada entre los resultados de los distintos
estudios. En el método de DerSimonian-Laird, correspondiente al modelo de
efectos aleatorios, los estudios de menor tamaño reciben más ponderación que
con el método del inverso de la varianza bajo el modelo de efectos fijos.
En tercer lugar, tenemos el método de Mantel-Haenzsel24. Este método es
una generalización del método de Mantel-Haenzsel para calcular odds ratios en
tablas estratificadas. Este método se aplica bajo el modelo de efectos fijos, y
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 29
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
únicamente a estimadores de efecto de variables dicotómicas (odds ratio,
riesgo relativo y diferencia de riesgos).
Finalmente, existe el método de Peto para combinar odds ratios de Peto bajo
el modelo de efectos fijos. En este método, los odds ratios individuales se
ponderan por una estimación de la varianza (basada en la distribución
hipergeométrica) de los sucesos observados en el grupo intervención. El
método fue descrito por primera vez por Peto en 197725.
En la tabla IV se resumen los métodos estadísticos de metanálisis disponibles
en el programa informático RevMan de la Colaboración Cochrane.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 30
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
4. PRISMA: ESTÁNDARES PARA LA PUBLICACIÓN DE REVISIONES SISTEMÁTICAS Y METANÁLISIS
El gran número de revisiones sistemáticas y metanálisis publicados durante los
últimos años, no siempre de alta calidad, ha llevado a la necesidad de
desarrollar normas para su correcta publicación que faciliten su interpretación y
garanticen su correcto desarrollo. Con este fin se creó QUOROM, un grupo de
trabajo multidisciplinario, formado por epidemiólogos, clínicos, estadísticos,
editores e investigadores. En 1999 este grupo publicó la declaración QUOROM
(QUality Of Reporting Of Meta-analyses)4, una lista de comprobación y un
diagrama de flujo de ensayos clínicos, con el objetivo de facilitar la publicación
de revisiones sistemáticas y metanálisis. Recientemente QUOROM se ha
actualizado y ha pasado a llamarse PRISMA (Preferred Reporting Items for
Systematic reviews and Meta-Analyses)5,6, a la vez que se han actualizado
también la lista de comprobación (tabla II) y del diagrama de flujo de estudios
(figura 1).
La lista se estructura en seis categorías que se corresponden con cada una de
las secciones que componen un artículo científico (título, resumen,
introducción, métodos, resultados y discusión) y su finalidad es alentar a los
autores a publicar toda la información necesaria para poder interpretar
correctamente los resultados de una revisión sistemática o de un metanálisis.
El título debe identificar la publicación como una revisión sistemática o
metanálisis de ensayos clínicos y el abstract debe tener un formato
estructurado. En los objetivos se describe la pregunta clínica que la revisión
quiere contestar (con formato PICO, es decir, especificando la población, las
intervenciones, las comparaciones y las variables de resultado), que se
corresponde con los criterios para la selección de los estudios.
En el apartado de métodos se debe indicar si existe un protocolo previo a la
revisión y se deben especificar los criterios de inclusión de los estudios, así
como describir con detalle las fuentes de información utilizadas (bases de
datos, registros, ficheros personales, informes de expertos, agencias,
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 31
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
búsqueda manual, etc.) y la búsqueda electrónica. También deben constar las
posibles restricciones (años considerados, estudios publicados o no, idioma) y
deben describirse los métodos para extraer los datos (de forma independiente,
por duplicado, etc.). En el apartado de métodos también deben detallarse los
métodos utilizados para valorar el riesgo de sesgo de los estudios, las medidas
de efecto utilizadas (riesgo relativo, diferencia de medias, etc.) y los métodos
de análisis planificados, así como análisis de sensibilidad o subgrupos.
En el apartado de resultados debe presentarse el diagrama de flujo de estudios
(ver figura 1), en el que se describe todo el proceso desde los resultados de la
búsqueda de estudios hasta la selección definitiva de los mismos, detallando
los estudios excluidos y las razones para ello. Algunas revisiones incluyen
solamente ensayos clínicos, mientras que otras incluyen otro tipo de diseños,
como estudios observacionales, y esto debería estar descrito. A continuación
se describen los datos de cada uno de los estudios (como la edad, el tamaño
de la muestra, la intervención, la dosis, la duración, el período de seguimiento)
y el riesgo de sesgo de los mismos. Finalmente se expone la síntesis
cuantitativa de los datos, con un informe sobre el grado de acuerdo en la
selección y la presentación de forma clara y ordenada de los resultados para
cada grupo de tratamiento en cada estudio, para cada variable de resultado
principal. Se deben presentar también los datos para calcular el tamaño del
efecto y los intervalos de confianza según un análisis por intención de tratar
(por ejemplo mediante tablas de 2x2, medias y desviaciones estándar,
proporciones, etc.).
La discusión incluye un resumen breve de los resultados principales, las
limitaciones (validez e información de los estudios incluidos, limitaciones en el
proceso de revisión) y la aplicabilidad de la revisión. Las conclusiones incluyen
una interpretación general de los resultados y la implicación para la
investigación futura.
Finalmente deben mencionarse las fuentes de financiación para la realización
de la revisión sistemática, así como otras posibles fuentes de apoyo y si existe
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 32
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
cualquier implicación de los financiadores en la realización de la revisión
sistemática.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 33
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
5. UNA BREVE EXPLICACIÓN DEL LOGO DE LA COLABORACIÓN COCHRANE
El logotipo de la Colaboración Cochrane ilustra una revisión sistemática de los
datos de siete ensayos clínicos controlados.
El diagrama muestra el resultado de una revisión sistemática de ensayos
clínicos que evalúan el efecto de la administración de un curso de tratamiento
corto y barato con corticoesteroides en mujeres gestantes con amenaza de
parto prematuro. El primero de estos ensayos se publicó en el año 1972. El
diagrama resume la evidencia puesta de manifiesto al revisar sistemáticamente
todos los ensayos existentes sobre esta misma cuestión, una década más
tarde. Indica claramente que los corticoesteroides reducen el riesgo de morir de
los recién nacidos a causa de las complicaciones derivadas de la inmadurez
fetal. En el año 1991, siete ensayos clínicos adicionales habían sido publicados
y por tanto la figura en el logotipo se hizo más intensa, indicando que este
tratamiento reduce entre un 30% y un 50% la probabilidad de morir de estos
recién nacidos.
Dado que no se publicó ninguna revisión sistemática de estos ensayos hasta
1989, la mayoría de los obstetras no conocía que el tratamiento era tan
efectivo. Como resultado, decenas de miles de recién nacidos prematuros
probablemente padecieron y murieron innecesariamente (aparte de que han
generado un gasto sanitario mayor del necesario). Éste es sólo uno de los
múltiples ejemplos de los costos humanos resultantes de la incapacidad de
realizar revisiones sistemáticas actualizadas de los ensayos clínicos
relacionados con la atención sanitaria.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 34
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
6. LECTURAS Y LINKS
• El Centro Cochrane Iberoamericano es uno de los Centros de la
Colaboración Cochrane. Está situado en Barcelona y coordina la Red
Cochrane Iberoamericana. Entre sus objetivos está facilitar apoyo
metodológico y estadístico a aquellas personas que quieran llevan a cabo
revisiones sistemáticas Cochrane.
http://www.cochrane.es/
• La Biblioteca Cochrane Plus incluye la Base de Datos Cochrane de
Revisiones Sistemáticas, el Registro Central Cochrane de Ensayos
Controlados y el Registro de Ensayos Clínicos Iberoamericanos, entre otras
bases de datos. Es de acceso gratuito en España, gracias a un convenio
con el Ministerio de Sanidad.
http://www.bibliotecacochrane.net/
• El Manual Cochrane de Revisiones Sistemáticas de Intervenciones ofrece
directrices para la elaboración de revisiones sistemáticas Cochrane.
http://www.cochrane-handbook.org/
• Review Manager es el programa creado por la Colaboración Cochrane para
preparar y mantener las revisiones Cochrane. Puede descargarse
gratuitamente.
http://ims.cochrane.org/revman
• Otras organizaciones relacionadas con la medicina basada en la
evidencia y las revisiones sistemáticas:
Centre for reviews and dissemination. University of York:
http://www.york.ac.uk/inst/crd/index.htm
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 35
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
Bandolier Evidence-Based Healthcare:
http://www.jr2.ox.ac.uk/bandolier/index.html
Berkeley Systematic Reviews Group:
http://www.medepi.org/meta/index.html
Clinical Evidence. Producido por el British Medical Journal. Es un
compendio de respuestas documentadas y actualizadas para situaciones
clínicas concretas:
http://www.clinicalevidence.org
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 36
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
7. RESUMEN
El gran número de publicaciones científicas en la actualidad ha propiciado el
desarrollo de revisiones sistemáticas: investigaciones científicas en sí mismas
que con métodos explícitos y sistemáticos llevan a cabo la identificación, la
selección y la síntesis de estudios originales entorno a una pregunta
estructurada. Las revisiones sistemáticas pueden incluir o no metanálisis. Los
metanálisis consisten en la combinación estadística de al menos dos estudios
para obtener una estimación o suma única del efecto de la intervención y
presentarlos de manera gráfica.
Para asegurar la calidad de las revisiones sistemáticas y los metanálisis se
publicó la declaración QUOROM (ahora denominada PRISMA) que incluye una
lista de comprobación y un diagrama de flujo de estudios. La lista de
comprobación describe todos los datos que deben constatarse para la correcta
publicación de revisiones sistemáticas y metanálisis. Por su parte el diagrama
de flujo de estudios describe todo el proceso desde la identificación inicial de
los estudios potencialmente relevantes hasta la selección definitiva de los
mismos.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 37
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
8. EJERCICIOS
Ejercicio 1
Señala la afirmación correcta acerca del componente de la pregunta:
“población o problema”:
1. Basta con mencionar, sin necesidad de definir, la enfermedad o condición de
interés.
2. No suele ser necesario establecer unos criterios suficientemente explícitos
para definir la enfermedad o condición de interés.
3. A menudo, las revisiones sistemáticas se focalizan en un estadio evolutivo o
nivel de gravedad específico de la enfermedad.
4. Una revisión jamás debería focalizarse en un grupo específico de la
población de interés.
5. No es necesario que las restricciones basadas en características específicas
de la población o del ámbito de estudio estén siempre justificadas por evidencia
ya reconocida.
Ejercicio 2
Señala la afirmación correcta sobre la heterogeneidad de los ensayos clínicos:
1. Se define como la falta de diferencia en los resultados de los ensayos
clínicos por encima de lo que podría esperarse por el azar.
2. Un valor alto del estadístico I2 indica un bajo grado de heterogeneidad.
3. Los ensayos que presentan gran heterogeneidad clínica y estadística no
deben combinarse estadísticamente.
4. El modelo de efectos aleatorios no tiene en cuenta las distintas variaciones
entre los ensayos clínicos.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 38
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
5. No existe ningún test estadístico para medir la heterogeneidad.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 39
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
Referencias bibliográficas
1. Sáenz A, Ausejo M. Guía para leer e interpretar una revisión sistemática.
Rev Soc Mad Med Fam Comunit. 2000; 2: 29-36.
2. Cook DJ, Mulrow CD, Haynes RB. Systematic reviews: synthesis of best
evidence for clinical decisions. Ann Intern Med. 1997; 126: 376-80.
3. Oxman AD, Cook DJ, Guyatt GH. Users' guides to the medical literature. VI.
How to use an overview. Evidence-Based Medicine Working Group. JAMA.
1994; 272: 1367-71.
4. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF, et al.
Improving the quality of reports of meta-analyses of randomised controlled
trials: the QUOROM statement. Lancet. 1999; 354: 1896-900.
5. Moher D, Liberati A, Tetzlaff J, Altman DG; The PRISMA Group. Preferred
reporting items for systematic reviews and meta-analyses: The PRISMA
Statement. PLoS Med. 2009; 6(7): e1000097.
6. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche PC, Ioannidis JPA et
al. The PRISMA statement for reporting systematic reviews and meta-
analyses of studies that evaluate health care interventions: explanation and
elaboration. PLoS Med. 2009; 6(7): e1000100.
7. Review Manager (RevMan) [Computer program]. Version 5.0. Copenhagen:
The Nordic Cochrane Centre, The Cochrane Collaboration, 2008.
8. Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews
of Interventions Version 5.0.1 [updated September 2008]. The Cochrane
Collaboration, 2008. Available from www.cochrane-handbook.org.
9. Richardson WS, Wilson MC, Nishikawa J, Hayward R. The well-built clinical
question: a key to evidence-based decisions. ACP Journal Club. 1995; 123:
A12.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 40
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
10. Guyatt G, Rennie D, eds. Users' Guide to the Medical Literature: A Manual
for Evidence-Based Clinical Practice. Chicago: AMA Press; 2002.
11. Counsell C. Formulating questions and locating primary studies for inclusion
in systematic reviews. Ann Intern Med. 1997; 127: 380-7.
12. Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison
of results of meta-analyses of randomized control trials and
recommendations of clinical experts. Treatments for myocardial infarction.
JAMA. 1992; 268: 240-8.
13. Oxman AD. Checklists for review articles. BMJ. 1994; 309: 648-51.
14. Chalmers TC, Celano P, Sacks HS, Smith H, Jr. Bias in treatment
assignment in controlled clinical trials. N Engl J Med. 1983; 309: 1358-61.
15. Moher D, Pham B, Jones A, Cook DJ, Jadad AR, Moher M, et al. Does
quality of reports of randomised trials affect estimates of intervention
efficacy reported in meta-analyses? Lancet. 1998; 352: 609-13.
16. Juni P, Altman DG, Egger M. Systematic reviews in health care: Assessing
the quality of controlled clinical trials. BMJ. 2001; 323: 42-6.
17. Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh S. Assessing
the quality of randomized controlled trials: an annotated bibliography of
scales and checklists. Control Clin Trials. 1995; 16: 62-73.
18. López Arrieta JM, Qizilbash N. La medicina basada en pruebas: revisiones
sistemáticas. La Colaboración Cochrane. Med Clin (Barc). 1996; 107: 581-
5.
19. Higgins JP, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency
in meta-analyses. BMJ. 2003; 327 (7414): 557-60.
20. Smith GD; Egger M. Treating low risk patients can be a high risk strategy.
BMJ. 1994; 308 (6921): 72-4.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 41
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
21. Thompson SG. Why sources of heterogeneity in meta-analysis should be
investigated. BMJ. 1994; 309:1351-5.
22. Cochran WE. Problems arising in the analysis of a series of similar
experiments. J Roy Statist Soc. 1937; 4 (Suppl): 102-18.
23. DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clin
Trials. 1986; 7: 177-88.
24. Mantel N, Haenzsel W. Statistical aspects of the analysis of data from
retrospective studies of disease. J Nat Cancer Inst. 1959; 22: 719-48.
25. Peto R, Pike MC, Armitage P, Breslow NE, Cox DR, Howard SV, et al.
Design and analysis of randomized clinical trials requiring prolonged
observation of each patient. II: Analysis and examples. Br J Cancer. 1977;
35: 1-39.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 42
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
TABLAS Y FIGURAS
T 1 Revisiones sistemáticas frente a revisiones narrativas
Característica Revisión narrativa Revisión sistemática
Pregunta de investigación
Con frecuencia amplia y poco definida
Clara, concreta, centrada en una cuestión clínica bien definida
Fuentes de información y revisión de la literatura
No especificada. No dirigida a localizar todos los estudios. Alta probabilidad de sesgo
Estrategia de búsqueda sistemática y explícita de todas las fuentes y artículos potencialmente relevantes
Selección de estudios Generalmente sin criterios de selección. Alta probabilidad de sesgo
Descripción explícita de criterios de selección. Selección aplicada de manera uniforme
Calidad de los estudios
Generalmente no evaluada Evaluación crítica de la calidad metodológica de los estudios revisados
Síntesis de datos Resumen subjetivo, generalmente cualitativo, sin un estimador estadístico
Basada en la calidad metodológica de los estudios, a menudo resumida (cuantificada) por un estimador estadístico
Interpretación En ocasiones basada en la evidencia, pero con frecuencia basada en los estudios que se han seleccionado subjetivamente y en opiniones personales
Generalmente basada en la evidencia científica, con identificación de las lagunas de conocimiento que persisten
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 43
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
T 2 Lista de comprobación en PRISMA
Section/topic # Checklist item
TITLE
Title 1 Identify the report as a systematic review, meta-analysis, or both.
ABSTRACT
Structured summary 2 Provide a structured summary including, as applicable: background; objectives; data sources; study eligibility criteria, participants, and interventions; study appraisal and synthesis methods; results; limitations; conclusions and implications of key findings; systematic review registration number.
INTRODUCTION
Rationale 3 Describe the rationale for the review in the context of what is already known.
Objectives 4 Provide an explicit statement of questions being addressed with reference to participants, interventions, comparisons, outcomes, and study design (PICOS).
METHODS
Protocol and registration
5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address), and, if available, provide registration information including registration number.
Eligibility criteria 6 Specify study characteristics (e.g., PICOS, length of follow-up) and report characteristics (e.g., years considered, language, publication status) used as criteria for eligibility, giving rationale.
Information sources 7 Describe all information sources (e.g., databases with dates of coverage, contact with study authors to identify additional studies) in the search and date last searched.
Search 8 Present full electronic search strategy for at least one database, including any limits used, such that it could be repeated.
Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review, and, if applicable, included in the meta-analysis).
Data collection process 10 Describe method of data extraction from reports (e.g., piloted forms, independently, in duplicate) and any processes for obtaining and confirming data from investigators.
Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources) and any assumptions and simplifications made.
Risk of bias in individual studies
12 Describe methods used for assessing risk of bias of individual studies (including specification of whether this was done at the study or outcome level), and how this information is to be used in any data synthesis.
Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means).
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 44
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
Synthesis of results 14 Describe the methods of handling data and combining results of
studies, if done, including measures of consistency (e.g., I2 ) for
each meta-analysis.
Risk of bias across studies
15 Specify any assessment of risk of bias that may affect the cumulative evidence (e.g., publication bias, selective reporting within studies).
Additional analyses 16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-regression), if done, indicating which were pre-specified.
RESULTS
Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review, with reasons for exclusions at each stage, ideally with a flow diagram.
Study characteristics 18 For each study, present characteristics for which data were extracted (e.g., study size, PICOS, follow-up period) and provide the citations.
Risk of bias within studies
19 Present data on risk of bias of each study and, if available, any outcome-level assessment (see Item 12).
Results of individual studies
20 For all outcomes considered (benefits or harms), present, for each study: (a) simple summary data for each intervention group and (b) effect estimates and confidence intervals, ideally with a forest plot.
Synthesis of results 21 Present results of each meta-analysis done, including confidence intervals and measures of consistency.
Risk of bias across studies
22 Present results of any assessment of risk of bias across studies (see Item 15).
Additional analysis 23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression [see Item 16]).
DISCUSSION
Summary of evidence 24 Summarize the main findings including the strength of evidence for each main outcome; consider their relevance to key groups (e.g., health care providers, users, and policy makers).
Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review level (e.g., incomplete retrieval of identified research, reporting bias).
Conclusions 26 Provide a general interpretation of the results in the context of other evidence, and implications for future research.
FUNDING
Funding 27 Describe sources of funding for the systematic review and other support (e.g., supply of data); role of funders for the systematic review.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 45
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
T 3A Resultados de un EC con variable dicotómica Tabla de contingencia 2x2
Estudio1 Intervención Control
Evento ai bi
No evento ci di
Total a1i n2i
T 3B Ejemplo de Riesgo Relativo
Fuente: Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet. 2008; 371: 1839-47.
Infarto de miocardio a los 30 días:
Metoprolol Placebo
Sí 176 239
No 3.998 3.938
4.174 4.177
Riesgo de infarto de miocardio a los 30 días en el grupo asignado a metoprolol: 176 / 4.174 = 0,042 (4,2%)
Riesgo de infarto de miocardio a los 30 días en el grupo asignado a placebo: 239 / 4.177 = 0,057 (5,7%)
RR = 0,042 / 0,057 = 0,74 (0,60 a 0,89)
Con metroprolol, el riesgo de presentar un infarto de miocardio en los 30 días se redujo en un 26% con respecto al placebo.
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 46
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
T 3C Ejemplo de Odds Ratio
Fuente: Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet. 2008; 371: 1839-47.
Infarto de miocardio a los 30 días:
Metoprolol Placebo
Sí 176 239
No 3.998 3.938
4.174 4.177
Odds de infarto de miocardio a los 30 días en el grupo asignado a metoprolol: 176 / 3.998 = 0,044 (-> entre los tratados con metroprolol, es 23 veces menos probable presentar un infarto de
miocardio que presentarlo)
Odds de infarto de miocardio a los 30 días en el grupo asignado a placebo: 239 / 3.938 = 0,061 (-> entre los que recibieron placebo, es 17 veces menos probable presentar un infarto de miocardio
que presentarlo)
OR = 0,044 / 0,061 = 0,72 (0,59 a 0,88)
Con metroprolol, la oportunidad o ventaja (odds) de presentar un infarto de miocardio en los 30 días es un 28% menor con respecto al placebo.
T 3D Ejemplo de diferencia de riesgos
Fuente: Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet. 2008; 371: 1839-47
Infarto de miocardio a los 30
días:
Metoprolol Placebo
Sí 176 239
No 3.998 3.938
4.174 4.177
Riesgo de infarto de miocardio a los 30 días en el grupo asignado a metoprolol: 176 / 4.174 = 0,042 (4,2%)
Riesgo de infarto de miocardio a los 30 días en el grupo asignado a placebo: 239 / 4.177 = 0,057 (5,7%)
DR = 0,042 – 0,057 = 0,015 (1,5%) (0,57% a 2,43%)
El riesgo de presentar un infarto de miocardio en los 30 días se redujo un 1.5% con metoprolol (pasó de 5,7% a 4,2%).
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 47
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
T 4 Métodos estadísticos de metanálisis disponibles en el programa informático RevMan de la Colaboración Cochrane
Tipo de datos Medida de efecto Modelo Método
Odds ratio Efectos fijos
Efectos aleatorios
Mantel-Haenzsel
Inverso varianza
Mantel-Haenzsel
Inverso varianza
Odds ratio Peto Efectos fijos Peto
Riesgo Relativo Efectos fijos
Efectos aleatorios
Mantel-Haenzsel
Inverso varianza
Mantel-Haenzsel
Inverso varianza
Dicotómicos
Diferencia de riesgos Efectos fijos
Efectos aleatorios
Mantel-Haenzsel
Inverso varianza
Mantel-Haenzsel
Inverso varianza
Diferencia de medias Efectos fijos
Efectos aleatorios
Inverso varianza
Inverso varianza
Continuos
Diferencia de medias
estandarizada
Efectos fijos
Efectos aleatorios
Inverso varianza
Inverso varianza
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 48
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
49
F 3·1 Diagrama de flujo de estudios en PRISMA
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 49
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV
U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos
50
F 3·2 Logotipo de la Colaboración Cochrane
F 3·3 Ejemplos de metanálisis con y sin heterogeneidad
© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 50