U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y … · La presente unidad didáctica pretende dar a...

50
DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y METANÁLISIS DE ENSAYOS CLÍNICOS 1. INTRODUCCIÓN El auge que las revisiones de la literatura científica han experimentado en los últimos años, como una herramienta útil para hacer frente a la sobreabundancia de información y facilitar a los profesionales de la salud la actualización en sus conocimientos, ha motivado una creciente atención hacia este nuevo formato de publicación científica. Cada vez resulta más habitual encontrar artículos de revisión publicados en las revistas científicas de mayor difusión. En realidad, las revisiones no sólo son un tipo particular de publicación dirigida a proporcionar una visión global acerca de un tema específico, sino que, bajo ciertas condiciones (revisiones sistemáticas), también se trata de un método formal de investigación (en este caso denominada investigación secundaria, pues no se realiza directamente sobre pacientes sino sobre estudios primarios). La realización de una revisión exige una planificación cuidadosa, pues sus autores deberán tomar multitud de decisiones acerca de los estudios originales y sus datos. Por ello, resulta necesario contar con un protocolo previamente aprobado por sus autores donde se establezcan de forma suficientemente clara y explícita todos los procedimientos y cada uno de los criterios que van a guiar después el proceso de la revisión. La presente unidad didáctica pretende dar a conocer los aspectos básicos de la realización de una revisión, permitiendo a los lectores diferenciar entre una revisión sistemática realizada de forma rigurosa de aquellas otras denominadas ‘revisiones narrativas’ basadas en la opinión, así como capacitarle (aunque a un nivel muy básico) para llevar a cabo una revisión de algún tema de su propio interés. Las revisiones sistemáticas son investigaciones científicas en sí mismas, con © Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 1

Transcript of U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y … · La presente unidad didáctica pretende dar a...

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

U3. DISEÑO DE REVISIONES SISTEMÁTICAS Y METANÁLISIS DE ENSAYOS CLÍNICOS

1. INTRODUCCIÓN

El auge que las revisiones de la literatura científica han experimentado en los

últimos años, como una herramienta útil para hacer frente a la

sobreabundancia de información y facilitar a los profesionales de la salud la

actualización en sus conocimientos, ha motivado una creciente atención hacia

este nuevo formato de publicación científica. Cada vez resulta más habitual

encontrar artículos de revisión publicados en las revistas científicas de mayor

difusión.

En realidad, las revisiones no sólo son un tipo particular de publicación dirigida

a proporcionar una visión global acerca de un tema específico, sino que, bajo

ciertas condiciones (revisiones sistemáticas), también se trata de un método

formal de investigación (en este caso denominada investigación secundaria,

pues no se realiza directamente sobre pacientes sino sobre estudios primarios).

La realización de una revisión exige una planificación cuidadosa, pues sus

autores deberán tomar multitud de decisiones acerca de los estudios originales

y sus datos. Por ello, resulta necesario contar con un protocolo previamente

aprobado por sus autores donde se establezcan de forma suficientemente clara

y explícita todos los procedimientos y cada uno de los criterios que van a guiar

después el proceso de la revisión.

La presente unidad didáctica pretende dar a conocer los aspectos básicos de la

realización de una revisión, permitiendo a los lectores diferenciar entre una

revisión sistemática realizada de forma rigurosa de aquellas otras denominadas

‘revisiones narrativas’ basadas en la opinión, así como capacitarle (aunque a

un nivel muy básico) para llevar a cabo una revisión de algún tema de su propio

interés.

Las revisiones sistemáticas son investigaciones científicas en sí mismas, con

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 1

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

métodos prefigurados y un ensamblaje de los estudios originales, que

sintetizan los resultados de éstos.α Las características básicas que mejor

definen a una revisión sistemática se podrían resumir en las siguientes: 1) Son

síntesis y análisis de la información disponible sobre un tema con un enfoque

práctico. 2) Se basan en la mejor evidencia científica disponible. 3) Formulan

preguntas claramente definidas. 4) Utilizan métodos sistemáticos y explícitos

para identificar y seleccionar estudios, evaluar éstos críticamente, extraer los

datos de interés y analizarlos.

Consecuentemente, las revisiones sistemáticas pretenden ser: 1) Rigurosas: en

cuanto a los estudios incluidos (con criterios de calidad, etc.). 2) Informativas:

enfocadas hacia problemas reales, tratando de contestar una pregunta

claramente delimitada o específica, e idealmente analizando y presentando los

datos de la forma que mejor ayude a la toma de decisiones. 3) Exhaustivas: su

objetivo es identificar y utilizar la mayor cantidad posible de información

pertinente, sin introducir sesgos (de publicación, de selección, etc.). 4)

Explícitas: ya que todos los métodos utilizados en la revisión deben ser

descritos con suficiente detalle. 5) Reproducibles: de ser necesario, el lector

puede reproducirla al disponer de información detallada acerca de los métodos

utilizados y poder verificar los resultados.

Tradicionalmente se ha realizado un tipo de revisiones que podríamos

denominar ‘narrativas’. El inconveniente de este tipo de revisiones es que

utilizan métodos “informales”, no explícitos, y a menudo personales y

subjetivos1. Consecuentemente, los lectores de una revisión narrativa

encararán dos problemas: primero, los autores no especifican el proceso que

han seguido para buscar, reunir y evaluar la información que les ha llevado a

ofrecernos sus conclusiones; y en segundo lugar, y ante la ausencia de dicha

información, no serán capaces de repetir y verificar los resultados y las

conclusiones de la revisión1.

En contraposición, como se ha señalado anteriormente, las revisiones

sistemáticas emplean métodos explícitos y sistemáticos que limitan el sesgo,

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 2

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

proporcionando así resultados más fiables2. Otra diferencia importante es que

las revisiones sistemáticas se generan para responder en profundidad a

cuestiones clínicas generalmente muy concretas y específicas. Estas

cuestiones pueden y deben formularse con precisión (véase más adelante el

apartado “componentes clave de una pregunta”). Por otra parte, la mayor parte

de los artículos de revisión de tipo narrativo abarcan un amplio abanico de

asuntos relacionados con un tema, más que uno en profundidad y por lo tanto

pueden ser más útiles para adquirir una perspectiva amplia sobre un tema,

pero no lo son tanto para obtener respuestas concretas y mensurables ante

cuestiones clínicas específicas.

En resumen, se podría concluir que, de entre las múltiples diferencias que

existen entre las revisiones narrativas y las sistemáticas (resumidas en la tabla

I), destaca que las primeras están basadas frecuentemente en opiniones

(además de, por supuesto, en algunos datos objetivos), mientras que las

revisiones sistemáticas están basadas fundamentalmente en pruebas3.

Los metanálisis se definen como la utilización de técnicas estadísticas para

combinar los datos de los estudios que han intentado responder la misma

pregunta y presentarlos y resumirlos de manera gráfica y sintética. Aunque a

veces se utilicen indistintamente los dos términos, revisión sistemática no es

igual a metanálisis1. La primera es el proceso que nos lleva a obtener los

estudios cuyos resultados pueden combinarse –o no– matemáticamente para

poder ofrecer conclusiones. Cuando los resultados de los estudios primarios se

resumen pero no se combinan con métodos estadísticos, el resultado puede

denominarse revisión sistemática “cualitativa”. Así, el método matemático

llamado metanálisis (que daría como resultado una revisión sistemática

“cuantitativa”) es sólo una parte, aunque muy importante, de la revisión

sistemática. Dicho de otro modo, un metanálisis es la combinación estadística

de al menos dos estudios para obtener una estimación única del efecto de la

intervención en salud que estamos evaluando (pooled effect o efecto

combinado).

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 3

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

En los últimos años ha habido un aumento espectacular del número de

revisiones sistemáticas y metanálisis publicados, pero no siempre se han

explicitado de forma clara sus métodos, lo que ha conllevado resultados

confusos. Para mejorar la publicación de los metanálisis de ensayos clínicos,

se creó un grupo de trabajo multidisciplinario que elaboró la declaración

QUOROM4. Recientemente QUOROM se ha actualizado y ha pasado a

llamarse PRISMA5,6 (Preferred Reporting Items for Systematic reviews and

Meta-Analyses). En el apartado final de esta unidad se describen con más

detalle las características de la declaración PRISMA, así como su lista de

comprobación (ver tabla II) y su diagrama de flujo de estudios (ver figura 1).

PRISMA dispone también de una página web: http://www.prisma-statement.org/

En esta misma línea cabe mencionar el trabajo de la Colaboración Cochrane,

una organización internacional sin ánimo de lucro que intenta ayudar a tomar

decisiones clínicas y sanitarias bien fundamentadas preparando, manteniendo

y divulgando revisiones sistemáticas sobre los efectos de la atención sanitaria.

La Colaboración dispone del programa Review Manager (RevMan)7, diseñado

para ayudar a escribir las revisiones sistemáticas de forma estructurada y llevar

a cabo el metanálisis con facilidad, y también del Cochrane Handbook For

Systematic Reviews of Interventions8, manual metodológico para la elaboración

de las revisiones sistemáticas Cochrane. Todo ello puede descargarse de

forma gratuita en la página web de la Colaboración. (www.cochrane.org). En la

figura 2 se muestra el logotipo de la Colaboración Cochrane, que representa un

metanálisis de siete ensayos clínicos: cada línea horizontal representa el

resultado de un ensayo clínico (cuanto más estrecha es la línea, más cierto o

preciso es el resultado) mientras que el rombo representa sus resultados

combinados. La línea vertical indica la posición alrededor de la cual las líneas

horizontales se concentrarán si los dos tratamientos comparados en los

ensayos clínicos tuviesen efectos similares. Si una línea horizontal toca la línea

vertical, significa que aquel ensayo clínico concreto no halló diferencias claras

entre los tratamientos. La posición del rombo a la izquierda de la línea vertical

indica que el tratamiento estudiado es beneficioso.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 4

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

2. DISEÑO DE REVISIONES SISTEMÁTICAS DE ENSAYOS CLÍNICOS

2.1 Formulación del problema

Al igual que en cualquier proyecto de investigación, la primera y más importante

decisión a la hora de preparar una revisión sistemática es determinar el enfoque

de la misma, lo que se consigue planteando preguntas claramente delimitadas.

Dichas preguntas y los objetivos de una revisión sirven también a los lectores

para valorar inicialmente la relevancia de la misma. Así, los lectores pueden

utilizar las preguntas y los objetivos planteados para juzgar si la revisión les

puede resultar de interés y si es pertinente para las cuestiones que ellos se

plantean3.

Existen varios componentes clave que son necesarios para formular

correctamente una pregunta y que deben especificarse en la sección de

“Criterios de selección de los estudios” de la revisión. Una pregunta claramente

definida debe responder al formato PICO, es decir, especificar el tipo de

población (participantes), el tipo de intervenciones y comparaciones a valorar y

el tipo de resultados (outcomes) que son de interés para la revisión9,10. A modo

de ejemplo, una pregunta correctamente planteada sería: ¿En la población

asintomática de más de 50 años (los participantes) el cribado con colonoscopia

(la intervención) se asocia con una reducción en la mortalidad debida al cáncer

de colon (el resultado)?

Con respecto al tipo de participantes, resulta de utilidad considerar en dos fases

el tipo de personas que son objeto de interés para la revisión. En primer lugar,

hay que definir (o referenciar) los criterios diagnósticos que establecen la

presencia de la enfermedad o de la condición (la población de interés no siempre

se trata de pacientes sino que puede consistir en sujetos que presentan un factor

de riesgo o exposición en común) que pretendemos evaluar, debiéndose

establecer criterios que sean suficientemente explícitos para estas definiciones.

A menudo, las revisiones se focalizan en un estadio evolutivo (p.e., cáncer

metastásico) o nivel de gravedad específico (p.e., asma severo) de la

enfermedad, y no a la totalidad de su espectro, lo que implica la necesidad de

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 5

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

establecer unos criterios de definición que permitan seleccionar adecuadamente

sólo aquellos estudios que resulten pertinentes para la revisión. En segundo

lugar, hay que identificar la población y el ámbito de interés. Esto implica tener

que decidir si se está interesado en un grupo específico de la población, en

función de factores como la edad, el sexo, la etnia, etc., así como en un ámbito

específico dónde se aplica la intervención (pacientes ingresados, ambulatorios,

en consultas especializadas, etc.). Cualquier restricción basada en

características específicas de la población o del ámbito de estudio debe estar

justificada por evidencia ya reconocida. Por ejemplo, enfocar una revisión sobre

la efectividad del cribado (screening) de cáncer de colon mediante colonoscopia

dirigida únicamente a individuos mayores de 50 años de edad parece estar

justificado por diversas razones, entre las que destaca que la incidencia de este

tipo de cáncer en individuos menores de 50 años es muy baja.

El segundo componente clave de una pregunta bien formulada consiste en

especificar las intervenciones que son de interés. Para ello, deberá describirse

su composición, niveles de dosis aceptables, vía de administración, duración,

línea de tratamiento, etc., según proceda. También es importante definir las

intervenciones frente a las que éstas serán comparadas, es decir, el tipo de

grupo control que es aceptable para la revisión. Así, debe considerarse con

detenimiento si las personas en el grupo control pueden estar recibiendo otras

intervenciones (y cuáles) distintas al placebo.

El tercer componente clave de una pregunta bien formulada es la especificación

–con criterios explícitos– de aquellos resultados concretos que sean de interés.

Los revisores deben evitar abrumar a los lectores con datos que tienen poca o

ninguna trascendencia pero, al mismo tiempo, deben tener cuidado en no omitir

datos importantes.

Un componente adicional al plantear una pregunta es el tipo de diseño de los

estudios, pues algunos resultan superiores a otros para tratar de responder a

determinadas preguntas. Muchos autores consideran que los ensayos clínicos

controlados y aleatorizados son una condición sine qua non para tratar asuntos

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 6

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

referentes a la eficacia terapéutica. Existen dos razones fundamentales por las

que se debe ser cauteloso a la hora de incluir estudios no aleatorizados en una

revisión sobre los efectos de la atención sanitaria, ambos relacionados con los

sesgos. En primer lugar, la aleatorización es el único modo de controlar aquellos

factores que podrían influir en la capacidad del paciente para responder

favorablemente al tratamiento o intervención, tanto aquellos factores pronósticos

conocidos como aquellos que no se conocen o no están cuantificados. Datos

empíricos indican que, por lo general, los estudios no aleatorizados tienden a

sobrestimar los efectos de las intervenciones sanitarias. A pesar de las

consideraciones anteriores, a veces resulta apropiado realizar una revisión

sistemática de los estudios no aleatorizados sobre los efectos de un determinado

tratamiento. Por ejemplo, en ocasiones el curso de una enfermedad es tan

uniforme o los efectos de una intervención son tan evidentes que resulta

innecesario, e incluso dudosamente ético, realizar un ensayo clínico

aleatorizado. Por último, otros aspectos relevantes acerca del diseño de los

estudios que merecen ser considerados desde el inicio son si se revisarán

únicamente aquellos estudios que tienen un seguimiento de una cierta duración

(p.e., al menos de un año) o bien que poseen ciertas características de diseño

(p.e., estudios doble ciego). No obstante, es preciso tener en cuenta que cuanto

más restrictivos sean los criterios exigidos acerca del diseño de los estudios para

responder a la pregunta planteada, menos probabilidades habrá de encontrar

datos que respondan de forma específica a preguntas tan restringidas.

2.2 Búsqueda de los estudios

Una vez que se ha planteado correctamente una pregunta, deberían

determinarse qué componentes clave se tendrán en cuenta para definir la

estrategia de búsqueda inicial11. En general, los componentes clave que resultan

de utilidad cuando se realiza una búsqueda bibliográfica en bases electrónicas

incluyen la condición o enfermedad de interés y la intervención o exposición que

se está evaluando. Aunque se pueda estar específicamente interesado en un

ámbito determinado, los estudios no suelen estar indexados según esta variable

dentro de las bases de datos electrónicas. Además, los estudios pueden evaluar

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 7

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

múltiples resultados, algunos de los cuales pueden ser relevantes para la

revisión pero es posible que no formen parte de la indexación del artículo.

Posibles fuentes de información para la localización de estudios incluyen12: 1)

Bases de datos bibliográficas computarizadas de estudios publicados en

revistas indexadas (MEDLINE, EMBASE, Excerpta Médica, Índice Médico

Español, Cochrane Library). 2) Artículos de revisión y metanálisis (a partir de

las listas de referencias). 3) Artículos originales (publicaciones preliminares o

completas) en publicaciones primarias. 4) Publicaciones secundarias:

resúmenes de artículos publicados en otras revistas como originales (Evidence

Based Medicine, ACP Journal Club, etc.). 5) Resúmenes de congresos. 6)

Tesis doctorales (registro de publicaciones de facultades). 7) Libros de texto

sobre el tema. 8) Contactos personales con expertos, sociedades científicas,

grupos de trabajo, etc. 9) Agencias financiadoras (FIS, CICYT, fundaciones,

etc.). 10) Registros de ensayos clínicos (Ministerio de Sanidad, Colaboración

Cochrane, registros monográficos, etc.). 11) Industria farmacéutica. 12)

Búsquedas manuales a partir de las citas bibliográficas de los artículos

originales.

2.3 Desarrollo de una estrategia de búsqueda

En el protocolo de una revisión (documento previo a la revisión en el que se

detallan de forma explícita los criterios y los métodos que van a guiar el

proceso de la revisión) debe describirse el proceso mediante el que se

identifican los estudios para su posterior inclusión en una revisión, es decir,

debe explicitarse la estrategia de búsqueda.

Aunque es importante que la búsqueda sea lo más completa posible, siempre

es necesario mantener un equilibrio entre el nivel de sensibilidad y

especificidad. Aumentar la sensibilidad en una búsqueda implica reducir su

precisión e identificar más artículos no relevantes. A menudo, los

documentalistas que se han especializado en búsquedas electrónicas pueden

ser de gran ayuda en el desarrollo y ejecución de las mismas. El desarrollo de

una estrategia de búsqueda es un proceso iterativo en el cual los términos que

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 8

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

se utilizan son modificados según los resultados que se vayan obteniendo. Por

lo tanto, es importante trabajar estrechamente con un documentalista en el

momento de decidir en qué bases de datos buscar y qué estrategias de

búsqueda utilizar en cada una de ellas. Idealmente, los revisores deben estar

junto al documentalista cuando se ejecute la estrategia de búsqueda.

Un buen abordaje para desarrollar una estrategia de búsqueda exhaustiva es

empezar utilizando términos múltiples que describan la condición o enfermedad

de interés y combinarlos con el operador booleano “OR”. Esto significa que se

identificarán los artículos indexados que incluyan por lo menos uno de los

términos utilizados. Los resultados pueden reducirse utilizando posteriormente

el operador “AND”. En este paso, se identifican los artículos que utilizan los

términos que describen las intervenciones que se están evaluando (agrupados

con el operador “OR”) si también abordan la condición de estudio (es decir, si

cumplen la intervención “Y” la condición). Por ejemplo, una estrategia de

búsqueda para evaluar la posible relación entre la infección por el virus C de la

hepatitis y el linfoma no Hodgkiniano sería: (“Hepatitis C” OR “Hepatitis C virus”

OR HCV) AND (Lymphoma OR “Non-Hodgkin lymphoma” OR

“lymphoproliferative disease” OR “lymphoproliferative disorder”).

La estrategia de búsqueda debe describirse con suficiente detalle en la revisión

como para que el proceso pueda reproducirse. La documentación debe incluir

las principales fuentes de información utilizadas para identificar los estudios, la

estrategia de búsqueda para cada base de datos consultada y la fecha en la

que se realizó dicha búsqueda, las limitaciones temporales (por ejemplo, de

1966 a 2008) y las limitaciones de idioma o de otro tipo (aunque éstas deben

evitarse en la medida de lo posible).

2.4 Selección de estudios

Todas las referencias de estudios identificados como potencialmente elegibles

deben ser evaluadas posteriormente para confirmar si cumplen los criterios de

inclusión para la revisión. Todo este proceso debe representarse en un

diagrama de flujo de ensayos clínicos (ver figura 1). Los revisores deben

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 9

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

decidir: a) Cuándo se necesitará que más de un revisor evalúe la relevancia de

cada artículo (actitud, en general, recomendable). b) Si las decisiones en

cuanto a la selección serán tomadas por especialistas en el tema, por no

especialistas, o por ambos (los especialistas en un área específica con

frecuencia tienen opiniones formadas previamente que pueden sesgar sus

evaluaciones, tanto sobre la relevancia como sobre la validez de los artículos;

por lo tanto, aunque es importante que al menos un revisor sea versado en el

tema objeto de revisión, quizá sea una ventaja disponer de un segundo revisor

que no sea un experto en esa área). c) Cómo se resolverán las discrepancias si

existe más de un revisor (generalmente mediante discusión, pues la causa del

desacuerdo es a menudo un simple descuido por parte de uno de los revisores;

cuando la discrepancia se deba a una diferencia de interpretación más

profunda el tema debe ser resuelto por consenso).

2.5 Evaluación de la calidad de los estudios incluidos

La evaluación de la calidad de los estudios individuales que se incluyen en las

revisiones sistemáticas es necesaria para limitar los sesgos y guiar la

interpretación de resultados. Incluso si la revisión incluye sólo ensayos clínicos

aleatorizados, es importante conocer si éstos fueron de buena calidad. Los

factores metodológicos que justifican una evaluación detallada de la calidad

son aquellos relacionados con la validez de los estudios individuales y ciertas

características del diseño que afectan a la interpretación de los resultados. La

interpretación de los resultados depende de la validez de los estudios incluidos

y de otras características. Por ejemplo, una revisión quizá resuma 20 ensayos

clínicos válidos que evalúan los efectos del tratamiento erradicador de H. pylori

sobre los síntomas de la dispepsia funcional; sin embargo, los ensayos clínicos

quizá examinen diferentes tipos de pacientes (con dispepsia de tipo ulceroso o,

por el contrario, de tipo dismotilidad) y es posible que tengan períodos de

seguimiento variables (desde unos pocos meses hasta más de un año). Estos

aspectos afectarían a la interpretación aunque quizá no estén relacionados

directamente con la validez interna de los ensayos.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 10

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

2.6 Validez. Sesgos en los ensayos clínicos

Antes de fijarnos en las conclusiones de una revisión sistemática debemos

valorar si nos las vamos a creer1. Cuanta mayor sea la validez de los estudios

que sustentan dicha revisión, más nos fiaremos de las conclusiones. En el

contexto de una revisión sistemática, la validez de un estudio se refiere a la

capacidad de evitar los errores sistemáticos o sesgos mediante el correcto

diseño y realización del estudio. En una revisión sistemática, las diferencias

observadas en la validez de los estudios incluidos podrían ayudarnos a explicar

la variabilidad de sus resultados. De este modo, los estudios más rigurosos

tienen mayor probabilidad de dar resultados más próximos a la “verdad”,

mientras que los estudios menos rigurosos suelen estar sesgados hacia la

sobreestimación de la eficacia de la intervención.

En resumen, el término sesgo hace referencia a los problemas de validez

interna de una investigación, esto es, se plantea si los resultados obtenidos son

ciertos en la población de referencia a la que se pretende generalizar los

resultados13. Por ejemplo, si es cierta la menor incidencia de hemorragia

digestiva por varices esofágicas en los pacientes cirróticos que reciben

profilaxis con beta-bloqueantes. Por el contrario, la validez externa de una

investigación se plantea a la hora de generalizar los resultados obtenidos, es

decir, si los datos encontrados en una población son aplicables a otra. En los

estudios sobre los efectos de la atención sanitaria pueden existir cuatro tipos

de sesgos o errores sistemáticos: de selección, de realización (performance

bias), de desgaste o pérdida (attrition bias) y de detección.

Sesgo de selección. Uno de los factores más importantes que puede sesgar y

distorsionar las comparaciones entre tratamientos está relacionado con el

proceso de obtención de los grupos a comparar. Así, en el diseño de ensayos

clínicos es muy importante utilizar un método apropiado para prevenir que se

conozca de antemano la asignación de los tratamientos14. Mientras se evalúa la

elegibilidad potencial de un participante en un ensayo clínico, las personas que

reclutan a los participantes deben desconocer el tratamiento que corresponde a

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 11

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

la próxima asignación. Lo ideal es que el proceso de asignación no pueda ser

influido por las personas que lo llevan a cabo, para lo que debería instaurarse

un programa de asignación aleatoria implantado por alguien no implicado en el

reclutamiento (por ejemplo, alguien ubicado en una oficina central del ensayo).

Si no puede organizarse tal aleatorización central, entonces es necesario tomar

otras precauciones para evitar la manipulación del proceso de asignación por

las personas que participan en el reclutamiento. El proceso de ocultar la

asignación hasta que se asigna el tratamiento se denomina “ocultación de la

asignación” o allocation concealment (que no debe confundirse con el término

“cegar”, que se reserva para las medidas tomadas para reducir el sesgo una

vez que la intervención ya ha sido asignada).

Sesgo de realización. Hace referencia a las diferencias sistemáticas en la

atención sanitaria proporcionada a los participantes en los grupos de

comparación, aparte, claro está, de la intervención bajo estudio. Para proteger

contra las diferencias en la atención y contra el efecto placebo, puede

“cegarse” a aquellos que dan y reciben el tratamiento para que no conozcan el

grupo al que están asignados quienes lo reciben.

Sesgo de desgaste o pérdida. Se refiere a las diferencias sistemáticas entre los

grupos de comparación en cuanto a la pérdida de participantes durante el

estudio. A menudo, estas pérdidas no son debidas al azar, sino que están

relacionadas más o menos directamente con los tratamientos aplicados. En

este caso, cuando el número de pérdidas es desigual en las diversas ramas del

ensayo clínico, deberemos ser muy precavidos a la hora de interpretar los

resultados. La manera de tratar las pérdidas en el análisis de los resultados

puede sesgar los resultados (especialmente cuando éstas se omiten o ignoran

en el análisis) y la información incompleta sobre cómo se tratan las pérdidas

puede ocultar este problema.

Sesgo de detección. El sesgo de detección se refiere a las diferencias

sistemáticas entre los grupos de comparación en la evaluación de resultados.

Los ensayos clínicos que ciegan la asignación de las intervenciones a quienes

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 12

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

evalúan los resultados son, lógicamente, menos propensos a estar sesgados

que los ensayos clínicos que no lo hacen. El cegamiento es particularmente

importante en aquellas investigaciones que utilizan medidas subjetivas de

resultado, como el dolor.

2.7 Evaluación del riesgo de sesgo de los estudios

Si se han utilizado, como es aconsejable, varios criterios explícitos para valorar

la validez interna, es aconsejable resumirlos para obtener una evaluación

global de la robustez de los resultados de cada estudio15,16. Se han identificado

al menos 25 escalas y 9 listas de comprobación que han sido utilizadas para

evaluar la validez y la “calidad” de los ensayos clínicos controlados y

aleatorizados, pero ninguna de ellas puede recomendarse sin reservas13,17.

La Colaboración Cochrane ha creado una herramienta para evaluar la calidad

metodológica de los estudios incluidos en una revisión: la tabla de ‘Riesgo de

sesgo’8. En esta tabla se evalúan varios dominios:

1. Generación de la secuencia de aleatorización.

2. Encubrimiento de la asignación aleatoria.

3. Cegamiento de los participantes, el personal responsable del estudio y la

evaluación de los resultados.

4. Datos incompletos de los resultados de interés (desgaste y exclusiones).

5. Descripción selectiva de los resultados de interés.

6. Otros (específicos del tema o del diseño de los estudios de la revisión).

Para evaluar estos dominios, tenemos que tener en cuenta tres

consideraciones clave:

1. La descripción literal de cómo la publicación refleja el dominio que estamos

evaluando.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 13

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

2. La valoración de los autores de la revisión del dominio (sí, no o poco claro

según la improbabilidad de que el dominio esté expuesto a fuentes de sesgo).

Es decir, valoramos con un sí cuando consideramos que hay un riesgo bajo de

sesgo, no si el riesgo es alto y poco claro si es confuso.

3. El cegamiento y los datos incompletos de los resultados de interés pueden

evaluarse por separado para diferentes variables de resultado.

Los dominios de ‘generación de la secuencia de aleatorización’, ‘encubrimiento

de la asignación aleatoria’ y ‘descripción selectiva de los resultados de interés’

deberían valorarse con una única entrada para cada uno de los estudios. Para

los dominios ‘cegamiento’ y ‘datos incompletos de los resultados de interés’, se

pueden utilizar una o más entradas porque se deben hacer valoraciones

separadas para las distintas variables de resultado, aunque se aconseja

agruparlas, como por ejemplo en variables de resultado ‘subjetivas’ u ‘objetivas’

para la evaluación del cegamiento, etc.

Finalmente, el dominio final (‘otras fuentes de sesgo’) puede valorarse

individualmente para cada estudio o de forma global, aunque se recomienda el

uso de entradas múltiples, pre-especificadas para valorar este dominio y que

pueden ser para los estudios globalmente o para las variables de resultado

(agrupadas) de cada estudio. En cualquier caso, añadir nuevas entradas

implica especificar una pregunta que debería responderse con un ‘sí’ para

especificar un riesgo bajo de sesgo.

2.8 Extracción de datos

El formulario de recogida de datos es un puente entre lo que han informado los

investigadores de los estudios primarios en las publicaciones correspondientes

y lo que, en último término, informa el autor de la revisión. La primera

información que debería recoger un formulario de extracción de datos son los

criterios de inclusión de los estudios para la revisión (habitualmente en forma

de check-list). Aunque la búsqueda y el proceso de selección deberían haber

descartado la mayoría de estudios no elegibles, es conveniente comprobar la

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 14

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

elegibilidad de éstos en el momento del resumen o de la recogida de datos.

Así, las revisiones Cochrane incluyen una tabla de estudios excluidos para

aquellos que inicialmente parecían reunir los criterios de inclusión pero que,

tras un examen más minucioso, fueron finalmente excluidos.

Otro de los apartados esenciales lo constituye la información acerca de los

métodos de los estudios incluidos. Algunas de las características de la

metodología de los estudios que pueden ser relevantes incluyen la duración del

estudio, el tipo de ensayo (diseños paralelos, cruzados), el cegamiento (de

pacientes, proveedores y evaluadores de resultados), el número de pérdidas y

de cambios de tratamiento, las cointervenciones y otros factores potenciales de

confusión. Además, el apartado de métodos del formulario de recogida de

datos debe incluir los criterios de evaluación de la calidad utilizados (véase el

apartado previo).

Los criterios diagnósticos utilizados para definir el problema de salud de interés

pueden ser una fuente importante de variabilidad clínica y deberían describirse

con detalle. Por ejemplo, en una revisión sobre terapia farmacológica con

infliximab en la enfermedad de Crohn es importante conocer cómo se

estableció en cada estudio el fenotipo (inflamatorio o fistulizante) y cómo se

definió la refractariedad al tratamiento convencional (corticoresistencia o

corticodependencia).

Cómo medir el resultado de los estudios puede ser una de las secciones más

difíciles de diseñar del formulario de extracción de datos. Los informes de los

estudios suelen incluir más de una medida de resultado (mortalidad, morbilidad,

calidad de vida, etc.); además, pueden presentar la misma medida de resultado

usando diferentes escalas de cuantificación, pueden incluir medidas de

resultado para diferentes subgrupos de pacientes o pueden señalar medidas de

resultado en diferentes momentos del tiempo. Por ejemplo, la valoración del

efecto del tratamiento erradicador de H. pylori sobre la dispepsia funcional es

un tema intensamente controvertido. En parte, ello se debe a la falta de

acuerdo entre los diversos estudios realizados sobre cómo se deben cuantificar

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 15

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

los síntomas dispépticos y por lo tanto su mejoría: los síntomas podrían

considerarse como una variable cuantitativa y el beneficio como un descenso

determinado en el valor medio de todos los pacientes tras el tratamiento; o

también podría compararse el porcentaje de pacientes con síntomas

dispépticos de una determinada gravedad antes y después del tratamiento; por

último, otra alternativa más simplista consiste en definir como éxito terapéutico

sencillamente la ausencia de síntomas dispépticos al final del estudio. Por otra

parte, el momento preciso en que se evalúan los síntomas tras haber

administrado tratamiento erradicador de H. pylori puede ser también relevante,

pues algún estudio ha sugerido que existe una cierta latencia desde que

desaparece la infección hasta que se comprueba la mejoría sintomática (en

caso de que esto realmente ocurra).

En resumen, el formulario de extracción de datos debería contener toda la

información relevante de los estudios originales (aspectos clínicos,

metodológicos y los datos numéricos de los resultados), registrada de forma

apropiada, de tal modo que facilite llevar a cabo la revisión sin necesidad de

volver de nuevo, una y otra vez, a los estudios originales.

2.9 Análisis y presentación de los resultados

Mientras que en los estudios primarios, los investigadores seleccionan y

recogen datos de los pacientes individuales, en las revisiones sistemáticas los

investigadores seleccionan y recogen datos de los estudios primarios, a partir

de los cuales realizan los análisis. Estos pueden ser narrativos, con un

resumen estructurado y la discusión de las características de los estudios y de

sus resultados, o bien cuantitativos, con la realización de un metanálisis.

La diferencia observada en las variables de resultado entre los dos (o más)

grupos de estudio que han sido tratados de forma distinta es lo que se conoce

como el ‘efecto del tratamiento o de la intervención’. Tanto si el análisis de los

resultados de los estudios es narrativo como si es cuantitativo, se pueden

considerar cuatro preguntas para facilitar la síntesis de los resultados:

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 16

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

1. ¿Cuál es la dirección del efecto? (el tratamiento o la intervención puede

aumentar, reducir o bien no modificar la frecuencia de un resultado).

2. ¿Cuál es el tamaño del efecto? (la frecuencia de un resultado puede

modificarse – aumentar o reducir- en diversos grados, lo que determinará la

importancia clínica de este efecto).

3. ¿Es consistente el efecto en los diferentes estudios? (cuando la dirección y

el tamaño del efecto observado en los diversos estudios es consistente,

aumenta la robustez del resultado).

4. ¿Cuál es la fuerza de la evidencia para este efecto? El metanálisis

proporciona un método estadístico para contestar las preguntas 1 a 3. La

valoración de la pregunta 4 se basa en juicios basados en la valoración del

diseño del estudio y el riesgo de sesgo, así como en medidas estadísticas de

incertidumbre. (Ver apartado “Metanálisis de ensayos clínicos” para más

detalles acerca de la realización del metanálisis).

Las síntesis narrativas utilizan métodos cualitativos para contestar a las

preguntas 1 a 4, en revisiones en las que no puede utilizarse el metanálisis. En

este caso, el método utilizado en cada apartado debe especificarse

previamente, justificado y seguido de forma sistemática. Puede introducirse

sesgo si los resultados de un estudio se enfatizan de forma inapropiada en

comparación con los otros estudios.

2.10 Interpretación de los resultados

Existen algunos temas que deben ser objeto de discusión en una revisión

sistemática y que pueden ser de ayuda en la toma de decisiones, como la

solidez de la evidencia, la aplicabilidad de los resultados o el balance entre los

beneficios esperados y los posibles daños y costes de la intervención de

interés. Con respecto a la solidez de la evidencia, un buen punto de partida o

de final para la sección de discusión de una revisión es abordar cualquier

limitación metodológica importante de los estudios incluidos y de los métodos

usados en la revisión que pueda afectar a las decisiones prácticas a tomar.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 17

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

En relación a la aplicabilidad, una de las ventajas de una revisión de conjunto

es que, dado que incluye numerosos estudios, los resultados proceden de una

variedad muy diversa de pacientes3. Si los resultados son consistentes a través

de los estudios, se aplicarán por tanto a esta amplia variedad de pacientes.

Incluso así, se puede seguir teniendo dudas sobre la aplicabilidad de los

resultados. Por ejemplo, una revisión sobre la estrategia test-and-treat en la

dispepsia, basada en el diagnóstico y el consiguiente tratamiento de la

infección por H. pylori sin necesidad de practicar una gastroscopia, se basa en

una serie de estudios que evalúan dicha estrategia en pacientes dispépticos

jóvenes (por ej. menores de 50 años), pues en este grupo de edad la incidencia

de cáncer gástrico es mínima; sin embargo, el lector puede que proceda o

resida en una zona de alta incidencia de adenocarcinoma gástrico como Japón

o Latinoamérica, donde probablemente no sea aplicable este punto de corte

para la edad y sea prudente reducirlo. Por tanto, los usuarios de cualquier

revisión sistemática deben decidir si la evidencia que encuentran en ella es o

no aplicable a sus circunstancias específicas. Para hacerlo, deben decidir si los

participantes y los entornos en los estudios incluidos son razonablemente

similares a su propia situación. En general, en lugar de aplicar rígidamente los

criterios de inclusión y de exclusión de los estudios a situaciones específicas,

es mejor preguntarse si hay razones evidentes por las cuales los ensayos no

deben aplicarse en ciertas circunstancias.

Un tercer aspecto es el de si los beneficios compensan los riesgos de la

intervención. Por ejemplo, en una revisión sistemática y metanálisis llevada a

cabo por la Colaboración Cochrane sobre el efecto del tratamiento erradicador

de H. pylori en la dispepsia funcional, se concluye que la erradicación del

microorganismo tiene un pequeño pero estadísticamente significativo efecto

beneficioso; los autores plantean un modelo económico que sugiere finalmente

que este modesto beneficio es, probablemente, coste-efectivo.

Finalmente, un error común que se comete cuando la evidencia disponible no

es concluyente, tanto al describir resultados como al sacar conclusiones, es

confundir “la ausencia de evidencia de efecto” con “la evidencia de que no hay

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 18

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

ningún efecto”. Dicho de otro modo, no es lo mismo decir que un estudio “no ha

demostrado diferencias estadísticamente significativas” entre dos tratamientos,

que afirmar que realmente “no existen diferencias” y que ambos tratamientos

son equivalentes. Los autores y los lectores deben ser cuidadosos de no caer

en esta trampa, que afecta típicamente a los estudios (y también a los

metanálisis) que incluyen un reducido número de pacientes, lo que se traduce

en una escasa potencia estadística.

Una segunda equivocación común consiste en sacar conclusiones que van

más allá de la evidencia que se analiza. Por ejemplo, si un metanálisis ha

demostrado que un determinado tratamiento es más eficaz que el placebo para

controlar la hemorragia digestiva por varices en los pacientes con cirrosis

hepática, esto no implica que dicho tratamiento se siga necesariamente de una

disminución de la mortalidad, ya que es posible que ésta dependa, como

realmente ocurre, de otros factores que no se ven modificados por el

tratamiento en cuestión. Por último, incluso afirmaciones generales del tipo “se

necesitan más estudios...”, tan empleadas en las últimas líneas de muchos

manuscritos, deberían evitarse. En todo caso, los revisores deben especificar

exactamente qué investigación se necesita y su justificación precisa.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 19

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

3. METANÁLISIS DE ENSAYOS CLÍNICOS

La razón fundamental para realizar las revisiones de forma sistemática es

asegurar la validez de los resultados, pero el papel del análisis estadístico en

las revisiones puede estar menos claro. A veces, el uso de la estadística

(metanálisis) puede parecer, y quizá lo sea, más un obstáculo que una ayuda

para los que no están familiarizados con estas técnicas. Existe también el

riesgo de prestar demasiada atención al rombo-diamante situado al final del

gráfico que resume los resultados de estudios individuales en un metanálisis

(figura 2). En ocasiones, los revisores y los lectores, con las prisas de llegar al

rombo-diamante, descuidan la importancia de la reflexión y de las

consideraciones hechas en los pasos anteriores al análisis o en el análisis

mismo.

3.1 Justificación para realizar un metanálisis en una revisión sistemática

Para preparar una revisión sistemática se deben obtener datos de los estudios

individuales y, posteriormente, se pueden usar métodos estadísticos para

analizar y resumir estos datos en un único dato de síntesis o medida

combinada del efecto. Si se usan apropiadamente, dichos métodos

proporcionan una herramienta potente para llegar a unas conclusiones que

tengan sentido y ayudan a evitar errores de interpretación. Cuando en una

revisión no se usan métodos estadísticos es fácil cometer el error de comparar

el número de estudios positivos con el número de estudios negativos. Esta

especie de “recuento de votos”, en el que se confiere el mismo valor a los

estudios de pequeño y gran tamaño, es poco fiable y debe evitarse, porque un

estudio puede considerarse positivo o negativo dependiendo de cómo

interpreten los resultados los revisores y además porque no tiene en cuenta el

peso relativo de la evidencia fiable proporcionada por cada estudio3. Al “contar

los votos” también se tiende a pasar por alto los efectos pequeños pero

clínicamente relevantes, en particular al considerar como negativos los estudios

con resultados que no son estadísticamente significativos (debido

probablemente a un error beta consecuencia de la escasa potencia

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 20

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

estadística). Además, un investigador puede interpretar un estudio como

positivo mientras que otro considera el mismo como negativo; por ejemplo, un

efecto importante que no sea estadísticamente significativo podría ser

interpretado como positivo a la luz de la importancia clínica y negativo desde la

perspectiva de la significación estadística3. Sin embargo, los metanálisis

valoran los estudios de acuerdo, entre otras cosas, con su tamaño,

concediendo a los más grandes un mayor peso; por este motivo, los resultados

globales representan un promedio ponderado de los resultados de los estudios

individuales3. Por supuesto, el uso de métodos estadísticos –metanálisis– no

garantiza que los resultados de una revisión sean válidos, como ocurre también

en un estudio primario. Así, como cualquier herramienta, matemática o no, los

métodos estadísticos pueden utilizarse de modo inapropiado.

3.2 Objetivos de los metanálisis

Entre los propósitos generales comunes a cualquier metanálisis se

encuentran12:

1. Resumir los resultados de la literatura recogida y hacer de ella una

valoración cualitativa y cuantitativa.

2. Resolver la incertidumbre (por ej., si un determinado fármaco tiene efecto

beneficioso o no).

3. Mejorar la precisión del estimador del efecto testado (esto es, aumentar el

poder estadístico).

4. Comparar y contrastar los resultados divergentes de los estudios

individuales (resolver discrepancias).

5. Responder preguntas nuevas que los estudios originales no habían

planteado o no tenían suficiente poder estadístico para responderlas

(análisis de subgrupos).

6. Orientar futuros trabajos de investigación (generar hipótesis).

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 21

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

3.3 Indicaciones para la realización de un metanálisis

Existen, además, ciertas situaciones concretas en las que estaría

específicamente indicado realizar un metanálisis:

1. Cuando hay que tomar decisiones (terapéuticas por ejemplo) y no se

dispone de tiempo suficiente para realizar nuevos estudios. La revisión

sistemática es una técnica científica eficiente, pues, aunque es laboriosa y

ocupa mucho tiempo, este procedimiento es generalmente más rápido y

menos costoso que embarcarse en un nuevo estudio18.

2. Cuando existen muchos estudios no concluyentes sobre los efectos de un

tratamiento; bien porque el efecto esperable es pequeño –aunque relevante

desde el punto de vista clínico– o bien porque el estudio que se tendría que

realizar para obtener una respuesta definitiva es irrealizable. Así, los

metanálisis aumentan el poder estadístico de los estudios originales, lo que

es especialmente ventajoso en condiciones de baja prevalencia o cuando

se evalúan efectos de pequeña magnitud18. Un bonito ejemplo es el

representado por el logotipo de la Colaboración Cochrane (ver figura 2),

que ilustra la capacidad de los corticoides para reducir la mortalidad

perinatal en los recién nacidos de mujeres con riesgo de parto prematuro,

mediante un metanálisis que incluye 7 ensayos clínicos aleatorizados: el

efecto beneficioso es estadísticamente significativo, a pesar de que sólo

dos de los estudios mostraban un claro efecto a favor de los corticoides18.

3. Cuando los resultados entre estudios son divergentes o incluso

contradictorios. En estos casos el metanálisis puede contribuir a explicar el

porqué de las discrepancias entre estudios.

4. Cuando se desea establecer con cierta precisión la magnitud del efecto de

una intervención sanitaria.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 22

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

3.4 Características del metanálisis

¿Qué es el metanálisis? Tal como lo hemos definido anteriormente, es el

análisis estadístico de una serie de estudios individuales, con el objeto de

integrar los resultados en una medida resumen.

La idea clave es que el propósito del metanálisis es combinar resultados

numéricos; en otras palabras, a partir de los estimadores de efecto de los

distintos estudios (ya sean odds ratios, riesgos relativos o diferencias de

medias) se calcula un estimador de efecto global.

El metanálisis es conceptualmente muy sencillo: el estimador de efecto global

se calcula como una media ponderada de los estimadores de efecto de los

estudios. Por ejemplo, las diferencias de riesgo de los estudios individuales se

ponderan y se calcula la media de todas ellas; el resultado es la diferencia de

riesgo combinada que tomamos como resultado del metanálisis y que se

presenta de forma gráfica, acompañada de su intervalo de confianza (ver figura

2).

En el momento de combinar los resultados de diferentes estudios, cada estudio

tiene un peso específico en el conjunto del metanálisis dependiendo de su

tamaño. Este peso refleja la cantidad de información que el estudio contiene y

aporta al metanálisis (básicamente el número de eventos observado). Así, a los

estudios con mayor información se les asigna un mayor peso y, por tanto, sus

resultados influyen más en el cálculo del estimador global del efecto en

comparación con otros estudios más pequeños y/o con menor número de

eventos. Existen diversos métodos para asignar pesos a los estudios

individuales, todos ellos basados en el mismo fundamento, siendo el más

conocido el método del inverso de la varianza (siendo la varianza inversamente

proporcional al tamaño del estudio). Por esta razón, la estimación global del

efecto no es simplemente una media aritmética de todos los resultados sino

una media ponderada de los mismos.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 23

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

3.5 Tipos de variables y medidas de efecto

El primer paso y el más importante en la planificación del análisis consiste en

especificar qué comparaciones se harán. Estas deben relacionarse clara y

directamente con las preguntas que se plantean cuando se formula el objetivo

de la revisión. Las comparaciones principales deben especificarse en el

protocolo de la revisión. Una vez se han especificado las comparaciones, el

próximo paso consiste en preparar resúmenes de los datos en forma de tablas.

En el caso de variables dicotómicas (resultados que están presentes o

ausentes, como la mortalidad), los datos que deben resumirse son el número

de personas que experimentaron el suceso o resultado en cada grupo de

comparación, y el número total de personas asignadas aleatoriamente a cada

grupo. En el caso de variables continuas (como la tensión arterial), los datos

que deben resumirse son el número de personas en cada grupo y la media y la

desviación estándar de la medida de resultado en cada grupo.

Por lo que respecta a las medidas de efecto (expresión numérica del efecto de

la intervención) que utilizaremos, dependerá del tipo de variables que

tengamos. En el caso de variables dicotómicas, las medidas de efecto que se

utilizan son: el riesgo relativo (RR), el odds ratio (OR) y la diferencia de riesgos

(DR). En el caso de variables continuas, se utilizan la diferencia de medias

(DM) y la diferencia de medias estandarizada (DME).

A continuación se repasan brevemente cada una de estas medidas de efecto.

En el caso de variables dicotómicas se calculan a partir de una tabla 2x2, como

la que se muestra en la tabla IIIa.

Tal como se muestra en el ejemplo de la tabla IIIb, el riesgo relativo compara la

probabilidad de presentar la variable de resultado de interés en el grupo de

intervención con la probabilidad en el grupo control y la fórmula para calcularlo

es RRi = (ai / n1i) / (bi /n2i).

El odds ratio es una medida de asociación estadística que compara las

oportunidades (¡ojo, aquí no se trata de probabilidades!) de presentar la

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 24

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

variable de resultado que tienen los pacientes del grupo intervención respecto a

los del grupo control y se calcula como ORi = aidi /bici. La tabla IIIc muestra un

ejemplo de Odds Ratio.

La diferencia de riesgos (DR) es la medida de efecto más intuitiva pero la

menos utilizada. Consiste en la diferencia entre la probabilidad de presentar la

variable de resultado en el grupo de intervención y la probabilidad en el grupo

control. Se calcula como RDi = (ai /n1i) – (bi /n2i), y se muestra un ejemplo en la

tabla IIId.

Las primeras dos medidas de efecto (riesgo relativo y odds ratio) son medidas

relativas que informan, en términos relativos, acerca de la magnitud del efecto

esperable con el tratamiento (por ejemplo, informan que el riesgo se reduce a

la mitad, o a un tercio). La última medida (diferencia de riesgos) informa en

términos absolutos del impacto real del tratamiento (por ejemplo, con el

tratamiento los eventos se reducen en un 20% pasando de una tasa del 80%

sin tratamiento al 60% con tratamiento).

En el caso de variables continuas, podemos medir el efecto de una intervención

comparando las medias del resultado en uno y otro grupo de pacientes,

mediante su diferencia: la diferencia de medias (DM).

Otra medida de efecto utilizada en variables continuas es la diferencia de

medias estandarizada (DME) y consiste en calcular la diferencia de medias y

dividirla por la estimación conjunta de la desviación estándar (asumiendo que

es idéntica en ambos grupos). Esta se calcula fácilmente a partir de las

desviaciones estándares en cada grupo de intervención. Esta medida es

necesaria cuando los estudios han utilizado diferentes escalas de medida para

un mismo resultado.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 25

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

3.6 Homogeneidad de efectos

En la elaboración de una revisión sistemática, desde el principio se intenta

garantizar la homogeneidad clínica estableciendo unos criterios de inclusión

bien delimitados, que definen una población de estudios suficientemente

parecida en cuanto a diseño del estudio, participantes incluidos, intervenciones

aplicadas, etc. No se trata de que los estudios sean iguales (¡lo que sería del

todo imposible e incluso innecesario!) sino razonablemente semejantes como

para que tenga algún sentido analizarlos conjuntamente. A pesar de este filtro

cualitativo que aplicamos a los estudios al inicio de la revisión cuando

decidimos su inclusión, puede ser que los resultados de los mismos no sean

parecidos, pudiendo existir heterogeneidad de efectos estadísticamente

significativa - término opuesto a homogeneidad de efectos. La heterogeneidad

de efectos estadísticamente significativa implica que la variabilidad entre los

efectos (las diferencias entre intervención y control observadas en los distintos

estudios) es mayor de lo que podría esperarse por azar.

Para detectar este tipo de heterogeneidad, ya sea en medidas de resultado

continuas o dicotómicas, podemos aplicar una de las pruebas de significación

desarrolladas para este fin, como es la prueba de Cochran basada en la chi-

quadrado. Esta prueba compara las medidas de efecto individuales de los

estudios con el resultado global del metanálisis. Cuando la prueba es

significativa, indica que los resultados son muy diferentes o inconsistentes, es

decir, hay mucha dispersión en los resultados de los estudios, y por tanto un

grado elevado de heterogeneidad. Dado que normalmente el número de

estudios incluidos en un metanálisis es bajo, esta prueba tiene poca potencia y

por ello se recomienda fijar un valor p de 0,1 como umbral de significación. Es

decir, si en nuestra revisión la prueba de heterogeneidad nos da un valor de

p=0,08, diremos que existe heterogeneidad significativa (al nivel de

significación α=0,10).

Existe otro estadístico, el I2, que mide la proporción de la variación en el

estimador global del efecto que no puede ser explicada simplemente por el

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 26

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

azar. Se expresa como un porcentaje, siendo los valores más altos los

indicadores de heterogeneidad. A grandes rasgos, los valores de 25%, 50% y

75% representan valores de heterogeneidad baja, moderada o muy alta19. En la

figura 3 se presentan dos ejemplos de metanálisis con y sin heterogeneidad.

Frente a una situación con heterogeneidad significativa y preocupante, la

primera pregunta que debe hacerse el revisor es "¿tiene sentido combinar

estos resultados?". En otras palabras, el revisor debe cuestionarse, qué

interpretabilidad tiene una medida combinada de efecto si los resultados que se

combinan son extremadamente dispares y existe la sospecha fundada de que

esta heterogeneidad no es debida al azar. Si el revisor contesta negativamente

a su pregunta, deberá desestimar la realización del metanálisis y optar por

presentar los resultados individuales de los estudios, al tiempo que investiga

cuáles son las causas de la heterogeneidad y qué factores clínicos o del diseño

y realización de los estudios podrían estar implicados en ella. Esta

investigación a posteriori de las fuentes de heterogeneidad permitirá

profundizar en los aspectos médicos y metodológicos del tema de revisión,

incrementando el conocimiento sobre la patología y el tratamiento

considerados. A veces, a partir del estudio de las causas de heterogeneidad,

se podrán formular hipótesis de investigación a demostrar en futuros trabajos

clínicos o de revisión. Por estas razones, el revisor observa heterogeneidad en

sus resultados, no debe sentirse decepcionado y pensar que su esfuerzo ha

sido en vano, pues si bien es cierto que no podrá presentar un estimador de

efecto combinado que exprese la eficacia del tratamiento estudiado, también es

cierto que ve abierto ante sí una vía de estudio que probablemente le reportará

otros muchos resultados y conocimientos de interés, y permitirá tomar

decisiones bien informadas20.

El riesgo basal de la población de estudio es quizás el primer factor a tener en

cuenta en el estudio de las causas de heterogeneidad. Asi, por ejemplo,

estudios realizados en pacientes más graves o con peor pronóstico (asma

grave; cáncer metastático; pacientes pluripatológicos; pacientes de edad

avanzada…) pueden arrojar resultados distintos a otros estudios realizados en

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 27

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

pacientes con menor riesgo (asma leve; cáncer localizado; pacientes sin otras

patologías asociadas; pacientes jóvenes…). Otra posible causa de

heterogeneidad está relacionada con diferencias en el modo de administración

(dosis, duración, etc.) de la intervención en estudio. Así, por ejemplo, un

análisis más profundo de la heterogeneidad demuestra que la reducción del

riesgo de enfermedad isquémica depende fundamentalmente de la magnitud y

la duración de la reducción del colesterol sérico. Otras posibles causas serían

diferencias en los instrumentos de medida y/o criterios de interpretación, o en el

diseño del estudio (por ejemplo, diseño abierto versus doble-ciego), entre otras.

Un metanálisis que no tenga en cuenta estos factores, puede llevar a

conclusiones falsas21.

Volviendo a la pregunta sobre la conveniencia de realizar metanálisis, si el

revisor responde afirmativamente, deberá preguntarse a continuación “¿qué

modelo estadístico -efectos fijos o aleatorios- es más adecuado en esta

situación?"

3.7 Análisis de efectos fijos versus análisis de efectos aleatorios

Existen diversas técnicas para resumir los resultados de los estudios, todas

ellas con sus defensores y detractores. El resultado es que no existe un

consenso acerca de qué técnica es más adecuada en general, pues cada una

de ellas puede ser la más indicada en una situación concreta.

Los dos modelos estadísticos utilizados para realizar el metanálisis son el

modelo de efectos fijos y el modelo de efectos aleatorios. El modelo de efectos

fijos asume que existe un único valor verdadero subyacente y que todos los

estudios estiman ese único valor real. En consecuencia, este modelo asume

que las diferencias observadas entre las estimaciones del efecto son debidas

únicamente a variaciones dentro de los estudios. El modelo sólo contempla una

potencial fuente de variabilidad intra-estudio (varianza), ignorando las posibles

variaciones que existan los estudios.

El modelo de efectos aleatorios, por el contrario, asume que existe un rango

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 28

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

de posibles valores reales del efecto del tratamiento, e incorpora esta variación

entre estudios (además de la variabilidad intra-estudio) en la estimación de la

medida de efecto combinada. Los dos modelos proporcionaran resultados

prácticamente idénticos en las situaciones en que no existe heterogeneidad de

efectos, y proporcionarán resultados progresivamente distintos cuanta más

heterogeneidad exista entre los estudios analizados.

3.8 Métodos de combinación de medidas de efecto

Existen cuatro grandes métodos de combinación de medidas de efecto, que se

describen a continuación a grandes rasgos. En primer lugar, existe el método del inverso de la varianza aparecido ya en los años 3022. Este método

pondera los resultados de cada estudio por el inverso de la varianza observada

en ese estudio, es decir, por su precisión. Con este método los estudios de

mayor tamaño muestral y/o mayor número de eventos, que son los que

presentan menos variabilidad en sus resultados, tendrán más peso en el

análisis que los estudios pequeños y/o con menos eventos, cuyos resultados

son menos precisos. Este método se puede aplicar a cualquier medida de

efecto (tanto para datos continuos como para datos dicotómicos), y bajo

cualquiera de los dos modelos (efectos fijos y efectos aleatorios). La

generalización del método para el modelo de efectos aleatorios se denomina

método de DerSimonian-Laird, y consiste en ponderar los estudios

individuales por el inverso de la suma de la varianza individual (varianza intra-

estudio) y la varianza global (varianza entre-estudios)23. De esta forma, los

estudios se ponderan por su variabilidad interna pero también por la

variabilidad o heterogeneidad observada entre los resultados de los distintos

estudios. En el método de DerSimonian-Laird, correspondiente al modelo de

efectos aleatorios, los estudios de menor tamaño reciben más ponderación que

con el método del inverso de la varianza bajo el modelo de efectos fijos.

En tercer lugar, tenemos el método de Mantel-Haenzsel24. Este método es

una generalización del método de Mantel-Haenzsel para calcular odds ratios en

tablas estratificadas. Este método se aplica bajo el modelo de efectos fijos, y

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 29

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

únicamente a estimadores de efecto de variables dicotómicas (odds ratio,

riesgo relativo y diferencia de riesgos).

Finalmente, existe el método de Peto para combinar odds ratios de Peto bajo

el modelo de efectos fijos. En este método, los odds ratios individuales se

ponderan por una estimación de la varianza (basada en la distribución

hipergeométrica) de los sucesos observados en el grupo intervención. El

método fue descrito por primera vez por Peto en 197725.

En la tabla IV se resumen los métodos estadísticos de metanálisis disponibles

en el programa informático RevMan de la Colaboración Cochrane.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 30

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

4. PRISMA: ESTÁNDARES PARA LA PUBLICACIÓN DE REVISIONES SISTEMÁTICAS Y METANÁLISIS

El gran número de revisiones sistemáticas y metanálisis publicados durante los

últimos años, no siempre de alta calidad, ha llevado a la necesidad de

desarrollar normas para su correcta publicación que faciliten su interpretación y

garanticen su correcto desarrollo. Con este fin se creó QUOROM, un grupo de

trabajo multidisciplinario, formado por epidemiólogos, clínicos, estadísticos,

editores e investigadores. En 1999 este grupo publicó la declaración QUOROM

(QUality Of Reporting Of Meta-analyses)4, una lista de comprobación y un

diagrama de flujo de ensayos clínicos, con el objetivo de facilitar la publicación

de revisiones sistemáticas y metanálisis. Recientemente QUOROM se ha

actualizado y ha pasado a llamarse PRISMA (Preferred Reporting Items for

Systematic reviews and Meta-Analyses)5,6, a la vez que se han actualizado

también la lista de comprobación (tabla II) y del diagrama de flujo de estudios

(figura 1).

La lista se estructura en seis categorías que se corresponden con cada una de

las secciones que componen un artículo científico (título, resumen,

introducción, métodos, resultados y discusión) y su finalidad es alentar a los

autores a publicar toda la información necesaria para poder interpretar

correctamente los resultados de una revisión sistemática o de un metanálisis.

El título debe identificar la publicación como una revisión sistemática o

metanálisis de ensayos clínicos y el abstract debe tener un formato

estructurado. En los objetivos se describe la pregunta clínica que la revisión

quiere contestar (con formato PICO, es decir, especificando la población, las

intervenciones, las comparaciones y las variables de resultado), que se

corresponde con los criterios para la selección de los estudios.

En el apartado de métodos se debe indicar si existe un protocolo previo a la

revisión y se deben especificar los criterios de inclusión de los estudios, así

como describir con detalle las fuentes de información utilizadas (bases de

datos, registros, ficheros personales, informes de expertos, agencias,

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 31

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

búsqueda manual, etc.) y la búsqueda electrónica. También deben constar las

posibles restricciones (años considerados, estudios publicados o no, idioma) y

deben describirse los métodos para extraer los datos (de forma independiente,

por duplicado, etc.). En el apartado de métodos también deben detallarse los

métodos utilizados para valorar el riesgo de sesgo de los estudios, las medidas

de efecto utilizadas (riesgo relativo, diferencia de medias, etc.) y los métodos

de análisis planificados, así como análisis de sensibilidad o subgrupos.

En el apartado de resultados debe presentarse el diagrama de flujo de estudios

(ver figura 1), en el que se describe todo el proceso desde los resultados de la

búsqueda de estudios hasta la selección definitiva de los mismos, detallando

los estudios excluidos y las razones para ello. Algunas revisiones incluyen

solamente ensayos clínicos, mientras que otras incluyen otro tipo de diseños,

como estudios observacionales, y esto debería estar descrito. A continuación

se describen los datos de cada uno de los estudios (como la edad, el tamaño

de la muestra, la intervención, la dosis, la duración, el período de seguimiento)

y el riesgo de sesgo de los mismos. Finalmente se expone la síntesis

cuantitativa de los datos, con un informe sobre el grado de acuerdo en la

selección y la presentación de forma clara y ordenada de los resultados para

cada grupo de tratamiento en cada estudio, para cada variable de resultado

principal. Se deben presentar también los datos para calcular el tamaño del

efecto y los intervalos de confianza según un análisis por intención de tratar

(por ejemplo mediante tablas de 2x2, medias y desviaciones estándar,

proporciones, etc.).

La discusión incluye un resumen breve de los resultados principales, las

limitaciones (validez e información de los estudios incluidos, limitaciones en el

proceso de revisión) y la aplicabilidad de la revisión. Las conclusiones incluyen

una interpretación general de los resultados y la implicación para la

investigación futura.

Finalmente deben mencionarse las fuentes de financiación para la realización

de la revisión sistemática, así como otras posibles fuentes de apoyo y si existe

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 32

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

cualquier implicación de los financiadores en la realización de la revisión

sistemática.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 33

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

5. UNA BREVE EXPLICACIÓN DEL LOGO DE LA COLABORACIÓN COCHRANE

El logotipo de la Colaboración Cochrane ilustra una revisión sistemática de los

datos de siete ensayos clínicos controlados.

El diagrama muestra el resultado de una revisión sistemática de ensayos

clínicos que evalúan el efecto de la administración de un curso de tratamiento

corto y barato con corticoesteroides en mujeres gestantes con amenaza de

parto prematuro. El primero de estos ensayos se publicó en el año 1972. El

diagrama resume la evidencia puesta de manifiesto al revisar sistemáticamente

todos los ensayos existentes sobre esta misma cuestión, una década más

tarde. Indica claramente que los corticoesteroides reducen el riesgo de morir de

los recién nacidos a causa de las complicaciones derivadas de la inmadurez

fetal. En el año 1991, siete ensayos clínicos adicionales habían sido publicados

y por tanto la figura en el logotipo se hizo más intensa, indicando que este

tratamiento reduce entre un 30% y un 50% la probabilidad de morir de estos

recién nacidos.

Dado que no se publicó ninguna revisión sistemática de estos ensayos hasta

1989, la mayoría de los obstetras no conocía que el tratamiento era tan

efectivo. Como resultado, decenas de miles de recién nacidos prematuros

probablemente padecieron y murieron innecesariamente (aparte de que han

generado un gasto sanitario mayor del necesario). Éste es sólo uno de los

múltiples ejemplos de los costos humanos resultantes de la incapacidad de

realizar revisiones sistemáticas actualizadas de los ensayos clínicos

relacionados con la atención sanitaria.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 34

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

6. LECTURAS Y LINKS

• El Centro Cochrane Iberoamericano es uno de los Centros de la

Colaboración Cochrane. Está situado en Barcelona y coordina la Red

Cochrane Iberoamericana. Entre sus objetivos está facilitar apoyo

metodológico y estadístico a aquellas personas que quieran llevan a cabo

revisiones sistemáticas Cochrane.

http://www.cochrane.es/

• La Biblioteca Cochrane Plus incluye la Base de Datos Cochrane de

Revisiones Sistemáticas, el Registro Central Cochrane de Ensayos

Controlados y el Registro de Ensayos Clínicos Iberoamericanos, entre otras

bases de datos. Es de acceso gratuito en España, gracias a un convenio

con el Ministerio de Sanidad.

http://www.bibliotecacochrane.net/

• El Manual Cochrane de Revisiones Sistemáticas de Intervenciones ofrece

directrices para la elaboración de revisiones sistemáticas Cochrane.

http://www.cochrane-handbook.org/

• Review Manager es el programa creado por la Colaboración Cochrane para

preparar y mantener las revisiones Cochrane. Puede descargarse

gratuitamente.

http://ims.cochrane.org/revman

• Otras organizaciones relacionadas con la medicina basada en la

evidencia y las revisiones sistemáticas:

Centre for reviews and dissemination. University of York:

http://www.york.ac.uk/inst/crd/index.htm

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 35

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

Bandolier Evidence-Based Healthcare:

http://www.jr2.ox.ac.uk/bandolier/index.html

Berkeley Systematic Reviews Group:

http://www.medepi.org/meta/index.html

Clinical Evidence. Producido por el British Medical Journal. Es un

compendio de respuestas documentadas y actualizadas para situaciones

clínicas concretas:

http://www.clinicalevidence.org

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 36

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

7. RESUMEN

El gran número de publicaciones científicas en la actualidad ha propiciado el

desarrollo de revisiones sistemáticas: investigaciones científicas en sí mismas

que con métodos explícitos y sistemáticos llevan a cabo la identificación, la

selección y la síntesis de estudios originales entorno a una pregunta

estructurada. Las revisiones sistemáticas pueden incluir o no metanálisis. Los

metanálisis consisten en la combinación estadística de al menos dos estudios

para obtener una estimación o suma única del efecto de la intervención y

presentarlos de manera gráfica.

Para asegurar la calidad de las revisiones sistemáticas y los metanálisis se

publicó la declaración QUOROM (ahora denominada PRISMA) que incluye una

lista de comprobación y un diagrama de flujo de estudios. La lista de

comprobación describe todos los datos que deben constatarse para la correcta

publicación de revisiones sistemáticas y metanálisis. Por su parte el diagrama

de flujo de estudios describe todo el proceso desde la identificación inicial de

los estudios potencialmente relevantes hasta la selección definitiva de los

mismos.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 37

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

8. EJERCICIOS

Ejercicio 1

Señala la afirmación correcta acerca del componente de la pregunta:

“población o problema”:

1. Basta con mencionar, sin necesidad de definir, la enfermedad o condición de

interés.

2. No suele ser necesario establecer unos criterios suficientemente explícitos

para definir la enfermedad o condición de interés.

3. A menudo, las revisiones sistemáticas se focalizan en un estadio evolutivo o

nivel de gravedad específico de la enfermedad.

4. Una revisión jamás debería focalizarse en un grupo específico de la

población de interés.

5. No es necesario que las restricciones basadas en características específicas

de la población o del ámbito de estudio estén siempre justificadas por evidencia

ya reconocida.

Ejercicio 2

Señala la afirmación correcta sobre la heterogeneidad de los ensayos clínicos:

1. Se define como la falta de diferencia en los resultados de los ensayos

clínicos por encima de lo que podría esperarse por el azar.

2. Un valor alto del estadístico I2 indica un bajo grado de heterogeneidad.

3. Los ensayos que presentan gran heterogeneidad clínica y estadística no

deben combinarse estadísticamente.

4. El modelo de efectos aleatorios no tiene en cuenta las distintas variaciones

entre los ensayos clínicos.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 38

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

5. No existe ningún test estadístico para medir la heterogeneidad.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 39

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

Referencias bibliográficas

1. Sáenz A, Ausejo M. Guía para leer e interpretar una revisión sistemática.

Rev Soc Mad Med Fam Comunit. 2000; 2: 29-36.

2. Cook DJ, Mulrow CD, Haynes RB. Systematic reviews: synthesis of best

evidence for clinical decisions. Ann Intern Med. 1997; 126: 376-80.

3. Oxman AD, Cook DJ, Guyatt GH. Users' guides to the medical literature. VI.

How to use an overview. Evidence-Based Medicine Working Group. JAMA.

1994; 272: 1367-71.

4. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF, et al.

Improving the quality of reports of meta-analyses of randomised controlled

trials: the QUOROM statement. Lancet. 1999; 354: 1896-900.

5. Moher D, Liberati A, Tetzlaff J, Altman DG; The PRISMA Group. Preferred

reporting items for systematic reviews and meta-analyses: The PRISMA

Statement. PLoS Med. 2009; 6(7): e1000097.

6. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche PC, Ioannidis JPA et

al. The PRISMA statement for reporting systematic reviews and meta-

analyses of studies that evaluate health care interventions: explanation and

elaboration. PLoS Med. 2009; 6(7): e1000100.

7. Review Manager (RevMan) [Computer program]. Version 5.0. Copenhagen:

The Nordic Cochrane Centre, The Cochrane Collaboration, 2008.

8. Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews

of Interventions Version 5.0.1 [updated September 2008]. The Cochrane

Collaboration, 2008. Available from www.cochrane-handbook.org.

9. Richardson WS, Wilson MC, Nishikawa J, Hayward R. The well-built clinical

question: a key to evidence-based decisions. ACP Journal Club. 1995; 123:

A12.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 40

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

10. Guyatt G, Rennie D, eds. Users' Guide to the Medical Literature: A Manual

for Evidence-Based Clinical Practice. Chicago: AMA Press; 2002.

11. Counsell C. Formulating questions and locating primary studies for inclusion

in systematic reviews. Ann Intern Med. 1997; 127: 380-7.

12. Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison

of results of meta-analyses of randomized control trials and

recommendations of clinical experts. Treatments for myocardial infarction.

JAMA. 1992; 268: 240-8.

13. Oxman AD. Checklists for review articles. BMJ. 1994; 309: 648-51.

14. Chalmers TC, Celano P, Sacks HS, Smith H, Jr. Bias in treatment

assignment in controlled clinical trials. N Engl J Med. 1983; 309: 1358-61.

15. Moher D, Pham B, Jones A, Cook DJ, Jadad AR, Moher M, et al. Does

quality of reports of randomised trials affect estimates of intervention

efficacy reported in meta-analyses? Lancet. 1998; 352: 609-13.

16. Juni P, Altman DG, Egger M. Systematic reviews in health care: Assessing

the quality of controlled clinical trials. BMJ. 2001; 323: 42-6.

17. Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh S. Assessing

the quality of randomized controlled trials: an annotated bibliography of

scales and checklists. Control Clin Trials. 1995; 16: 62-73.

18. López Arrieta JM, Qizilbash N. La medicina basada en pruebas: revisiones

sistemáticas. La Colaboración Cochrane. Med Clin (Barc). 1996; 107: 581-

5.

19. Higgins JP, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency

in meta-analyses. BMJ. 2003; 327 (7414): 557-60.

20. Smith GD; Egger M. Treating low risk patients can be a high risk strategy.

BMJ. 1994; 308 (6921): 72-4.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 41

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

21. Thompson SG. Why sources of heterogeneity in meta-analysis should be

investigated. BMJ. 1994; 309:1351-5.

22. Cochran WE. Problems arising in the analysis of a series of similar

experiments. J Roy Statist Soc. 1937; 4 (Suppl): 102-18.

23. DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clin

Trials. 1986; 7: 177-88.

24. Mantel N, Haenzsel W. Statistical aspects of the analysis of data from

retrospective studies of disease. J Nat Cancer Inst. 1959; 22: 719-48.

25. Peto R, Pike MC, Armitage P, Breslow NE, Cox DR, Howard SV, et al.

Design and analysis of randomized clinical trials requiring prolonged

observation of each patient. II: Analysis and examples. Br J Cancer. 1977;

35: 1-39.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 42

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

TABLAS Y FIGURAS

T 1 Revisiones sistemáticas frente a revisiones narrativas

Característica Revisión narrativa Revisión sistemática

Pregunta de investigación

Con frecuencia amplia y poco definida

Clara, concreta, centrada en una cuestión clínica bien definida

Fuentes de información y revisión de la literatura

No especificada. No dirigida a localizar todos los estudios. Alta probabilidad de sesgo

Estrategia de búsqueda sistemática y explícita de todas las fuentes y artículos potencialmente relevantes

Selección de estudios Generalmente sin criterios de selección. Alta probabilidad de sesgo

Descripción explícita de criterios de selección. Selección aplicada de manera uniforme

Calidad de los estudios

Generalmente no evaluada Evaluación crítica de la calidad metodológica de los estudios revisados

Síntesis de datos Resumen subjetivo, generalmente cualitativo, sin un estimador estadístico

Basada en la calidad metodológica de los estudios, a menudo resumida (cuantificada) por un estimador estadístico

Interpretación En ocasiones basada en la evidencia, pero con frecuencia basada en los estudios que se han seleccionado subjetivamente y en opiniones personales

Generalmente basada en la evidencia científica, con identificación de las lagunas de conocimiento que persisten

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 43

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

T 2 Lista de comprobación en PRISMA

Section/topic # Checklist item

TITLE

Title 1 Identify the report as a systematic review, meta-analysis, or both.

ABSTRACT

Structured summary 2 Provide a structured summary including, as applicable: background; objectives; data sources; study eligibility criteria, participants, and interventions; study appraisal and synthesis methods; results; limitations; conclusions and implications of key findings; systematic review registration number.

INTRODUCTION

Rationale 3 Describe the rationale for the review in the context of what is already known.

Objectives 4 Provide an explicit statement of questions being addressed with reference to participants, interventions, comparisons, outcomes, and study design (PICOS).

METHODS

Protocol and registration

5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address), and, if available, provide registration information including registration number.

Eligibility criteria 6 Specify study characteristics (e.g., PICOS, length of follow-up) and report characteristics (e.g., years considered, language, publication status) used as criteria for eligibility, giving rationale.

Information sources 7 Describe all information sources (e.g., databases with dates of coverage, contact with study authors to identify additional studies) in the search and date last searched.

Search 8 Present full electronic search strategy for at least one database, including any limits used, such that it could be repeated.

Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review, and, if applicable, included in the meta-analysis).

Data collection process 10 Describe method of data extraction from reports (e.g., piloted forms, independently, in duplicate) and any processes for obtaining and confirming data from investigators.

Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources) and any assumptions and simplifications made.

Risk of bias in individual studies

12 Describe methods used for assessing risk of bias of individual studies (including specification of whether this was done at the study or outcome level), and how this information is to be used in any data synthesis.

Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means).

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 44

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

Synthesis of results 14 Describe the methods of handling data and combining results of

studies, if done, including measures of consistency (e.g., I2 ) for

each meta-analysis.

Risk of bias across studies

15 Specify any assessment of risk of bias that may affect the cumulative evidence (e.g., publication bias, selective reporting within studies).

Additional analyses 16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-regression), if done, indicating which were pre-specified.

RESULTS

Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review, with reasons for exclusions at each stage, ideally with a flow diagram.

Study characteristics 18 For each study, present characteristics for which data were extracted (e.g., study size, PICOS, follow-up period) and provide the citations.

Risk of bias within studies

19 Present data on risk of bias of each study and, if available, any outcome-level assessment (see Item 12).

Results of individual studies

20 For all outcomes considered (benefits or harms), present, for each study: (a) simple summary data for each intervention group and (b) effect estimates and confidence intervals, ideally with a forest plot.

Synthesis of results 21 Present results of each meta-analysis done, including confidence intervals and measures of consistency.

Risk of bias across studies

22 Present results of any assessment of risk of bias across studies (see Item 15).

Additional analysis 23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression [see Item 16]).

DISCUSSION

Summary of evidence 24 Summarize the main findings including the strength of evidence for each main outcome; consider their relevance to key groups (e.g., health care providers, users, and policy makers).

Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review level (e.g., incomplete retrieval of identified research, reporting bias).

Conclusions 26 Provide a general interpretation of the results in the context of other evidence, and implications for future research.

FUNDING

Funding 27 Describe sources of funding for the systematic review and other support (e.g., supply of data); role of funders for the systematic review.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 45

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

T 3A Resultados de un EC con variable dicotómica Tabla de contingencia 2x2

Estudio1 Intervención Control

Evento ai bi

No evento ci di

Total a1i n2i

T 3B Ejemplo de Riesgo Relativo

Fuente: Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet. 2008; 371: 1839-47.

Infarto de miocardio a los 30 días:

Metoprolol Placebo

Sí 176 239

No 3.998 3.938

4.174 4.177

Riesgo de infarto de miocardio a los 30 días en el grupo asignado a metoprolol: 176 / 4.174 = 0,042 (4,2%)

Riesgo de infarto de miocardio a los 30 días en el grupo asignado a placebo: 239 / 4.177 = 0,057 (5,7%)

RR = 0,042 / 0,057 = 0,74 (0,60 a 0,89)

Con metroprolol, el riesgo de presentar un infarto de miocardio en los 30 días se redujo en un 26% con respecto al placebo.

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 46

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

T 3C Ejemplo de Odds Ratio

Fuente: Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet. 2008; 371: 1839-47.

Infarto de miocardio a los 30 días:

Metoprolol Placebo

Sí 176 239

No 3.998 3.938

4.174 4.177

Odds de infarto de miocardio a los 30 días en el grupo asignado a metoprolol: 176 / 3.998 = 0,044 (-> entre los tratados con metroprolol, es 23 veces menos probable presentar un infarto de

miocardio que presentarlo)

Odds de infarto de miocardio a los 30 días en el grupo asignado a placebo: 239 / 3.938 = 0,061 (-> entre los que recibieron placebo, es 17 veces menos probable presentar un infarto de miocardio

que presentarlo)

OR = 0,044 / 0,061 = 0,72 (0,59 a 0,88)

Con metroprolol, la oportunidad o ventaja (odds) de presentar un infarto de miocardio en los 30 días es un 28% menor con respecto al placebo.

T 3D Ejemplo de diferencia de riesgos

Fuente: Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet. 2008; 371: 1839-47

Infarto de miocardio a los 30

días:

Metoprolol Placebo

Sí 176 239

No 3.998 3.938

4.174 4.177

Riesgo de infarto de miocardio a los 30 días en el grupo asignado a metoprolol: 176 / 4.174 = 0,042 (4,2%)

Riesgo de infarto de miocardio a los 30 días en el grupo asignado a placebo: 239 / 4.177 = 0,057 (5,7%)

DR = 0,042 – 0,057 = 0,015 (1,5%) (0,57% a 2,43%)

El riesgo de presentar un infarto de miocardio en los 30 días se redujo un 1.5% con metoprolol (pasó de 5,7% a 4,2%).

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 47

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

T 4 Métodos estadísticos de metanálisis disponibles en el programa informático RevMan de la Colaboración Cochrane

Tipo de datos Medida de efecto Modelo Método

Odds ratio Efectos fijos

Efectos aleatorios

Mantel-Haenzsel

Inverso varianza

Mantel-Haenzsel

Inverso varianza

Odds ratio Peto Efectos fijos Peto

Riesgo Relativo Efectos fijos

Efectos aleatorios

Mantel-Haenzsel

Inverso varianza

Mantel-Haenzsel

Inverso varianza

Dicotómicos

Diferencia de riesgos Efectos fijos

Efectos aleatorios

Mantel-Haenzsel

Inverso varianza

Mantel-Haenzsel

Inverso varianza

Diferencia de medias Efectos fijos

Efectos aleatorios

Inverso varianza

Inverso varianza

Continuos

Diferencia de medias

estandarizada

Efectos fijos

Efectos aleatorios

Inverso varianza

Inverso varianza

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 48

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

49

F 3·1 Diagrama de flujo de estudios en PRISMA

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 49

DISEÑO y ANÁLISIS de INVESTIGACIONES CLÍNICAS: MÓDULO IV

U3– Diseño de revisiones sistemáticas y metanálisis de ensayos clínicos

50

F 3·2 Logotipo de la Colaboración Cochrane

F 3·3 Ejemplos de metanálisis con y sin heterogeneidad

© Centro de Estudios Colegiales – Colegio Oficial de Médicos de Barcelona 50