Mini curso

Análisis Cualitativo de datos para la evaluación

de resultados y percepciones de proyectos Sergio Martinic, PUC, Chile

smartini@uc.cl

V Seminário da Rede Brasileira de

Monitoramento.Universidade Estadual de

Campinas (UNICAMP).

25 Septiembre 2013

Objetivos mini curso

• Analizar importancia de análisis cualitativo de datos en

evaluación de proyectos y políticas.

• Diferencias métodos cuantitativos y cualitativos

• Bases conceptuales y procedimientos de método de

análisis estructural semántico.

• Conceptos claves: categorías y relaciones entre

categorías

• Interpretar resultados y plantear hipótesis interpretativas

• Criterios de rigor análisis de datos cualitativos.

•

Módulos temáticos • Modulo 1. Evaluación, paradigmas y análisis de datos cualitativos

• Evaluación cualitativa; Métodos cualitativos y cuantitativos; conceptos de

clasificación y construcción de categorías. Presentación general de métodos de

análisis de textos y de observaciones.

• Modulo 2. Análisis de opiniones y representaciones sociales

• Se analizarán el objeto de evaluación cualitativa y las bases teóricas del análisis

estructural de datos. Conceptos descriptivos (código de base y de calificación)

• Modulo 3. Códigos, relaciones entre códigos y estructura

• Presentación de conceptos claves de Análisis Estructural. Códigos (de base y

calificación);. Concepto de estructura y tipos de estructura (paralela, jerárquica y

cruzada).

• Modulo 4. Aplicaciones y construcción de interpretaciones.

• Ejemplos de aplicaciones. Construcción de hipótesis e interpretaciones mayores

• Criterios de rigor

Modulo 1. Evaluación,

paradigmas y análisis de

datos cualitativos

Necesidades

Diseño

Evaluación

ex-ante

Ejecución

Seguimiento

Evaluación de

procesos

Resultados

Evaluación de

impacto

Aprendizajes

Reformas y evaluación

• Los ciclos de reformas están asociados a

enfoques y énfasis en evaluación.

• En cada ciclo se privilegian teorías, objetos y

métodos particulares.

• Los paradigmas cambian desde enfoques

lineales (insumos –productos) hacia otros mas

sistémicos y centradas en las interacciones

entre niveles y componentes.

Cambios evaluación educativa

• La evaluación educativa avanza de enfoques deterministas (explicación externa) hacia enfoques que observan aspectos internos de la escuela

• De explicaciones basadas solo en contexto social a otra que observa realidades internas (cognición, lenguaje, interacciones).

• Medición evaluativa centrada en resultados absolutos a otra centrada en progreso relativo (Valor agregado)

• Diseños mixtos y complementarios de evaluación cualitativa/, cuantitativa; externa/interna; resultados/procesos, etc.

• Cambios en los paradigmas y enfoque del conocimiento. Desarrollo de observaciones de practicas; saber pedagógico y reflexividad, didácticas; estrategias de comunicación y estilos de interacción.

Pu

nta

je P

ro

med

io

Año

Grupo Socioeconómico

Ejemplo relaciones: Aprendizaje y grupo

Socioeconómico Lectura 4° EB (Mineduc, Chile,

2011)

INSUMOS PROCESOS RESULTADOS

Contexto:

Realidad del

estudiante y

familia

Relación Familia-

Escuela

ESCUELA AULA

ALUMNO

Supervisión

PRACTICAS

PEDAGOGICAS

Calidad de

los

aprendizajes

Gestión escolar

Recursos materiales

Talleres de Profesores

Ayudante de

Profesores

Factores de calidad de evaluación 900 escuelas

Resultado Procesos Contexto/insumos

Alumnos Calidad y distribución

de logros de

aprendizaje y otros

Trayectoria escolar,

motivación, actitudes

individuales ,

compromiso con la

escuela

Entorno, familia y

contexto social

alumnos

Aulas Calidad de la

enseñanza (niveles de

desempeño eva.

Docente)

Prácticas

pedagógicas; clima

de aula

Condiciones de

trabajo profesores y

alumnos

Establecimientos Desempeño institucional Liderazgo director,

clima interno y

gestión

Políticas, Recursos

Sistema Educativo Desempeño general

del sistema Educativo

Diseño e

implementación de

políticas;

programas y

proyectos

focalizadas

Contexto demográfico

Políticas macro

Nuevas relaciones y objetos de evaluación

Modulo 2. Análisis de opiniones y

representaciones sociales

Necesidades

• Evaluar no sólo los resultados sino que también los procesos educativos.

• No solo perspectiva de quien diseña o ejecuta. Analizar perspectiva y percepción usuarios.

• Ampliación del foco y objeto de la evaluación, Concepto de calidad mas amplio.

• Nuevos métodos e instrumentos que permitan, evaluar el desempeños; observar prácticas; analizar opiniones, representaciones.

• Las preocupaciones señaladas favorecen nuevas relaciones entre los métodos cuantitativos y cualitativos.

Interpretaciones y representaciones sociales

• Son conocimientos prácticos, compartidos y elaborados socialmente

• Permiten aprehender lo real y dar sentido a las interacciones sociales

• Clasifican, distinguen, ordenan y jerarquizan la practica cotidiana

• Son sistemas de referencia que organizan las interpretaciones y sus relaciones

Dimensiones de las representaciones

• Distinciones cognitivas (conceptos, términos, información)

• Estructura (organización y relaciones que se establecen entre los términos)

• Valorización y normas de las distinciones y organización del sistema de referencia

• Dan sentido a la comunicación y practicas de los sujetos

Objetivistas / Subjetivistas

• Estructuras

• Realidad Externa al

sujeto

• Estructura

• Relaciones Causales

• Búsqueda verificación

• Deductiva

• Sentidos

• Realidad Interna del

sujeto

• Estructuración

• Relaciones probables

• Orientado al

descubrimiento

• Inductiva

Investigación cualitativa

• Fundada en opción epistemológica

(interpretación y comprensión)

• Métodos de generación de datos

sensibles al punto de vista del otro,

acciones y contextos cotidianos.

• Métodos de análisis y explicación que

abarcan comprensión de la complejidad,

el detalle y el contexto

(Vasilachis de Gialdino,2006:25)

Materiales y Métodos de análisis

Cuantitativa Cualitativa

Textos Análisis de contenido Análisis de discurso

Entrevistas Análisis descriptivo Análisis categorial

preguntas abiertas

Observación Análisis atribuciones Análisis interacción

Audios y Videos Análisis de desempeño Análisis de

conversaciones

Basado en Silverman, 2006

Ciclo de investigación

Leo Gürtler* y Günter L. Huber (2007)

Modulo 3. Códigos, relaciones

entre códigos y estructura

Análisis cualitativo de datos

• Proceso de interpretación y de respuesta

a las preguntas e hipótesis de trabajo

plantadas.

• Proceso teóricamente orientado a través

del cual se busca analizar y descubrir

relaciones que dan sentido a discursos e

interacciones

Análisis de contenido

• Es uno de los procedimientos clásicos para analizar el

material textual con independencia de su procedencia

(Flick, U., 2004).

• Opciones: análisis y clasificación del contenido

manifiesto o bien análisis de segundo grado que

comprende lo implícito (Bourgois, E. et al.1996).

• el contenido manifiesto es “una vía de tránsito” hacia

otra clasificación de lo dicho o escrito (Pérez Serrano

2005: 141).

Categorías de clasificación

• Es una operación básica de orden y distinción del material

discursivo que, por lo general, es abundante, complejo y disperso.

• Transforman los datos y el texto se reduce a unidades que puedan

ser relacionadas, comparadas y agregadas a unidades mayores

(Miles y Huberman, 1991).

• Implica pasar del texto y sentido literal a categorías y relaciones

entre categorías que producen un sentido no explícito.

• Hay dos grandes procedimientos para la construcción de

categorías: deductivo (deriva las categorías del marco conceptual )

e inductivo (define desde el conocimiento de los sujetos).

• la investigación cualitativa no se reduce a la inducción en forma

exclusiva (Hammersley y Atkinson, 1995).

Clasificación o codificación

• Las categorías clasifican unidades u objetos en un contexto de clases relacionadas de manera diferente (Strauss & Corbin, 2002:113)

• La clasificación no depende del objeto en si sino que de su definición y relaciones (Strauss & Corbin, 2002:113)

• La clasificación integra o separa unidades en función de los parecidos o diferencias de sus propiedades

ANALISIS CUALITATIVO

Tipo análisis Preguntas Técnicas

Descripción Cuáles son las

categorías de

clasificación?

Códigos

Codificación abierta

(A/B=T)

Relaciones Qué relaciones

existen entre

códigos?

dominios

Axial, estructuras,

Teoría Existen estructuras,

reglas y principios

organizadores?

Actancial, selectiva

Tipos de códigos

• 1. descriptivos: identifican características de

los segmentos de los registros.

• 2. explicativos: temas recurrentes o que tienen

el mismo significado en el mismo registro o

registros diferentes.

• 3. interpretativos: interpretación relacionada

con hipótesis inicial

Análisis estructural

• Análisis de los sistemas de clasificación y

reglas de combinacion objetivados y/o

interiorizados por los sujetos

• Estos sistemas y principios informan las

percepciones, interpretaciones y prácticas

de los actores

• se reelaboran en los contextos de

interacción y en el marco de las relaciones

sociales de dichos contextos

Análisis estructural: conceptos claves

1. Significado.

2. Código de base.

3. Códigos de calificación.

4. Protocolo analítico

5. Estructuras

1. Concepto de significado

• Significado asocia un significante

(material) y un significado (concepto).

• Esta asociación es arbitraria.

• La identidad o valor de los signos se

constituye por su diferencia y oposición en

una cadena asociativa.

• El significado solo es comprensible en un

contexto social de enunciación.

Relación semántica

• En el discurso hay discontinuidades:

distinciones que descansan en las oposiciones

que les dan origen

• Ej: A / r (S) / B donde:

• A y B = términos que clasifican realidades

• (S) = eje semántico

• r = relación semántica de los términos

2. Unidad de análisis: los códigos.

• Son la estructura mínima de significado a partir del cual se construye la organizacion del texto

• Pueden ser palabras, secuencias gestuales, disposiciones de objetos, etc.

• El método distingue codigos de base y de calificación

• Se construyen por la simultaneidad de principios de disjunción y de conjunción.

Disyunción y conjunción

• Disyunción es el principio que constituye

el sentido de un término o categoría por la

relación que tiene con otra opuesta.

• Por ejemplo; alto/bajo; bueno/malo, etc.

• Conjunción es el eje o contexto común en

el cual se constituye la oposición binaria

de base.

• Por ej. Alto/bajo=estatura

Fórmula de Código de base

A/B; A’ = B; B’ = A; A + B = T

Donde:

A, B = términos o realidades constituidas.

/ = relación de oposición o disjunción.

A’ , B’ = Terminos o realidades inversas

de A y B.

T = Totalidad.

Ejemplo de Código de base

c1 = A / r (S) / B

Futuro / r (tiempo) / presente

Entonces:

c1 = A + B = T

Futuro + Presente = Tiempo.

Donde:

A = B’ ; Futuro = (No presente)

B = A’ ; Presente = (No futuro)

3. Códigos de calificación

• Son aquellas apreciaciones o valoraciones que califican o atribuyen propiedades, implícita o explícitamente, a términos o realidades que aparecen como significantes en el texto.

• Contienen términos donde el primero de ellos atribuye o califica a una de las realidades del código de base y el segundo al otro término o realidad.

Código de Calificación y de Base

T

cc1 cA / cB Tc (término de calificación)

cb A / B T (términos objetos signifcantes)

Donde:

cA, cB = Calificaciones de los términos A y B A , B = términos o realidades objetos o significantes. cc = códigos de calificación. cb = códigos debase. Tc = totalidad calificativa. T = Totalidad.

4. Protocolo analítico

• Es ejercicio a través del cual “se hace hablar” al

código construido y las relaciones construidas.

• Es un primer nivel de interpretación que se dirige

hacia la construcción de principios simbólicos que

organizan la opinión expresada en el texto.

• También debe explorar las relaciones que se

infieren de las posiblidades lógicas y semánticas

que abren las oposiciones construidas.

Ejemplo 4: de protocolo analítico

• Del ejemplo anterior: “un niño desnutrido

tendrá problemas de aprendizaje en el

colegio”.

• Esto se puede complementar con la

siguiente proposición: “un niño

desnutrido con problemas de aprendizaje

estará fuera del colegio”

5. Las estructuras

• Son las relaciones que tienen los códigos

entre si.

• Esta relación se basa en el principio de

implicación recíproca

• Las relaciones que se establecen

construyen una estructura

• Las estructuras pueden ser: paralelas;

jerarquizadas y cruzadas.

Estructura paralela

•Los términos de dos o mas códigos estan unidos

por una relacion de doble implicacion reciproca.

•La relacion atribuye propiedades o valor a uno de

los términos (A) , al mismo tiempo y de un modo

inverso, el segundo término atribuye propiedades o

valor al otro término (B) del código de base.

A1 A2 y B1 B2

Fórmula de estructura paralela

cc1 ; cA1 / cB1

cc2 ; cA2 / cB2 cA1 + cA2 + cAn = A ; cb

ccn ; cAn / cBn cB1 + cB2 + cBn = B

Donde:

Cp = Calificación paralela

cc = Códigos de Calificación.

cA, cB = Calificaciones.

= Implicación recíproca.

A, B = Realidades del código de base.

cb = Código de base.

Indice de valorización paralela

• La valorización o calificación de uno de los

términos es suficiente para deducir la

valorización de los otros.

• Si uno de los términos tiene valor positivo

o negativo valoriza del mismo modo los

otros términos con los cuales tiene

relación recíproca y el conjunto de

categorías inversas estará connotado con

el valor opuesto.

Ejemplo

“La educación que se recibe en los colegios ahora

es pésima y tampoco en igualdad de condiciones,

porque el niño que vive en las Condes, en

Providencia, en los colegios pagados particulares,

recibe una excelente educación, es distinto a un

niño que vive en un barrio, porque la educación es

totalmente distinta, no hay igualdad de

condiciones” (Irene)

Ejemplo de valorización paralela.

T

(tipos de educación)

cA1(-) cB2(+) cc1= juicio

Pésima / (excelente)

cA2 cB2 cc= espacio

Barrio / Comunas (Las Condes...)

cA3 cB3 cc= costo

(gratis) / pagado

A1 B2 cb= Tipos de Colegios

(municipalizados) / Particulares.

Estructura jerarquizada

• Los términos de un código pueden tener

un doble status: el inverso de una

disyunción y el eje de otra

• Un término o mas puede tener el doble

status de inverso y de eje a su vez.

• A1 / B1 = T1

T2

A2 / B2

Valorización jerarquizada

• La valorización de un nivel jerárquico se

transmite a todos los niveles jerárquicos

inferiores

t1

A1 / B1 (+)

(-+) (++)

A2 / B2

Estructura cruzada

Construcción de relaciones cruzadas entre dos o más ejes de

calificación

Formula Productos axiales

Px; (A=cA1+cA2) / (B=cA1+cB2) / C=cA2+cB1) /

(D=cB2+cB1)

Donde:

Px= producto axial.

A, B, C, D = Realidades nuevas.

cA, cB= Términos o realidades de ejes de calificación.

Ejemplo.

Texto 1: (La educación) “es tener roce. Salir de la población.

Crear personalidad, sabe desenvolverse mejor, para conversar

tanta cosa, porque ha muchas personas que no tienen

educación, sin embargo el roce les sirve bastante” (Olga)

Texto 2: “A nosotras nos sirve el roce, la conversación, la

relación con la demás gente. Pero ¿qué pasa?... O sea si no

tiene una mínima educación (...) esa persona se tranca, se

retrae, y eso se ve, es mucho más calladita, mucho más tímida”

(Yolanda)

Texto 3: “sin educación el ser humano es cero a la izquierda”

(Eliana)

...Condensación descriptiva de

calificaciones

Ec1 =

cA1 = Con Educación: /crear personalidad1/; /Saber

desenvolverse2/; /para conversar/; /relacionarse con la demas

gente4/.

cB1= Sin educación: /...se tranca1/; /se retrae2/; /es mucho

más calladita3/; /más tímida4/.

...Condensación descriptiva de

calificaciones

Ec2 =

cA2= (Interior) término construido para expresar el opuesto de

/salir de la población/

cB2 = Exterior, término que describe la calificación /salir de a

población/.

Códigos a relacionar:

Ec1: cA1 Con educación / Sin Educación = Tc1 Tipos de

personas.

Ec2: cA2 (interior) / cB2 = Tc2 Espacio

Cruce de Ec1 y Ec2

(+)

cA1

Con Educación

Sin Educación

cB1

(-)

(-)

cA2

(Interior)

(+)

cB2

Exterior

A (x) (+-)

B “Ser alguien”

(++)

C

“cero a la izquierda”

(--)

D

“con roce”

(-+)

Eje existencial y espacio

(+)

Ser AlguienA1

Cero a la izquierda B1

(-)

(-)

A2 Interior, en

la poblacion

(+)

B2

Exterior,fuera de la

poblacion

Modulo 4. Aplicaciones y

construcción de interpretaciones

Modelo de acción simbólica

• Los discursos generan un movimiento que

compromete los sentidos e interacciones

de los sujetos

• Este movimiento tiene una organización

simbólica

• Actores, categorías y códigos de los

discursos desempeñan roles y acciones

• Los actores son actantes (asumen

distintos roles a la vez)

Modelo de acción simbólica

Destinador+

Destinatario+

Ayudantes (+)

Sujeto + Objeto +

Sujeto - Objeto -

Oponentes (-)

Destinador -

Destinatario -

Modelo de acción simbólica

Destinador+

Derecho +

Ayudantes (+) Igualdad

Buenas escuelas

Sujeto + Objeto + ser alguien

Sujeto - Objeto - cero a la izq.

Oponentes (-)

Malas escuelas Destinador -

Injusticia -

Criterios de rigor

Criterios convencionales (Lecompte y Goetz, 1982)

• Fiabilidad: alude a la posibilidad de replicar un estudio por parte de otro investigador y obtener los mismos resultados.

• Interna (descansa en constructo teórico) y Externa (descansa en contexto)

• Validez: Grado en que los constructos y conclusiones corresponden con la realidad.

• Interna implica que investigador e investigado atribuyen el mismo significado a categorías y conceptos. Externa refiere a la comparabilidad de los resultados con otros estudios.

Discusión

• Paradigma de base no permite aplicar los mismos criterios de rigor de metodología cuantitativa.

• En ciencias sociales no existe la posibilidad de predicción y control.

• Investigador e investigado se influyen mutuamente.

• La comprensión es distinta de la explicación.

• Los valores y la interpretación condicionan todo el proceso de investigación.

Criterios Propios o alternativos Guba y Lincoln (1985)

• Valor de verdad alude a la confianza en la

veracidad de los descubrimientos realizados en

la investigación. Se logra con: contactos

extensos, observaciones continuas, verificar

datos y triangulación de fuentes informativas.

• Transferibilidad grado en que los sujetos

analizados son representativos del universo al

cual pueden extenderse los resultados

obtenidos. Se logra con muestreo teórico.

Criterios Propios o alternativos (2)

• Consistencia o dependencia. Posibilidad de obtener los mismos resultados al replicar el estudio en sujetos y contextos similares. Para ello usar: triangulación; método paso a paso, etc.

• Neutralidad y confirmabilidad. Independencia de descubrimientos frente a opiniones y preferencias de investigadores. Se recomienda: Triangulación

Triangulación

• Los resultados de investigaciones

sociales difícilmente son convergentes y

por ello hay que buscar consensos

interpretativos.

• Campbell y Fiske (1959) proponen el

concepto aludiendo al uso de distintos

métodos para el mismo objeto.

• Denzin (1970) amplía el uso a: de fuentes;

técnicas, investigadores y teorías.

Dilemas éticos

• Aluden a: obtención de información; procesamiento y análisis y comunicación de resultados.

• Obtención de información: consentimiento de los sujetos; respeto de privacidad y límites; protección de grupos vulnerables.

• Procesamiento y análisis: procedimientos rigurosos en la clasificación; uso de teorías en interpretación y discusión de datos; conclusiones acotadas.

• Comunicación de resultados: cuidado sobre consecuencias de resultados en grupos y actividades sociales.