Mejora Continua y Metodología Lean 6S en Investigación ... · Generalidades Six Sigma •...
Transcript of Mejora Continua y Metodología Lean 6S en Investigación ... · Generalidades Six Sigma •...
III Congreso Nacional deInvestigación Clínica
Mayo 17-19, 2017
Mejora Continua y MetodologíaLean 6S en Investigación Clínica
Sandra Martínez Díaz
¿Por qué Lean ?¿ Por qué Six Sigma?
• Combinación poderosa de herramientas– Lean: Eliminar el desperdicio– Six Sigma: Eliminar la variación
• Alcanzar Planes de negocio– Mejora de proyectos que son parte de un plan– Vinculación con los KPIs: Indicadores de Desempeño
GeneralidadesSix Sigma
• Filosofía empresarial que pretende mejorar laeficacia y eficiencia.
– Eficacia: Cumplir y superar los requisitos de los clientes.– Eficiencia: recursos (tiempo, costo, personal) que se
consumen para lograr la eficacia
Evolución de Six SigmaPartes
IntercambiablesEli Whitney
Tiempos yMovimientos
Division de las tareasF. Taylor
Producción enMasa
Henry Ford
Lineas deEnsamble
Eliminación deDespedicio
Sistema deSincronización
Masa / Lotes
Alfred P. Sloan
CostoEstándar
Modelo deVariación
JidokaS. Toyoda
Just - In - TimeK. Toyoda
SupermarketSystems
Total QualityE. Deming,
et al
ToyotaSistema deProducción
T. Ohno
EmployeePartnership
DruckerSQCShewhart
Western Electric
SixSigmaMotorolaDOE
Taguchi et al
GeneralidadesSix Sigma
• A diferencia de otras iniciativas de calidad, quesólo atienden a las herramientas, el Six sigma sebasa en la participación activa de la dirección.
• Componentes:
EstratégicoTácticoCultural
TÁCTICOMetodología
ESTRATÉGICOCliente
CULTURALTop MagementFull inmersion
Alineación e IntegraciónEnfoque y Convergencia
Componentes
= 1.5
σ−
σ−=
3LSLxor
3xUSLminCpk
Cp: Process Capability Potential (assumes a centered process)
Cpk: Capacidad del Proceso (tomando en consideración el promedio de variación)
6
LSLUSLCpRango de Espec
Rango de proceso
dpm
133,600
3.4
<< 1PPB
.5
2.0
15.0
Cp
LSLLCL UCLUSLTARGET
Courtesy, Air Academy Associates, © 2002
1.5 Shift
“Variaciones”
Revisión
• El Six sigma en su nivel básico se encamina a mejorarsimultáneamente la eficacia y eficiencia.
• La medición técnica de cuántos casos de insatisfacciónde clientes ocurren en un millón de oportunidades esun concepto en el cual descansa Six sigma.
• 6 sigma es el equivalente a 3.4 desviaciones por cadamillón de oportunidades
4.5
DMAIC DEFINIR
– 11 –
DMAIC MEDIRMapeo del Proceso de Obtención de datos clínicoss
DMAIC MEDIRMatriz causa-efecto
Nombre del Proyecto: Reducción de Verificación de documentos fuente Versión: 13-Ene.2006
Nivel de Importancia para elcliente 4 7 9 2 5 5 10
1 2 3 4 5 6 7
CTQ Sitio
apro
bado
Monit
or a
carg
o
Sitio
entre
nado
Repo
rte de
Mon
itore
o
Datos
mon
itore
ados
DNF
(pap
el, s
istem
a)
Evide
ncia
cientí
fica
(doc
umen
tosfue
nte/C
RF)
Proceso Variables (KPIV)
2,5,13 Instalaciones del sitio adecuadas 10 0 0 0 0 0 5 90 9
2,5 Equipo calibrado 10 0 0 0 0 0 2 60 121,5, 7, 12 Competencia del Inv 10 0 3 0 0 0 9 157 6
2,5,7,12 Competencia del equipo deinvestigación del sitio
3 0 3 0 0 0 7 109 8
3,6 Carga alta de trabajo del monitor 0 9 4 5 10 0 3 189 4
3,4,6 Competencia del monitor 0 7 10 10 10 0 3 239 3 70%
6 Número de datos revisados 0 0 10 8 10 10 5 256 24 Diseño del entrenamiento 0 5 10 2 3 0 2 164 54 Calificación del sitio 0 0 10 8 10 0 10 256 1
8,13 Tiempo de envío de datos 2 2 5 2 0 0 0 71 108,13 Velocidad de transmisión 2 0 4 0 0 0 0 44 148,13 Tiempo de captura 0 0 0 0 0 3 4 55 13
9 Diseño de queries para identificardesviaciones
0 0 0 0 0 10 10 150 7
10
Competencia del coordinador paraidentificar desviaciones 0 2 0 0 0 10 0 64 11
148
175
531 70 215
165
600
Rank
ing
Total
H
80%
DMAICAMEF
KPIV Modo de falla EfectoSEV
Causa potencial
OCUR
Controles actualesDET
RPN
Accionesrecomendadas Resp.
Verificación deespecificaciones
Calificacióninadecuadadel sitio
7
Falta deespecificaciones claras
7
Existe un listado deverificación que no hasido validado
1 49
1) Normalizar laoperación mediantela elaboración deun SOP
Karin Mauer
Falta deexperiencia en losverificadores de lacalificación
Calificacióninadecuadadel sitio(Falsopositivo)
8
Falta deentrenamiento
1
Ninguno
7 56
1) Entrenamiento enel SOP.2) Verificación delnivel de acuerdointra e interverificador
1) KarinMauer2) Sandra Mtz
Entrenamiento enpreestudiodeficiente
Calificacióninadecuadadel sitio(Falsopositivo)
8
No existe unprograma deentrenamientoque certifique lacalificación desitios
10
Existe un programageneral deentrenamiento a lossitios, mismo que danlos monitores que nohan sido calificados.
1 80
1) Diseño de unPrograma deentrenamiento en eltrabajo basado enel expertise actualde los monitores
1) Laura Ruy2) Jorge Cruz
Revisióndiscrecional al 25%de los Dif. módulosde los CRF
Falta oexceso derevisión(desperdicio)
5
Falta deherrramientabasada en unanálisisestadístico o detendencias 10
Ninguno
1 50
1) Elaboración deuna herramientabasada en Controlestadístico y enAQL que permitadeterminar lacantdad de datos arevisar en cadavisita basado en unnivel de aceptaciónde calidad
1) Sandra Mtz
Evaluación de laproductividad pormonitor con baseal número de datosrevisados (SDV)
Falta deplaneación ysobrecargade trabajo
8
No existe unmétodoconfiable para laevaluación de laproductividadde losmonitores cobase a SDV
10
Existe una base dedatos denominadaGTMS que pretendecalcular el número dehoras que los monitoresdedican a la actividad deSDV, sin embargo esabase no refleja lacantidad de datos querevisa cada monitor
1 80
1) Diseño de unaherramienta quepermita visualizar lacarga e trabajo delmonitor con base alSDV
1) JulioCárdenas
Calificacióndel sitio
Número dedatos
revisados
DMAICAMEF
Entrenamiento deinduccióndeficiente
Datos malrevisados
8
No existe unamatriz deentrenamientooon con base adescripción depuesto y aexperiencia
8
Existe un programageneral deentrenamiento deinducción 1 64
1) Diseño de matrizde capacitación porpuesto
1) Laura Ruy
Evaluación de lacompetencia delmonitor
Datos malrevisados
10
No existe unaherramienta quepermita calificaral monitor(reproducibilidad)
10
Ninguno
1 100
1) Evaluación de lareproducibilidad yde Kappa de todoslos monitores
1) GuadalupeMosqueda2) Sandra Mtz
Entrenamiento enel trabajodeficiente
Datos malrevisados
7
La capacitaciónen el trabajo selleva a cabo comouna estrategiacorrectiva(después de queocurre la falla ),durante lasreuniones deentrenamiento demonitores serevisan "issues "
10
Existe un programageneral deentrenamiento en eltrabajo para monitores.
1 70
1) Diseño de unPrograma deentrenamiento en eltrabajo basado enel expertise actualde los monitores
1) Laura Ruy
Carga detrabajo delmoniror
Evaluación de laproductividad pormonitor con baseal número de datosrevisados (SDV)
Falta deplaneación ysobrecargade trabajo
8
No existe unmétodo confiablepara laevaluación de laproductividad delos monitores cobase a SDV
10
Existe una base dedatos denominadaGTMS que pretendecalcular el número dehoras que los monitoresdedican a la actividad deSDV, sin embargo esabase no refleja lacantidad de datos querevisa cada monitor
1 80
1) Diseño de unaherramienta quepermita visualizar lacarga e trabajo delmonitor con base alSDV
1) JulioCárdenas
Competenciadel Monitor
– 14 –
Definición de variables
– 15 –
KPIV (VARIABLES INDEPENDIENTES)
Competencia del monitor
Calificación- Certificación del sitio
Número de datos revisados
Carga alta de trabajo del monitor
Asociado a Y
Sistema demedición
CTQ (VARIABLE DEPENDIENTE)
Y= Calidad de los datosexpresada como número de datos erróneos/ Oportunidades de error
Capacidad del procesoEstadística descriptiva para Y
4.54.03.53.02.52.01.5
Median
Mean
3.853.803.753.703.653.60
A nderson-Darling Normality Test
V ariance 0.2247Skewness -1.40627Kurtosis 6.40376N 70
Minimum 1.5580
A -Squared
1st Q uartile 3.4942Median 3.68543rd Q uartile 3.9569Maximum 4.7133
95% C onfidence Interv al for Mean3.5948
1.68
3.820995% C onfidence Interv al for Median
3.6224 3.766995% C onfidence Interv al for StDev
0.4064 0.5688
P-V alue < 0.005
Mean 3.7079StDev 0.4740
9 5 % Confidence Intervals
Summary for SIGMA LEVEL
– 16 –
Cálculo de tamaño de muestra• Power and Sample Size
1-Sample t Test
• Testing mean = null (versus not = null)• Calculating power for mean = null + difference• Alpha = 0.05 Assumed standard deviation = 0.474
Sample Target• Difference Size Power Actual Power• 0.8 5 0.8 0.802514• 0.8 6 0.9 0.905526
– 17 –
Conversión de datos no normales
– 18 –Adjusted Sigma Levels (Two missing values should be considered)
0.320.300.280.260.240.220.20
Adjusted sigma levels
Adjusted sigma levels (optimal lambda). Two missing values should be considered
Perc
ent
0.360.340.320.300.280.260.240.220.20
99.9
99
9590
80706050403020
105
1
0.1
Mean
0.456
0.2680StDev 0.02398N 68AD 0.353P-Value
Probability Plot of Adjusted Sigma LevelsNormal
Sigma Levels (considering overall data)5.04.54.03.53.02.52.01.5
Sigma levels considering overall data
¿Cuál es la relación entre la capacidad del proceso y lasmúltiples variables independientes? ¿Es el monitor?
Date
Sigm
aLe
vel
Ene-06Sep-05May-05Ene-05Sep-04May-04Ene-04
5.0
4.5
4.0
3.5
3.0
2.5
2.0
1.5
MONITOR
CASTILLOCERVANTESCORONACRAVIOTOCUEVASECHARTEAGUERRAHERNANDEZLOPEZMOSQUEDA
ALATORRE
PAREDESPONTONESREYES
ARRIAGABRIONESCARDENAS
Sigma values distributon (MRL protocols from Jan 2004 to Dec 2005)
¿Cuál es la relación entre la capacidad del proceso y lasmúltiples variables independientes?
¿Es el tipo de estudio?
– 20 –
¿Cuál es la relación entre la capacidad del proceso ylas múltiples variables independientes? ¿Es el tipo de estudio?
Residual
Perc
ent
0.0500.0250.000-0.025-0.050
99.999
90
50
10
10.1
Fitted Value
Resi
dual
0.2880.2760.2640.2520.240
0.050
0.025
0.000
-0.025
-0.050
Residual
Freq
uenc
y
0.040.020.00-0.02-0.04
20
15
10
5
0
Observation Order
Resi
dual
7065605550454035302520151051
0.050
0.025
0.000
-0.025
-0.050
Normal Probability Plot of the Residuals Residuals Versus the Fitted Values
Histogram of the Residuals Residuals Versus the Order of the Data
Residual Plots for ADJUSTED SIGMA LEVELS
– 21 –
Bartlett's TestTest Statistic15.39P-Value 0.118
Levene's TestTest Statistic1.38
P-Value 0.214
Ho: El tipo de estudio no se relaciona con el nivel de sigmaHa: El tipo de estudio se relaciona con el nivel de sigma
– 22 –
DMAICNaturaleza de los datos
Ene XXX a Dic XXX
Todos los data pointsmigrados a HQ
Todos los erroresvinculados
Todos los monitoresAlca
nce
de lo
s dat
os
Sub Proyecto:Certificación de Monitores
Jorge CruzClinical Research Manager
¿Cómo predecir el comportamiento de un proceso empleandouna unidad de medición con sesgo?
– Protocol review• Basic Questionnaire• Four standard sections:
– Design, Inclusion and exclusion criteria, procedures, efficacy and safetymeasurements
• New protocol for overall personnel.
– Complexity: High.– Participants: CRA– First Exercise: March 16, xxxx
• Agreement inter-CRA– Second exercise: May 25, xxxx
• Agreement intra-CRA– Type of analysis: Kappa by attributes
Interpretation
– 26 –
% Kappa value Interpretation-100 to 59 Random agreement
≥ 60 Marginal. Improvement is required
≥ 70 Good
≥ 90 Excellent
SPECIFICATION 80
Accuracy results by CRAEach CRA vs Standard
–
Inter-agreement and overall accuracy resultsBASIC QUESTIONNAIRE
Inte
r agr
eem
ent
Inte
r agr
eem
ent
Over
all a
cura
cyOv
eral
l acu
racy
Accuracy results between CRAAll appraisers vs Standard
Proc
edur
esPr
oced
ures
Effic
ay&
Safe
tyEf
ficay
&Sa
fety
Exc/
Incl
Exc/
Incl
Desig
nDe
sign
Conclusions
– Inter agreement analysis for CRA was performed– Kappa analysis reveled a random agreement between CRA– Agreement results must be improved
• On the job program training has been developed•
– Intra-agreement analysis should be performed– Kappa analysis will be a key tool for site’s qualification
– 30 –
Sub Proyecto:Calificación de Sitios
Ho: La variación en el nivel de sigmade un sitio NO tiene relación con la
calificación del mismo
Assessment
• Staff• Data Acquisition and Management• Clinical & La Supplies management• Regulatory aspects• Quality assurance• Facilities/ Infraestructure• Equipment• Site Management• Site Performance• Communication with sponsor• Total
– 32 –
RESI6
Perc
ent
0.050.040.030.020.010.00-0.01-0.02-0.03
99
95
90
80706050403020
10
5
1
Mean
0.565
0.0007882StDev 0.01205N 43AD 0.301P-Value
Probability Plot of RESI6Normal
Residual
Perc
ent
0.040.020.00-0.02
99
90
50
10
1
Fitted Value
Resi
dual
0.300.280.260.240.22
0.04
0.02
0.00
-0.02
Residual
Freq
uenc
y
0.040.030.020.010.00-0.01-0.02
16
12
8
4
0
Observation Order
Resi
dual
7065605550454035302520151051
0.04
0.02
0.00
-0.02
Normal Probability Plot of the Residuals Residuals Versus the Fitted Values
Histogram of the Residuals Residuals Versus the Order of the Data
Residual Plots for ADJUSTED SIGMA LEVELS
–
DMAICCalificación de Sitios
Sub Proyecto:Productividad de Monitores
Ho: La variación en el nivel de sigma de un sitio NO tiene relacióncon la carga de trabajo del monitor(expresada como número de datos migrados)
DMAICProductividad de monitores
RESI6
Perc
ent
0.050.040.030.020.010.00-0.01-0.02-0.03
99
95
90
80706050403020
10
5
1
Mean
0.565
0.0007882StDev 0.01205N 43AD 0.301P-Value
Probability Plot of RESI6Normal
Residual
Perc
ent
0.040.020.00-0.02
99
90
50
10
1
Fitted Value
Resi
dual
0.300.280.260.240.22
0.04
0.02
0.00
-0.02
Residual
Freq
uenc
y
0.040.030.020.010.00-0.01-0.02
16
12
8
4
0
Observation Order
Resi
dual
7065605550454035302520151051
0.04
0.02
0.00
-0.02
Normal Probability Plot of the Residuals Residuals Versus the Fitted Values
Histogram of the Residuals Residuals Versus the Order of the Data
Residual Plots for ADJUSTED SIGMA LEVELS
–
Sub Proyecto:Factores vinculados con
la experiencia de losmonitores
Ho: La variación en el nivel de sigma de un sitio NO tiene relación
con la escolaridad, experiencia y complejidad del protocolo.
Tampoco con la interacción entre éstas variables
Diseño factorial 23
Mea
nof
Six
Sigm
a
LicTecnico
4.0
3.9
3.8
3.7
3.6Más de 2.5Menos de 2 años
igual o menor de 5Más de 6
4.0
3.9
3.8
3.7
3.6
Escolaridad Experiencia
Complejidad
Main Effects Plot (data means) for Six Sigma
– 38 –
DMAICEfectos principales. Factores asociados a los monitores
DMAICInteracciones dobles.
Factores asociados a los monitores
Escolar idad
Experiencia
Complejidad
Más de 2.5Menos de 2 años igual o menor de 5Más de 6
4.2
3.9
3.6
4.2
3.9
3.6
EscolaridadTecnicoLic
ExperienciaMenos de 2 añosMás de 2.5
Interaction Plot (data means) for Six Sigma
– 39 –
Interacción entre variables
igual o menor de 5
Más de 6
Más de 2.5
Menos de 2 añosLicTecnico
Complejidad
Experiencia
Escolaridad
3.75767
4.060033.40047
3.76043
3.42217
4.473433.93223
3.49907
Cube Plot (data means) for Six Sigma
– 40 –
• Full Factorial Design
• Factors: 3 Base Design: 3, 8• Runs: 16 Replicates: 2• Blocks: 1 Center pts (total): 0
• All terms are free from aliasing.
– 41 –
DMAIC
– 42 –
DMAIC. DOE
1Q 4Q
DMAIC.
– 43 –
Durante la fase de control:1) Definir las especificaciones de calidad del sitio.2) Control estadístico del proceso por visita.3) Determinar si hay alguna de las 8 pruebas que fallen.
DMAIC.
Observation
Indi
vidu
alV
alue
645750433629221581
5
4
3
2
_X=3.708
UC L=4.765
LC L=2.651
Observation
Mov
ing
Ran
ge
645750433629221581
3
2
1
0
__MR=0.397
UC L=1.298
LC L=0
2
2666
1
1
111
1
1
2
I-MR Chart of SIGMA LEVEL
– 44 –
Conclusiones
• Se describe una ecuación que predice la calidad del sitio con base avariables asociadas con el monitor (experiencia) y con el sitio.
• Las variables significativas son:– Calificación del sitio– Características del monitor (experiencia y escolaridad)– Complejidad del estudio
– 45 –
DMAICMapeo ideal
– 46 –
ProtocoloProtocolo Calificaciónde sitios
Calificaciónde sitios
Selección desitios
Selección desitios
Sitio 1Sitio 1
Sitio 2Sitio 2
Sitio 3Sitio 3
Sitio 4Sitio 4
Sitio 5Sitio 5
Sitio xSitio x
Captura dedatos y envío
de datos
Captura dedatos y envío
de datos
Data ReviewData Review
WCDMOWCDMO
MPCSMPCS
MonitorMonitor
CRACRA
StatsStats
Limpieza de datos yresolución dediscrepancias
Limpieza de datos yresolución dediscrepancias
DatosLimpiosDatos
Limpios
Others…Others…Others…Others…Others…Others…
Estado futuro
– 47 –
En resumen L6
Compromiso Ejecutivo
Liderazgo Alineado
Elige Problemas reales
Personal correcto
Entrenamiento y Herramientas correctas
Motivación y Reconocimiento
Responsabilidad Financiera
L6LeanSixSigma
Implementación
Mejor
Más rápido
Menor Costo