Post on 13-Apr-2020
Jornada LASHARE: Visión e Inteligencia Artificial en
Fabricación por Láser
Madrid, 25/03/2019
Retos Emergentes en Fabricación por Láser:Por qué necesitamos visión e inteligencia artificial
AIMEN y la Inteligencia Artificial
Motivación: nuevos paradigmas en fabricación
Sistemas de fabricación láser como CPS
Toma de decisiones guiada por imagen
Conclusiones
Centro Tecnológico AIMEN
www.aimen.es | promero@aimen.es
AIMEN, (Asociación de Investigación Metalúrgica del Noroeste), seestablece como laboratorio de ingeniería de materiales para serviciostecnológicos principalmente para industria pesada.
1967
52 años más tarde…
• Investigación en Materiales, Procesos yTecnologías de Producción.
• Centro de Aplicaciones Láser
• > 100 empresas asociadas
• > 800 clientes mundiales.
• > 120 Proyectos I+D anualmente
• Muy activo en tecnologías de control óptico, imagen, vision artificial, aprendizajesupervisado y no supervisado…
3
www.aimen.es | aimen@aimen.es 4444
Áreas de especialización
www.aimen.es | promero@aimen.es 5555
Centro de Aplicaciones Láser
Capacidades en Robótica y Control
Sistemas robóticos flexibles y autónomos para fabricación
Mobile light robots
Autonomous navigation
3D environment acquisition with single camera
Geometry matching
Heavy duty robots with Force Control and environment awareness
Manufacturing cells with
Integration of Non Destructive Testing, monitoring and control.
www.aimen.es | promero@aimen.es 6
PERCEPCION
� Fuentes:
Imagen RGB/Monocroma
Hiperspectral/Multispectral
Nubes de puntos
� Metodologías:
Visión Artificial + Aprendizaje automático
Deep Learning
� Soluciones:
Clasificación/Regresión
Deteción de Objetos
Segmentación
Registro Multimodal
Reducción de Dimensionalidad
Selección de Características
7
� Diagnosis:
Encontrar relaciones entre observaciones
Predecir el estado interno de un Sistema dadasobservaciones a lo largo del tiempo
� Predicción:
Asistir en toma de decisiones
Predicción de series temporales
MONITORIZACIÓN
CONTROL
� Modelado de sistemas de control con DNNs (Deep Neural Networks)
Modelado complete de relaciones no lineales de desviaciones de proceso (sensores)hasta parámetros de proceso (actuación).
� Regulación de parámetros de proceso
Ajuste de desviación con técnicas clásicas (e.g. PID) o no clásicas (control estocástico)
� Adaptabilidad en base a capacidades cognitivas
Corrección en línea de los comandos y controles, actualización offline de los modelos
(usando AI superior).Industrial Process
ActuatorsSensors
Perception (DNN)
Cognition
Closed-loop control
AI top layer
Motivación: nuevos paradigmas en fabricación
Sistemas de fabricación láser como CPS
Toma de decisiones guiada por imagen
AIMEN y la Inteligencia Artificial
Conclusiones
Los nuevos paradigmas en Fabricación
- Láser proporciona calidad elevada, repetitiva y fiable- Flexible y fácil de automatizar- Las máquinas existentes (centros de cinco ejes, instalaciones robotizadas)
sirven para todo.
Fabricación por Láser - La Promesa:
11www.aimen.es | promero@aimen.es
Los nuevos paradigmas en Fabricación
- Compleja interacción láser-materia, sensibilidad a condiciones de contorno.- Multilema: productividad / robustez / flexibilidad- Entorno de personalización masiva, aprovisionamiento flexible de material,
fabricación distribuida, batch de tamaño uno, Lead Time reducido… Parece llamar a la fabricación láser, y al mismo tiempo le plantea grandes dificultades.
- Las soluciones tipo “navaja suiza” han mostrado grandes debilidades y necesitan constantes ajustes y mantenimiento para mantener la calidad.
El Reto:
12www.aimen.es | promero@aimen.es
Los nuevos paradigmas en Fabricación
• Fuerte conocimiento en materiales y procesos.• Se alcanzan pronto los límites tecnológicos de los procesos disponibles.• Los conceptos complejos y sofisticados no suelen implantarse bien.• Los lotes pequeños son extremadamente difíciles.• Nuevas capacidades: formación continua y cara del personal.• Nuevos materiales, diseños y organizaciones: comprometen la calidad.
Producción Tradicional con nuevas tecnologías:
13www.aimen.es | promero@aimen.es
Los nuevos paradigmas en Fabricación
Nuevas formas de hacer:
14
• Enfoque a tecnologías habilitadoras, y no a las core.• Diseñar componentes modulares y abiertos para sistemas de producción.• Diseño inteligente de:
• Flujos (material, información, decisiones)• Producto (componentes e inteligencia embebida)• Proceso como un todo: interacciones, ingeniería concurrente…
www.aimen.es | promero@aimen.es
Control en sistema ciber-físico
15www.aimen.es | promero@aimen.es
Conocimiento
Inferido
Definición de
Producto
Modelo
Geométrico
Simulación a
nivel de Proceso
Modelo de
Proceso
Espacio de
Trabajo Virtual
Modelo del
Producto
Conocimiento
de Proceso
Planificación
de Tareas
Planificación
de Proceso
Síntesis de
Instrucciones
Ejecución
en Línea
Sensores
en Línea
Feedback
de Alto Nivel
Sistema
Ciberfísico
Tiempo Real
Control
AIMEN y la Inteligencia Artificial
Motivación: nuevos paradigmas en fabricación
Sistemas de fabricación láser como CPS
Toma de decisiones guiada por imagen
Conclusiones
Sistemas de fabricación como CPS
- Se diseña considerando su robustez, rigidez torsional, continuidad metalúrgica. Se adopta considerando su flexibilidad y fiabilidad.
- Los primeros se logran o con piezas muy estables y controladas, o con fuerte Clamping-Fixturing. Ambas cosas van en contra de la flexibilidad, y en caso de usar clamping modular se juega la fiabilidad.
- Cada vez más máquinas incorporan tecnología de visión y metrología para responder a este reto.
El caso del Laser Welding:
17www.aimen.es | promero@aimen.es
Soldadura Láser
- Herramienta inteligente y diseño “relajado”. Soldadura remota. Demanda control preciso y predictivo, al límite de los modelos analíticos.
- Fuerte influencia de geometría (tol. locales de 10s micras en 100s cm).- Efectos combinados de cambios de geometría+material (inestabilidad), - Observación de dinámica de proceso e interacción en tiempo real!!
Computación imposible con modelos descriptivos. COSTE de generar modelos.
Capacidades cognitivas: Más allá del control del proceso
18www.aimen.es | promero@aimen.es
Soldadura láser
- [Pre-] Metrología + [En-] Imagen + [Post-] Inspección: generar correlación y conocimiento sintético, extrayendo características fusionadas con los sensores.
- MINIMALISMO: La inteligencia artificial permite descubrir información significativa en tiempo rela (reprogramar hardware de procesado de imagen RT y fusión de sensores) y generar “respuestas mínimas”: extender ventanas de proceso afectando condiciones de contorno. Modular potencia láser, óptica, deflexión de haz, y comandos sobre los utillajes activos.
Capacidades cognitivas: Más allá del control del proceso
19www.aimen.es | promero@aimen.es
LMD como sistema ciberfísico
• Técnica de fabricación aditiva prometedora.− Las piezas pueden ser construidas con un CAD 3D.
• Para fabricación y reparación, sin Powder Bed.• Near-net-shape (muy cerca de la forma final) sin soportes.• Fabricación de piezas grandes o muy grandes.
− El material puede depositarse en preformas, muy rápido.
El caso del Laser Metal Deposition (LMD)
Problemas prácticos:
20
• Instalación muy compleja y múltiples parámetros.• Distorsiones térmicas difíciles de predecir. Deriva térmica. • Las distorsiones no solo afectan a la precisión, sino al proceso. • Programación off-line y parámetros constantes = Defectos.
www.aimen.es | promero@aimen.es
LMD como sistema ciberfísico
Laser Metal Deposition (LMD)
21www.aimen.es | promero@aimen.es
LMD como sistema ciberfísico
• Mayor coste para fabricar una única pieza.• Necesidad de una operación “buena a la primera”.• Proceso complejo de modelar: multifísica sofisticada. • Cabezal de monitorización multisensor: muchos datos con pobre correlación. • Necesita expertos en láser, robótica, procesos y materiales.• Cada pieza es un problema geométrico diferente
Problema:
¿Qué es “inteligencia” en este contexto?
22
• Programación mínima o nula: Producción directa desde CAD (tipo impresora)• Toma de decisiones autónoma.• Adaptabilidad en tiempo real a derivas y desviaciones.• Extracción de información y características, no sólo de datos.• Captura de competencias existentes, y no demandar nuevas capacidades.
www.aimen.es | promero@aimen.es
LMD como sistema ciberfísico
• Modularidad-capacidad de expansión
• Flexibilidad.
• Inteligencia embebida.
• Auto-calibración.
• Metrología embarcada.
• Datos históricos.
• Hay tecnologías disponibles que se usan poco en planta:
• Open frameworks como ROS, fusión de datos, cloud computing, …
• La visión artificial y procesado de imagen proporciona datos
significativos, y correlados con la geometría y la física del proceso.
SE NECESITA:
23www.aimen.es | promero@aimen.es
• On-line geometrical monitoring.• Adaptive path planning.
LMD geometrical control
Célula láser robotizada
Track MeasurementPath Planning
3D Model
Layer Planning Layer Measurement
Generación de STL
On-line
www.aimen.es | promero@aimen.es 24
Control geométrico
Laboratory setup for simultaneous LMD data acquisition
www.aimen.es | promero@aimen.es 25
Adquisición de geometría
www.aimen.es | promero@aimen.es 26
Herramientas AI para autoajuste con sensors de imagen:
Inteligencia artificial
MANEJO DE DATOS EN EL CAMPO:
• Diversas fuentes de imagen: 2D monocroma, multispectral, perfilometría óptica…
• Comunicación industrial (MB/s) con el modelo digital. Video streams + point clouds.
• Extracción de características en Paralelo / Integración temporal de datos• Ajuste iterativo de procesos, diagnóstico y reconfiguración
• Reajuste de trayectorias y parámetros a cientos de Hercios, ya demostrado.
OFFLINE (en la nube?) MEJORA DEL PROCESO:
• Almacenamiento y análisis de grandes históricos de datos.• Uso de herramientas de Deep Learning.
• Autoajuste de modelos, Análisis de cambios y derivas
• Diagnóstico indirecto del propio Sistema de producción.
https://www.tensorflow.org/
AIMEN y la Inteligencia Artificial
Motivación: nuevos paradigmas en fabricación
Sistemas de fabricación láser como CPS
Toma de decisiones guiada por imagen
Conclusiones
• Células screen-printed en silicio (156x156mm).• Tecnología más común, a día de hoy.
• El proceso de fabricación produce defectos.
Células Fotovoltaicas
busbars
frente reverso
28282828www.aimen.es | promero@aimen.es
Reparación láser de células solares
• Imagen diagnóstica (EL, PL, RevEL).
• Grietas y Cortocircuitos (Muy importantes).(> 50%) • Fallos de metalización (menos frecuentes) (< 20%).• Interrupción de conductores. (> 58%)
• Los cortocircuitos pueden repararse.• Corte y aislamiento usando láser.
• Nuevas células solares.
Defectos
Detección
29292929www.aimen.es | promero@aimen.es
Diagnóstico por imagen
30303030www.aimen.es | promero@aimen.es
• Expertos examinan defectos y anotan imagen.– Cambios de textura.– Cambios en la forma del entorno de la textura.
• Diagnóstico de Defectos basado en textura:– Descomposición: segmentación y etiquetado automático.– Adaptación: extensión de los for enhancement of features.– Clasificación y localización a nivel pixel y sub-pixel.
Aprendizaje supervisado:
Análisis bioinspirado de textura:
Defectos
Filtros Log Gabor
Automatizar el diagnóstico
31313131www.aimen.es | aimen@aimen.es
• Entrenamiento con solo 4 imágenes de células defectuosas.– 4 grietas.– 5 áreas inactivas, cortocircuitadas o rotas.
• El tipo de defecto y su contorno es identificado por el entrenador.
Algunos ejemplos de defectos etiquetados.
Identificación a nivel pixel
Automatizar el diagnóstico
32323232www.aimen.es | promero@aimen.es
• Reglas variables según estrategias, Mercado, demanda…:.– Corte y separación de mini-células.– Corte de zonas inactivas o con grietas que se propagan.– Aislamiento láser de defectos puntuales.
Toma de decisiones sobre reparación
Examples of repair decision.
Automatizar la programación
33333333www.aimen.es | promero@aimen.es
• Closing morphological operation.• Inversion and thresholding.• Edge detection and contour.• Bounding box localization.
Cell location and alignment
Steps on cell localization.
Automatizar la programación
www.aimen.es | promero@aimen.es 34343434
galvo-scanner laser source
fumeextractor
workingtable working
area
camera
Reparación por láser
Perspectiva de la cámara.
Área de trabajo del escáner.
Perspectiva del láser.
Correlación de sistemas de coordenadas
www.aimen.es | promero@aimen.es 35353535
Calibración del escáner+cámara
Galvo-scanner working area.
Autocalibración
Automation solutions for the disassembly/separation and recovery of advanced materials
36363636www.aimen.es | promero@aimen.es
Visión: reparación de electrónica
AIMEN y la Inteligencia Artificial
Motivación: nuevos paradigmas en fabricación
Sistemas de fabricación láser como CPS
Toma de decisiones guiada por imagen
Conclusiones
38383838www.aimen.es | promero@aimen.es
Conclusiones
• Arquitecturas abiertas y extendibles.• Entornos ricos en datos y metadatos.• Tecnología de captura de competencias.• Extender los conceptos de visión artificial.• La fabricación láser demanda, incluso exige, sistemas CPS y AI.
Algunas claves para el éxito:
Tendencias:
• Replantear las estrategias de producción, incluso los productos.• Rediseñar los sistemas láser para tomar ventaja de estas tecnologías.• Necesidad de mejorar autocalibración y autoajuste.• Oportunidades para desarrolladores de equipos.• Usa grandes conjuntos de datos a tu favor: aprendizaje, tendencias...
www.aimen.es 39393939
Pablo M. Romero | AIMEN - Centro de Aplicaciones Láser
Tlf. +34 986 344 000 | promero@aimen.es
Gracias por su atención
Sede Torneiros
AIMENRelva 27 A – TorneirosE36410 O PORRIÑOPontevedra – EspañaTelf. +34 986 344 000Fax +34 986 337 302
Sede Central
Centro de Aplicaciones LáserPolígono Industrial de CatoboiSUR-PI-2 (Sector 2) Parcela 3E36410 O PORRIÑOPontevedra – EspañaTelf. +34 986 344 000Fax +34 986 337 302
Delegación A CoruñaPolígono Industrial de PocomacoParcela D-22 Oficina 20E15190 A CORUÑATelf. +34 617 395 153
Delegación MadridAvda. General Perón 32 8º HEdificio Torre CastellanaE28020 MADRIDTelf. +34 687 448 915
aimen@aimen.es
www.aimen.es