Post on 14-Jun-2015
Integración de DatosMas allá del datawarehouse
Daves GomezProduct Manager
Lima 08 de Mayo del 2013
El dato
• Información fragmentada y diseminada • Sistemas complejos y cambiantes
• Las nuevas peticiones requieren integración • Peticiones incesantes - Presupuestos limitados
Durante más de 40 años, los datos han estado prisioneros de las aplicaciones
Por ello, en la mayoría de casos, no son un activo productivo:
- No son accesibles
- No son flexibles
- Su calidad es limitada
- No pueden reutilizarse
Aplicación Aplicación
Datos Datos
El desafío: liberar los datos de las aplicaciones
ValorInversión
Hay que maximizar el valor de los datos
Importancia de los Datos
Un Mundo Sin Integración de Datos
GlobalizaciónEficiencia operativa
Consolidación Crecimiento Gobernabilidad
Falta de datos relevantes, oportunos y confiables
Mejora de Decisiones
Modernizarel Negocio
MejorarEficiencia yReducirCostos
FusionesAdquisicionesy Diversificar
Adquiriry RetenerClientes
FuncionesOursourceNon-core
GobernabilidadRiesgos yCompliance
IncrementarEficiencia yRed con Partners
IncrementarAgilidad deNegocio
IMPERATIVAS DE NEGOCIO
Transacciones SOCIALESDESKTOPS MovilCLOUDON-SITE
La Economía de la Información
La falta de datos confiables obstaculiza el cumplimiento de los imperativos clave del negocio
El enfoque tradicional
75% de las empresas informaron un aumento en los costos de mantenimiento
Data Warehouse
DataMigration
Test DataManagement& Archiving
Master DataManagement
Data Synchronization
B2B DataExchange
DataConsolidation
ComplexEventProcessing
UltraMessaging
Transacciones SOCIALESDESKTOPS MovilCLOUDON-SITE
87% de las empresas usan el código manual para la integración de datos
Teradata F
astLo
ad
Ora
cle
SQ
L, P
L/S
QL
Que
uing
/ C
usto
m IM
S C
ode
Teradata T
Pu
mp
Ora
cle
SQLL
oad
ALE/IDoc
Oracle LogMiner (Change Capture)
IMS
Cha
nge
Cap
ture
Oracle SQL
Teradata M
ultiL
oad
BA
PI
Web
Ser
vice
sW
eb S
ervi
ces
Web
Ser
vice
s
Web
Ser
vice
s
Cu
sto
m IM
S D
ML
Custom
IMS
DM
L
Falta de visibilidad
Demasiado lento al cambio
Multitud de fuente de datos heterogéneos
Diferente consumidores de datos y requerimientos
Data Warehouse
DataMigration
Test DataManagement& Archiving
Master DataManagement
Data Synchronization
B2B DataExchange
DataConsolidation
ComplexEventProcessing
UltraMessaging
Transacciones SOCIALESDESKTOPS MovilCLOUDON-SITE
Problema: Fragmentación de datos en una empresa
El Reto en la InformacionSintetizar y Gobernabilidad de Datos
GobernabilidadDe Datos
?
ExperienciaDel Cliente
FacturacionRequerimientosRegulatorios
AdministracionDe Riesgos
OperacionesBack End
Quien?
Que?
Como?
Cliente
Productos
ContactosCliente
Externos
Proveedores
Seguridad
Cliente
Contabililidad
Cliente
Externos
Datos Externos
La solución
Informatica una Propuesta de Valor
Transacciones SOCIALESDESKTOPS MovilCLOUDON-SITE
Mejora de Decisiones
Modernizarel Negocio
MejorarEficiencia yReducirCostos
FusionesAdquisicionesy Diversificar
Adquiriry RetenerClientes
FuncionesOursourceNon-core
GobernabilidadRiesgos yCompliance
IncrementarEficiencia yRed con Partners
IncrementarAgilidad deNegocio
Aumentar valor de datos
RelevanteAccionableOportuno Holístico ConfiableAccesible PrecisoSeguro
Reducir costo de datos
Costos de negocio Costos de mano de obra Costos de software Costos de hardware Costos almacenamiento
Misión de InformaticaMaximizar el retorno sobre los datos
Contribuimos a que las organizaciones maximicen el retorno sobre los datos para hacer frente a sus principales desafíos de negocio
Retorno sobre datos
=Valor de datos
Costo de datos
ExtendidoB2B Data InterchangeData Quality
Auditoría, monitoreo y reportesAsegurar la consistencia de los datos, performance, análisis de impactos y monitoreo de la calidad de datos
PowerCenter PowerExchange
AccederEstructuradoNo EstructuradoTiempo realBatch
EntregarIntegrarProveer datos en el momento correcto, de la manera correcta y en cualquier plataforma
Transformar y unificar cualquier formato de la insdustria, tipo de dato, aplicaciones
LimpiarDescubrirValidar, corregir y estandarizar cualquier tipo de dato
Buscar y perfilar cualquier fuente de datos
Ciclo de vida completo de la Integración de Datos
Desarrollo y AdministraciónDesarrollo y colaboración con un repositorio unificado y abierto de metadatos
Mas allá del Datawarehouse
Inteligenciade Negocioy Operacional
Retiro deLegados
AplicacionILM
Hubs deClientes,Proveedores,Productos
BPOSaaS
IntegracionB2B
ConsolidacionDeAplicaciones
Mitigacionde Riesgosy ReportesRegulatorios
Operacionesde LatenciaCero
Data Warehouse
DataMigration
Test DataManagement& Archiving
Master DataManagement
Data Synchronization
B2B DataExchange
DataConsolidation
ComplexEventProcessing
UltraMessaging
Mejora de Decisiones
Modernizarel Negocio
MejorarEficiencia yReducirCostos
FusionesAdquisicionesy Diversificar
Adquiriry RetenerClientes
FuncionesOursourceNon-core
GobernabilidadRiesgos yCompliance
IncrementarEficiencia yRed con Partners
IncrementarAgilidad deNegocio
IMPERATIVAS DE NEGOCIO
INICIATIVAS DE TI
PROYECTOS DE INTEGRACION DE DATOS
Más allá del Data WarehousingHabilitando la empresa centrada en datos
Tecnologías de integración de DatosMas allá del DataWarehouse
EAIHerramientas de integración Funcional (Enterprise Application Integration).
ETLAlmacenes de Datos y herramientas de carga (Extract, Transform and Load).
CDCHerramientas de captura de cambios (Change Data Capture).
EIISistemas para manejo de datos federados (Enterprise Information Integration).
:: Tecnologías para la Integración
Aplicación A Aplicación B
Aplicación C
EAI - Enterprise Application Integration
• Comunicación Punto a Punto.
• Transacciones de negocio se mueven entre aplicaciones como mensajes.
• Se coordina el flujo de mensajes mediante publicaciones y suscripciones
• Los mensajes están en un formato estándar, independiente de las aplicaciones: XML
• Ideal cuando el numero de aplicaciones que deben intercambiar datos es reducido
• Interfaces crecen exponencialmente con el numero de participantes.
• Datos de fuentes heterogéneas se integran y graban en lo que se llama Data Warehouse (DWH).
• DWH puede verse como un conjunto de Data Marts (DM) o Almacenes Datos.
Cada uno correspondiente a un tema de negocio:
Marketing, Ventas, RRHH, Financiero, etc.
• Los DM comparten datos que, aunque físicamente separados, deben mantenerse sincronizados.
ETL
• Intercambios directos entre Base de Datos, con baja latencia (poco segundos).
• Puede hacer ciertas transformaciones, elementales si se comparan con las ofrecidas por herramientas ETL.
• Preparados para no sobrecargar los sistemas orígenes.
• Obtiene la información desde los logs de los sistemas para obtener el delta (los registros que han cambiado).
CDC – Change Data Capture
ETL
Vistas Virtuales
Clientes
Pedidos Productos
Clientes
Pedidos Productos
EII – Enterprise Information Integration
• Ofrece accesos uniformes a múltiples fuentes de datos sin cargarlos primero en una Bodega Central.
• Enfocado en consultas.
• Datos siempre actualizados.– Acceden directamente a los orígenes
de datos.
• Permitir mayor rapidez en la entrega de soluciones.
• Su uso como prototipado -> ser mas eficaces.
…
Costes Típicos en un Proyecto de Migración de Datos
Desarrollomanual
ConIntegración
de Datos
Ahorros de al menos 35% de costes. Sin iteraciones
Sin Iteraciones
Iteración 1
Fuente:The Standish GroupMigrate Headaches,
Análisis de Datos50%
Desarrollo30%
PuestaEn Marcha
20%
15%Desarrollo
30%
Puestaen
20%
Iteración 2 …
Comparación desarrollo manual v/s integración de datos
Gracias por su atención
LATINOAMÉRICA info@powerdataam.com
Chile
Av. Presidente Errázuriz Nº 2999 - Oficina 202
Las Condes, Santiago CP 7550357
Tel: (+56) 2 892 0362
Colombia
Calle 100 No. 8A-55 Torre C. Of. 718
Bogotá
Tel: (+57 1) 616 77 96
México
Insurgentes Sur Nº 600 Of. 301 y 302,
Col. del Valle, Benito Juarez
Distrito Federal, México, 03100
Tel: (+52 55) 1107-0812
Perú
Calle Los Zorzales Nº 160, piso 9
San Isidro, Lima
Tel: (+51) 1634 4901
Argentina
Avenida Leandro N Alem 530, Piso 4
CD C100 1AAN Ciudad Autónoma de Buenos Aires
Tel: (+54) 11 4314 1370
www.powerdataam.com
Barcelona
C/ Frederic Mompou, 4B 1º, 3º
08960 Sant Just Desvern
T (+34) 934 45 60 01
Valencia
Edificio Europa - 5º I Avda, Aragón, 30
46021 Valencia
T (+34) 960 91 60 25
Madrid
C/ Miguel Yuste, 17, 4º C
28037 Madrid
T (+34) 911 29 72 97
info@powerdata.es www.powerdata.esESPAÑA