Practica 2JANES SAENZ PUERTA

CC: 1.046.427.232

2013Universidad Abierta y a Distancia

TABLA DE CONTENIDO

DESCRIPCIÓN DE LA ACTIVIDAD.........................................................................................................4

PROPUESTA BODEGA DE DATOS PARA LA UNAD...............................................................................4

TABLA DE HECHOS OLAP CONCEPTOS................................................................................................4

MODELO RELACIONAL GENERAL........................................................................................................5

MODELO RELACIONAL LOCAL............................................................................................................6

MODELO RELACIONAL........................................................................................................................7

IMPLEMENTACIÓN DE LA BODEGA DE DATOS...................................................................................8

VENTAJAS DE NUESTRA BODEGA DE DATOS..................................................................................8

DISEÑO DE NUESTRA BODEGA DE DATOS..........................................................................................9

BENEFICIOS DE LA IMPLEMENTACION DE LA BODEGA DE DATOS...................................................10

PROCESO DE IMPLEMENTACIÓN......................................................................................................11

SOFTWARE:..................................................................................................................................11

HARDWARE:.................................................................................................................................11

RIESGOS DEL SISTEMA OPERATIVO..............................................................................................12

RIESGOS DE LA RED......................................................................................................................12

OTROS RIESGOS............................................................................................................................12

DATA MINING...................................................................................................................................13

APLICACIÓN DEL DATA MINING EN EL ANALISIS DE POBLACION UNAD...........................................14

TÉCNICAS DE MINERÍA DE DATOS....................................................................................................15

ESTRUCTURA BÁSICA DE UN SISTEMA EXPERTO..............................................................................18

TIPOS DE SISTEMAS EXPERTOS.........................................................................................................18

INTRODUCCIÓN Con el presente trabajo colaborativo perteneciente a la UNIDAD No dos del módulo de Bases de datos avanzadas, se espera lograr de parte de nosotros los estudiantes de este curso asimilar y comprender cada tema visto con anterioridad en la unidad correspondiente a esta tarea, así como también conocer y aplicar los concepto de bases de datos distribuidas y bodegas de datos por medio de la minería de datos.

Los fundamentos teóricos para esta práctica se presentan en el módulo del curso, en la temática correspondiente a Bodegas de datos y minería de datos. Una Bodega de Datos (Data Warehouse) es un repositorio integrados por datos que pueden ser generados internamente o recibidos de fuentes externas, organizados de tal manera que facilitan el proceso de toma de decisiones. La Minería de datos es el proceso analítico diseñado para explorar grandes volúmenes de datos con el objeto de descubrir patrones y modelos de comportamiento o relaciones entre diferentes variables. Es decir, descubrir conocimiento que ayuda a mejorar la toma de decisiones en las organizaciones.

OBJETIVOS Utilizar los temas abordados en la segunda unidad del curso y

complemente su aprendizaje mediante lecturas de los textos de referencia.

De igual manera, mejorar la comprensión y el aprendizaje mediante

socialización y discusión de los temas con el grupo colaborativo.

Poner en práctica la unidad 2 del módulo bases de datos avanzada.

Aplicar bodegas de datos sobre un ejemplo real y crear una minería de datos

DESCRIPCIÓN DE LA ACTIVIDADEn la práctica 1 se diseñó la base de datos distribuida para la Unad, ahora continuando con este ejercicio, se solicita que se ponga en práctica los conocimientos adquiridos en la unidad dos y se prepare una propuesta detallada de implementación de una bodega de datos en la que se aplicará minería de datos para extraer información importante para la toma de decisiones. La propuesta debe presentar información suficiente sobre la bodega de datos, como: ventajas para la organización, proceso de implementación, costos, riesgos; de igual manera una descripción detallada de la aplicación de algoritmos de minería de datos en dónde se resalte qué información específica se podría obtener mediante esta técnica que no podría obtenerse de manera convencional.

PROPUESTA BODEGA DE DATOS PARA LA UNADPrimero que todo explicamos en nuestra propuesta para ustedes lo que consiste la bodega de datos, como conjunto de datos integrados u orientados a una materia, que varían con el tiempo y que no son transitorios, los cuales soportan el proceso de toma de decisiones de la administración y está orientada al manejo de grandes volúmenes de datos provenientes de diversas fuentes o diversos tipos.

Estos datos cubren largos períodos de tiempo lo que trae consigo que se tengan diferentes esquemas de los datos fuentes, La concentración de esta información está orientada a su análisis para apoyar la toma de decisiones oportunas y fundamentadas, Previo a su utilización se debe aplicar procesos de análisis, selección y transferencia de datos seleccionados desde las fuentes.

TABLA DE HECHOS OLAP CONCEPTOS

ESCUELAS PROGRAMAS CURSOS TUTORES ESTUDIANTES CENTROS

Nom_escuela, teléfono, decano, correo, dirección

(Id_programa, nombre, titulo, modalidad, T_informacion, N_educativo, créditos)

Id_curso, tutor, mediación, coordinador, nombre

Id_tutor, correo, teléfono, nombre, apellido, dirección, N_formacion

Id_estudiante, nombre, apellido, dirección, telefono

MODELO RELACIONAL GENERAL

MODELO RELACIONAL LOCAL

MODELO RELACIONAL

IMPLEMENTACIÓN DE LA BODEGA DE DATOS

La bodega de datos del almacén estará ubicada en la Zona central por lo tanto se dispondrá de toda la información de las sedes del supermercado actualizando la mediante las herramientas específicas como son:

Herramientas de Almacenamiento (bases de datos, multidimensionales): esta será un servidor para el almacenamiento y manejo de la base de datos corporativa,

Herramientas de Extracción y Colección: serán desarrolladas por el personal interno de la compañía dado el gran conocimiento que tienen de los sistemas transaccionales.

Herramientas para Reportes de Usuario Final: es la interface vista por el usuario entre estas puede ser seleccionada entre Cognos Powerplay, Business Objects, SAS, ShowCase Strategy.

Herramientas para Análisis Inteligentes: Entre ellas están las de empresas como IBM, SAS, Arbor, Cognos, Business Objects, entre otras. Estas herramientas han sido construidas utilizando inteligencia artificial que buscan alrededor de la Bodega de Datos modelos y relaciones en los datos. Estas herramientas utilizan una técnica conocida como Minería de datos.

Para la implementación de nuestra bodega de datos les planteamos algunas ventajas que tendríamos con la anterior.

VENTAJAS DE NUESTRA BODEGA DE DATOS

Proporciona información clave para la toma de decisiones en la empresa y mejora la calidad de las decisiones tomadas.

Especialmente útil para el medio y largo plazo. Muy útiles para el almacenamiento de análisis y consultas de

históricos. Proporciona un gran poder de procesamiento de información. Permite una mayor flexibilidad y rapidez en el acceso a la

información. Facilita la toma de decisiones en los negocios Y la empresa obtiene

un aumento de la productividad. Proporciona una comunicación fiable entre todos los departamentos

de la empresa y Mejora las relaciones con los proveedores y los clientes.

DISEÑO DE NUESTRA BODEGA DE DATOSCon el fin optimizar las consultas relacionadas con los aspectos de la Unad

(Centros, tutores, Programas, etc.). Esto conduce a una estructura en estrella en

la que el centro es la tabla “fact” o “hecho” que representa al factor principal por el

que se desea analizar la base de datos. Alrededor de esta tabla aparecen las

tablas “dimensión”, que representan los diferentes aspectos relacionados con el

principal y que influyen en el estudio.

Consideraciones tenidas al momento del diseño:

• Identificar las tablas de hechos, ya que es posible tener más de una. Por cada aspecto del negocio que interese estudiar debe aparecer una tabla de hechos.

• Identificar las tablas de dimensión (esto es, decidir cuáles son los parámetros por los que interesa realizar el estudio).

• Comprobar que ninguna de las tablas de hechos oculta tablas de dimensiones. Al heredar la estructura de las bases de datos operacionales, esto ocurre muy a menudo al encontrarnos que no se han eliminado atributos que ya no interesan.

Teniendo en cuenta algunas consideraciones como las anteriores recomendaciones presentamos el modelo de nuestra bodega de datos.

Al diseñar nuestra bodega de datos para la UNAD, se toma información de las anteriores bases de datos realizada en el Informe No 1, tales informaciones como:

Escuelas: En las Cuales se dividen los distintos programas. Programas: para la identificación de los programas académicos. Cursos, Tutores y Estudiantes: que almacenan la información relevante a

los actores de la Unad.

BENEFICIOS DE LA IMPLEMENTACION DE LA BODEGA DE DATOS

La UNAD se verá beneficiada de usar una bodega de datos porque será una

forma más ágil de obtener información específica para tomar decisiones con el fin

de aumentar las ventas. La bodega de datos no implica demasiado costo para la

Unad, pues al tener una base de datos distribuida la información se filtrará para

tomar solo la especifica y necesaria para almacenar en la bodega de datos,

aunque sí debería tener presupuesto para alguna herramienta hardware y para el

recurso humano. Para la bodega de datos y minería se necesitarían herramientas

como Herramientas de Almacenamiento, Herramientas de Extracción y Colección,

Herramientas para Reportes de Usuario Final y Herramientas para Análisis

Inteligentes.

PROCESO DE IMPLEMENTACIÓN

SOFTWARE: Herramientas de Almacenamiento: corresponde a la herramienta en la cual

se irán a almacenar los datos. Existen muchas opciones dependiendo del volumen de los datos, presupuesto y capacidad de su sistema. Cada uno de los sistemas de administración de bases de datos, como Oracle, DB2, Informix, Tera Data?, Sybase, etc, tienen una facilidad de Data Warehouse.

Herramientas de Extracción y Colección: Ayudan a definir, acumular, totalizar y filtrar los datos de sus sistemas transaccionales en el Data Warehouse. La mayoría de esas herramientas son desarrolladas por el personal interno de la compañía dado el gran conocimiento que tienen de los sistemas transaccionales.

Herramientas para Elaboración de Reportes a Usuarios Finales: Es la interface vista por el usuario. Al usuario se le debe proveer un mecanismo para que vea los datos a un alto nivel y que entonces obtenga con ello la solución a preguntas específicas. Existen muchas herramientas, incluyendo Cognos Powerplay, Business Objects, SAS, Show Case? Strategy etc.

HARDWARE: Se requiere de un servidor para el almacenamiento y manejo de la base de

datos corporativa; este servidor se recomienda que sea altamente escalable, pues algunas veces el proyecto de construcción de la bodega presenta redimensionamiento a medida que se avanza en la implementación.

La capacidad inicial de almacenamiento estará determinada por los requerimientos de información histórica presentados por la empresa y por la perspectiva de crecimiento que se tenga.

Debemos considerar que en todo proyecto de bases de datos e implementación de una bodega de datos tendremos y existen algunos riesgos para el sistema, presentamos alguno de esos riesgos más significativos.

RIESGOS DEL SISTEMA OPERATIVO. La bodega de datos se encuentra sobre la plataforma del sistema operativo. La seguridad representada en la disponibilidad, confidencialidad y controles de accesos y privilegios sobre las áreas de almacenamiento y procesamiento están en gran medida dependientes de esta plataforma.

El Sistema operativo no apoya las políticas de acceso establecidas desde la administración de la bodega de datos.

Los recursos requeridos por los procesos de actualización sean mal atendidos por el sistema operativo.

El sistema operativo permite que programas o usuarios ejecuten y utilicen recursos protegidos desde la bodega de datos.

El sistema operativo no otorga los recursos necesarios para la realización de procesos de alto costo computacional.

RIESGOS DE LA RED. Es la infraestructura de comunicación que permite que los diferentes componentes intercambien información. La cantidad de datos contenidos en la bodega de datos incrementa su importancia.

Acceso al sistema desde elementos externos sin autorización (aplicaciones, personas, etc.)

La red se convierta en un cuello de botella para lo operación del sistema. La inexistencia de elementos que respalden un componente que falle

OTROS RIESGOS - Des actualización de esquemas a nuevas necesidades del negocio. - Acceso no restringido a objetos de la bodega de datos. - Respaldo de los datos almacenados.

DATA MININGEl data mining es una tecnología compuesta por etapas que integra varias áreas y que no se debe confundir con un gran software. Durante el desarrollo de un

proyecto de este tipo se usan diferentes aplicaciones software en cada etapa que pueden ser estadísticas, de visualización de datos o de inteligencia artificial, principalmente. Actualmente existen aplicaciones o herramientas comerciales de data mining muy poderosas que contienen un sinfín de utilerías que facilitan el desarrollo de un proyecto. Sin embargo, casi siempre acaban complementándose con otra herramienta.

Podemos decir que "en data mining cada caso es un caso". Sin embargo, en términos generales, el proceso se compone de cuatro etapas principales:

1. Determinación de los objetivos. Trata de la delimitación de los objetivos que el cliente desea bajo la orientación del especialista en data mining.

2. Preprocesamiento de los datos. Se refiere a la selección, la limpieza, el enriquecimiento, la reducción y la transformación de las bases de datos. Esta etapa consume generalmente alrededor del setenta por ciento del tiempo total de un proyecto de data mining.

3. Determinación del modelo. Se comienza realizando unos análisis estadísticos de los datos, y después se lleva a cabo una visualización gráfica de los mismos para tener una primera aproximación. Según los objetivos planteados y la tarea que debe llevarse a cabo, pueden utilizarse algoritmos desarrollados en diferentes áreas de la Inteligencia Artificial.

4. Análisis de los resultados. Verifica si los resultados obtenidos son coherentes y los coteja con los obtenidos por los análisis estadísticos y de visualización gráfica. El cliente determina si son novedosos y si le aportan un nuevo conocimiento que le permita considerar sus decisiones.

APLICACIÓN DEL DATA MINING EN EL ANALISIS DE POBLACION UNADUno de los campos de aplicación tradicionales de la minería de datos es la predicción de la evolución en el futuro de una variable (o conjunto de variables) a partir de datos históricos sobre su comportamiento en el pasado. Las técnicas de minería de datos constituyen una alternativa útil y eficaz a las aproximaciones

matemáticas tradicionales, especialmente en el caso de variaciones muy irregulares, complicadas de modelar con los métodos clásicos.

Para mejorar la precisión del modelo y conseguir la exactitud necesaria en las predicciones, se han aplicado técnicas de minería de datos.

En primer lugar, se han analizado las características básicas de la serie. A simple vista, se observa que las ventas presentan una tendencia creciente en el tiempo que puede modelarse con medias móviles. También se observan oscilaciones estacionales, aunque estas regularidades no aparecen en todos los meses. Por ejemplo, si bien se puede medir las características de la población de que se encuentra en la Unad como tutores, estudiantes y personal administrativo. Esto puede significar que la serie incluye varios factores de influencia con distintos periodos. Estas observaciones se ven confirmadas por el análisis del espectro de frecuencia, que muestra varios máximos.

Las conclusiones de los estudios preliminares sugieren la conveniencia de incluir en el modelo información no sólo de los valores de la población en los meses previos sino también sobre la tendencia de la serie y sobre la temporada en cuestión, datos todos ellos contenidos en la propia serie.

El sistema desarrollado, basado en una red neuronal, permitiría medir el nivel de la población de la Unad, clasificando variables como Sexo, Edad, Zona Geográfica, condición socioeconómica, entre otras que permitirán el desarrollo de planes específicos para cada zona que conforma la Unad.

TÉCNICAS DE MINERÍA DE DATOS

Las técnicas de la minería de datos provienen de la Inteligencia artificial y de la estadística, dichas técnicas, no son más que algoritmos, más o menos sofisticados que se aplican sobre un conjunto de datos para obtener unos resultados.

Las técnicas más representativas son:

Redes neuronales.- Son un paradigma de aprendizaje y procesamiento automático inspirado en la forma en que funciona el sistema nervioso de los animales. Se trata de un sistema de interconexión de neuronas en una red que colabora para producir un estímulo de salida. Algunos ejemplos de red neuronal son: o El Perceptrón.o El Perceptrón multicapa.o Los Mapas Auto organizados, también conocidos como redes de Kohonen.

Árboles de decisión.- Un árbol de decisión es un modelo de predicción utilizado en el ámbito de la inteligencia artificial, dada una base de datos se construyen estos diagramas de construcciones lógicas, muy similares a los sistemas de predicción basados en reglas, que sirven para representar y categorizar una serie de condiciones que suceden de forma sucesiva, para la resolución de un problema. Ejemplos: o Algoritmo ID3.o Algoritmo C4.5.

Modelos estadísticos.- Es una expresión simbólica en forma de igualdad o ecuación que se emplea en todos los diseños experimentales y en la regresión para indicar los diferentes factores que modifican la variable de respuesta.

Agrupamiento o Clustering.- Es un procedimiento de agrupación de una serie de vectores según criterios habitualmente de distancia; se tratará de disponer los vectores de entrada de forma que estén más cercanos aquellos que tengan características comunes. Ejemplos: o Algoritmo K-means.o Algoritmo K-medoids.

Según el objetivo del análisis de los datos, los algoritmos utilizados se clasifican en supervisados y no supervisados (Weiss y Indurkhya, 1998):

Algoritmos supervisados (o predictivos): predicen un dato (o un conjunto de ellos) desconocido a priori, a partir de otros conocidos.

Algoritmos no supervisados (o del descubrimiento del conocimiento): se descubren patrones y tendencias en los datos.

El hecho es, que en la práctica la totalidad de los modelos y algoritmos de uso general en minería de datos, como redes neuronales, árboles de regresión y clasificación, modelos logísticos, análisis de componentes principales, entre otros, gozan de una tradición relativamente larga en otros campos.

La minería de datos bebe de la estadística, de la que toma las siguientes técnicas:

Análisis de varianza, mediante el cual se evalúa la existencia de diferencias significativas entre las medias de una o más variables continúas en poblaciones distintas.

Regresión: define la relación entre una o más variables y un conjunto de variables predictoras de las primeras.

Prueba chi-cuadrado: por medio de la cual se realiza el contraste la hipótesis de dependencia entre variables.

Análisis de agrupamiento o clustering: permite la clasificación de una población de individuos caracterizados por múltiples atributos (binarios, cualitativos o cuantitativos) en un número determinado de grupos, con base en las semejanzas o diferencias de los individuos.

Análisis discriminante: permite la clasificación de individuos en grupos que previamente se han establecido, permite encontrar la regla de clasificación de los elementos de estos grupos, y por tanto una mejor identificación de cuáles son las variables que definan la pertenencia al grupo.

Series de tiempo: permite el estudio de la evolución de una variable a través del tiempo para poder realizar predicciones, a partir de ese conocimiento y bajo el supuesto de que no van a producirse cambios estructurales.

Y como la informática toma las siguientes técnicas:

Algoritmos genéticos: Son métodos numéricos de optimización, en los que aquella variable o variables que se pretenden optimizar junto con las variables de estudio constituyen un segmento de información. Aquellas configuraciones de las variables de análisis que obtengan mejores valores para la variable de respuesta, corresponderán a segmentos con mayor capacidad reproductiva. A través de la reproducción, los mejores segmentos perduran y su proporción crece de generación en generación. Se puede además introducir elementos aleatorios para la modificación de las variables (mutaciones). Al cabo de cierto número de iteraciones, la población estará constituida por buenas soluciones al problema de optimización, pues las malas soluciones han ido descartándose, iteración tras iteración.

Inteligencia Artificial: Mediante un sistema informático que simula un sistema inteligente, se procede al análisis de los datos disponibles. Entre los sistemas de Inteligencia Artificial se encuadrarían los Sistemas Expertos y las Redes Neuronales.

Sistemas Expertos: Son sistemas que han sido creados a partir de reglas prácticas extraídas del conocimiento de expertos. Principalmente a base de inferencias o de causa-efecto.

Sistemas Inteligentes: Son similares a los sistemas expertos, pero con mayor ventaja ante nuevas situaciones desconocidas para el experto.

Redes neuronales: Genéricamente, son métodos de proceso numérico en paralelo, en el que las variables interactúan mediante transformaciones lineales o no lineales, hasta obtener unas salidas. Estas salidas se contrastan con los que tenían que haber salido, basándose en unos datos

de prueba, dando lugar a un proceso de retroalimentación mediante el cual la red se reconfigura, hasta obtener un modelo adecuado.

Se busca una mejor calidad y rapidez en las respuestas dando así lugar a una mejora de la productividad del experto. Se puede considerar como una rama de la inteligencia artificial. Estos sistemas copian las actividades de un humano para resolver problemas de distinta índole (no necesariamente tiene que ser de inteligencia artificial). También se dice que un Sistema experto se basa en el conocimiento declarativo (hechos sobre objetos, situaciones) y el conocimiento de control (información sobre el seguimiento de una acción).

Un sistema experto para que sea una herramienta efectiva, los usuarios deben interactuar de una forma fácil, reuniendo dos capacidades para poder cumplirlo como son:

Expresar sus razonamientos o base del conocimiento: los sistemas expertos se deben realizar siguiendo ciertas reglas o pasos claros de manera que se pueda generar la explicación para cada una de estas reglas, que a la vez se basan en hechos.

Adquisición de nuevos conocimientos o integrador del sistema: son métodos de razonamiento que sirven para modificar los conocimientos anteriores. Sobre la base de lo anterior se puede decir que los sistemas expertos son el producto de investigaciones en el campo de la inteligencia artificial ya que esta no intenta sustituir a los expertos humanos, sino que se desea ayudarlos a realizar con más rapidez y eficacia todas las tareas que realiza.

Debido a esto en la actualidad se están mezclando diferentes técnicas o aplicaciones aprovechando las ventajas que cada una de estas ofrece para poder tener empresas más seguras. Un ejemplo de estas técnicas sería los agentes que tienen la capacidad de negociar y navegar a través de recursos en línea; y es por eso que en la actualidad juega un papel preponderante en los sistemas expertos. Unos ejemplos claros de sistemas expertos son:

Dendral XCon Dipmeter Advisor Mycin CADUCEUS R1 CLIPS, Jess Prolog ehsis.ikudetelemed.com

ESTRUCTURA BÁSICA DE UN SISTEMA EXPERTO

Un Sistema Experto está conformado por:

Base de conocimientos (BC): Contiene conocimiento modelado extraído del diálogo con el experto.

Base de hechos (Memoria de trabajo): contiene los hechos sobre un problema que se ha descubierto durante el análisis.

Motor de inferencia: Modela el proceso de razonamiento humano. Módulos de justificación: Explica el razonamiento utilizado por el sistema

para llegar a una determinada conclusión. Interfaz de usuario: es la interacción entre el SE y el usuario, y se realiza

mediante el lenguaje natural.

TIPOS DE SISTEMAS EXPERTOS

Principalmente existen tres tipos de sistemas expertos:

Basados en reglas. Basados en casos o CBR (Case Based Reasoning). Basados en redes bayesianas.

CONCLUSIONESEsta minería de datos está dirigido a profesionales involucrados en el análisis de los sistemas de información o en la toma de decisiones de su organización o de sus clientes, así como a estudiantes universitarios en titulaciones de

ingeniería, informática, empresariales o biomédicas, o bien que quieran complementar su formación estadística con la perspectiva del proceso de extracción de conocimiento mediante la generación de modelos a partir de bases de datos.Esta minería de datos es utilizada actualmente para deducir y encontrar perfiles de comportamiento de clientes, proveedores o ambientes, de acuerdo a los parámetros emitidos en los modelos matemáticos que se extraen en el análisis hecho para la implementación de esta tecnología.

REFERENCIAS BIBLIOGRÁFICAS

Modulo de Bases de Datos Avanzadas (UNAD) Contenido en línea:

http://campus03.unadvirtual.org/moodle/file.php/160/moduloExe/index.html Documento sobre la Bodega de datos:

http://ccp.ucr.ac.cr/bvp/pdf/desarrollohumano/bd_distribuidas-rca.pdfhttp://www.monografias.com/trabajos24/bodega-de-datos/bodega-de-datos.shtml

Documentos sobre la Normalización de las BD: http://www.eet2mdp.edu.ar/alumnos/MATERIAL/MATERIAL/info/

infonorma.pdf http://es.wikipedia.org/wiki/Normalizaci%C3%B3n_de_bases_de_datos