Automatización de la gestión y publicación de datos … Librería que interactúa con las...

26
Automatización de la gestión y publicación de datos abiertos

Transcript of Automatización de la gestión y publicación de datos … Librería que interactúa con las...

Page 1: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Automatización de la gestión y publicación de datos

abiertos

Page 2: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

•Datos abiertos

Las iniciativas de apertura de datos públicos, también llamadas de datos abiertos (open data en inglés), consisten en la publicación de información en poder del sector público sin procesar, en formatos estándar abiertos e interoperables, facilitando su acceso y permitiendo su reutilización.

Page 3: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

•¿Por qué una iniciativa de datos abiertos?

El preámbulo de la Ley 37/2007, de 16 de noviembre, sobre Reutilización de la Información del Sector Público indica que la información generada desde las instancias públicas, con la potencialidad que le otorga el desarrollo de la sociedad de la información, posee un gran interés para las empresas a la hora de operar en sus ámbitos de actuación, contribuir al crecimiento económico y la creación de empleo, y para los ciudadanos como elemento de transparencia y guía para la participación democrática.

Por ello la Junta de Gobierno Local del Ayuntamiento de Lorca adoptó el día 4 de Octubre de 2013 el acuerdo, entre otros, de crear el portal de datos del Ayuntamiento de Lorca, que difundirá el catálogo de datos abiertos, así como las aplicaciones y desarrollos creados a partir de él.

Page 4: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

Beneficios de una iniciativa open data:

•Mejora de los servicios públicos

•Mejorar en la rendición de cuentas y transparencia

•Económicos, crecimiento y creación de empleo

Page 5: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

Tipos de datasets (conjuntos de datos) que suelen publicarse:

1º Datasets relacionados con la transparencia: Presupuestos, contratación pública, subvenciones y convenios...

2º Datasets relacionados con la reutilización comercial: Turismo, movilidad...

3º Datasets relacionados con estadísticas y estudios en profundidad: Población, vivienda...

Page 6: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

http://datos.lorca.es

Page 7: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

El portal se presentó el 9 de enero de 2014, siendo la primera iniciativa de este tipo en la Región de Murcia.

Cuenta con 4 apartados principales:

•Catálogo de datos

•Términos de uso

•Aplicaciones

•Participa

Page 8: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

•Catálogo de datos

El portal nació inicialmente con 22 conjuntos de datos, ahora son más de 70

El catálogo de datos que, siguiendo la Norma Técnica de Interoperabilidad de Reutilización de Recursos de Información, se publicó en formato semántico RDF, utilizando para ello el vocabulario DCAT, diseñado para facilitar la interoperabilidad entre los catálogos de datos publicados en la web. Todo ello permitió su federación con el portal nacional de datos abiertos datos.gob.es.

Page 9: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Portal de datos abiertos del Ayuntamiento de Lorca

•Términos de uso

Se ha optado por seguir el modelo de aviso legal publicado en el R.D. 1495/2011, de 24 de octubre, por el que se desarrolla la Ley 37/2007, de 16 de noviembre, sobre reutilización de la información del sector público, para el ámbito del sector público estatal.

•Aplicaciones

Dedicado a publicitar las aplicaciones que se desarrollan con los datos publicados, realizadas tanto por parte de la propia administración como de terceros.

•Participa

•Sugerencias al portal

•Petición de apertura de datos

•Aplicaciones generadas

•Otras

Page 10: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión, publicación y actualización de datos

Pasos para la apertura de datos:

•Identificación

•Selección

•Descripción

•Formato

•Condiciones de uso

•Publicación

•Fomentar el uso

Page 11: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión, publicación y actualización de datos

•Análisis de la problemática

•Análisis de la solución

Page 12: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión, publicación y actualización de datos

• Problemática

• Múltiples tipos de bases de datos

• Múltiples formato de archivo para la publicación

• Elaboración del catalogo de datos en formato RDF-DCAT, para integración con otros portales (Ej. datos.gob.es)

• Publicación de los datos en el portal web.

• API para desarrolladores

Page 13: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión, publicación y actualización de datos

• Solución, crear una aplicación que fuese capaz de:• Gestionar diferentes tipos de bases de datos de una manera homogénea.

• Adaptación a diferentes roles (administrador base de datos, gestor de servicios y publicador.)

• Crear consultas sobre diferentes bases de datos

• Generar diferentes tipos de archivo para su publicación

• Generar el catálogo de datos RDF-DCAT de manera automatizada

• Automatizar la publicación de los datos

• Crear servicios para desarrolladores

Page 14: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Automatización de la gestión y publicación de datos abiertos

• SEPADA (Software de extracción y publicación automatizada de datos abiertos)

• SEPADA_GES : Aplicación de escritorio para la gestión de datos y publicación.

• SEPADA_MVC : Aplicación MVC (Modelo, vistas y controlador) , encargada de gestionar las peticiones de archivos así como las vistas de la página web.

• SEPADA_ACT: Aplicación encargada de gestionar las actualizaciones de archivos de datos publicados.

• SEPADA_CORE: Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados en tiempo real.

Page 15: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datos

• SEPADA_GES

• Conexiones de bases de datos (Administrador bases de datos)

• Gestión de servicios (Gestor de servicios)

• Datos del catálogo (Publicador)

• Publicación de los servicios (Publicador)

SQL SERVER

ORACLE FIREBIRDMYSQLPOSTGRESQL ODBC OLDB

Gestionar conexión SEPADAPOSTGRESQL

Page 16: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datosSEPADA_GES: Gestión de servicios

Gestionar servicio SEPADAPOSTGRESQL

• Crear consulta a partir de las conexiones creadas

• Cumplimentar datos para el publicador

Page 17: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datosSEPADA_GES: Gestión de servicios

Page 18: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datosSEPADA_GES: Catálogo

Gestionar catálogo SEPADAPOSTGRESQL

• Cumplimenta los datos necesarios del catálogo RDF-DCAT

• Establece las ubicaciones de los archivos generados automáticamente así como archivos estáticos (SHP, etc.)

Page 19: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datosSEPADA_GES: Gestión de servicios

Page 20: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datosSEPADA_GES: Publicación de los servicios

Gestionar publicación SEPADAPOSTGRESQL

• Cumplimenta los datos necesarios del catálogo RDF-DCAT

• Establece las condiciones de publicación (publicar en web, solo de uso interno, si está disponible y servicio para desarrolladores)

• Adjunta los archivos estáticos si son necesarios.

• Cumplimenta los datos necesarios para su publicación en la web.

• Decide que tipo de formatos de archivo se van a publicar.

Page 21: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Gestión de los datosSEPADA_GES: Publicación de los servicios

Page 22: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Vistas y servidor de archivos

• Recibe las peticiones (WEB, aplicaciones externas, etc.)

• Decide sobre el tipo de petición (Vista o datos)

• En el caso de una petición de datos evalúa si tiene o no parámetros y genera el archivo con los datos solicitados.

• Devuelve una vista web o un archivo con los datos solicitados (el archivo puede estar almacenado o generado en tiempo real)

SEPADA_MVC

SEPADA_MVC

Page 23: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Tarea para actualizar los archivos de datos

• Se activa mediante el programador de tareas.

• Comprueba las actualizaciones de datos necesarias.

• Genera los nuevos archivos de datos actualizados.

SEPADA_ACT

Page 24: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Actualizador de archivos de datos

• Librería que actualiza los archivos de datos, a petición de las aplicaciones anteriores.

• Genera automáticamente archivos de datos en formato XLS, CSV, HTML, JSON, XML y RSS.

• Además genera automáticamente el archivo RDF-DCAT de cada servicio así como el RDF-DCAT de todo el catálogo.

• Próximamente incluirán nuevos formatos de archivo para su generación automatizada.

SEPADA_CORE

Page 25: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Tecnología empleada

• Lenguajes de programación: .NET y JavaScript

• Base de datos: POSTGRESQL

SEPADA

Requisitos:

• Windows XP o superior

• Microsoft .NET Framework 4

• Procesador 32 o 64 bits

• IIS 7.0 o superior (SEPADA_MVC)

Page 26: Automatización de la gestión y publicación de datos … Librería que interactúa con las anteriores para la resolver las peticiones de datos y generar los archivos de datos publicados

Disponibilidad

• SEPADA estará totalmente operativo a partir del mes de noviembre.

• El Ayuntamiento de Lorca publicará las aplicaciones para el libre uso por las administraciones interesadas.

• Para cualquier información sobre SEPADA, pueden dirigirse a [email protected] al teléfono 968479715.

SEPADA