Materialização de Banco de Dados Geográfco no contexto DSG ... · É uma extensão espacial...
Transcript of Materialização de Banco de Dados Geográfco no contexto DSG ... · É uma extensão espacial...
Materialização de Banco de Dados Geográfco no contexto DSG – SEI: Uma abordagem prátca.
1º Ten Lucas Lago de Lima1º Sgt Rafael Barboza de Carvalho
Objetivos
• Contextualizar trabalhos referentes ao Convênio DSG – SEI;
• Apresentar histórico do uso de BD no convênio; • Apresentar resumo da ET – EDGV 2.13;• Conversão de BD usando ETL• Uso de plataformas diversas• Software proprietário X Software Livre
• Virtualização• Linux ou Windows
• Postgresql e Postgis• Administração e configuração• Pg_hba.conf• Postgresql.conf
Objetivos
• Backup e Restauração• LC_ctype e LC_collate;
• Desafio: Operador administrar o banco.• Apresentar o plugin DSGTools;• Instalação e operação;
Contextualização
Convênio para a elaboração de carta topográfica e banco de dados digital: 1284 folhas na escala de 1:25.000
197 folhas na escala de 1:50.000
Utilizando ET-EDGV 2.13
Resumo do trabalho Voo Fotogramétrico
Apoio de Campo
Elaboração de MDS
Avaliação das Imagens, MDS e Curva de Nível
Aquisição
Reambulação
Validação e Área contínua (Estado Final do Banco de Dados)
Edição (Carta Topográfica pronta)
Contextualização
ENGEMAP
Histórico do uso de Banco de Dados
Softwares ArcGIS
Software proprietário Customização VBA limitada
QGIS Software Livre Customização em Python ampla Uso de Plugins Uso de Scripts
GOTHIC Ferramentas de Validação Ferramentas de Edição
Histórico do uso de Banco de Dados
Formatos de Bancos de Dados MDB
Usado pelo ARCGIS
Spatialite Usado no QGIS
Postgres (com extensão Postgis) Usado no QGIS
GOTHIC Banco de dados orientado a objeto
Histórico do uso de Banco de Dados
Conversão entre os Bancos de Dados Via Software ETL (FME)
Histórico do uso de Banco de Dados
ET-EDGV
Especificações Técnicas para a Estruturação de Dados Geoespaciais Vetoriais Modelo Elaborado pela Comissão Nacional de Cartografia
(CONCAR);
Versão atual do projeto Bahia: 2.13, de 2010;
Tem por objetivo padronizar estruturas de dados que viabilizem o compartilhamento, a interoperabilidade e a racionalização de recursos entre os produtores e usuários de dados e informação cartográfica;
ET-EDGV
Utiliza o modelo OMT-G Adaptação do Unified Modeling Language (UML),
acrescentando conceitos geográficos;
Baseada em três conceitos: Classes; Relacionamento; Restrições de integridade espacial.
ET-EDGV
Dividida em treze Categorias.
ET-EDGV
Diagrama de Classes
Virtualização
- A virtualização é a criação da versão virtual de um sistema operacional, um servidor, um sistema de armazenamento, etc.
- Divisão de recursos de um hardware (servidor físico) em diversos servidores virtuais que podem ser usados com finalidade diferentes.
Virtualização
- A virtualização de servidores traz diversas vantagens, entre as quais podemos destacar:• Automação mais apurada dos processos;•Redução de custo operacional (até 40%), inclusive de energia elétrica;• Otimização do espaço físico;• Melhor utilização dos recursos disponíveis;• Gerenciamento centralizado;• Backups facilitados e mais segurança;• Independência do servidor físico;• dentre outras.
Virtualização
Linux ou Windows ?
Qual Sistema utilizar ?
Se possível LINUX
Postgresql e Postgis
O que é PostgreSQL ?
É um sistema de gerenciador de banco de dados objeto relacional (SGBDOR), desenvolvido como projeto de código aberto sob licença do TPL (The PostgreSQL License), ele foi lançado em julho de 1996.
- Bibliotecas e Drivers de conexão para diversas plataformas e linguagens, como C/C++, Python, driver ODBC, dentre outras.
- Não possui limite de tamanho para os bancos de dados, sendo sua limitação relacionada ao hardware disponível. Sua limitação dá-se no em nível de tabela, com limite máximo de 32TB, além de 1.6TB por registros e campos com 1GB;
Postgresql
- Compatível com a maioria dos sistemas operacionais do mercado;
- Possui características como:- Suporte a operações ACID(Atomicidade, Consistência,
Isolamento e Durabilidade);- Oferece recursos para replicação(slony, WAL);- Oferece Clusterização (alta disponibilidade);- Multithreads;- Segurança e criptografia;- Baseado nos padrões ANSI SQL;- Incorporável em aplicações gratuitamente.
Postgis
O que é Postgis ?
É uma extensão espacial gratuita e de código fonte livre. Sua construção é feita sobre o sistema de gerenciamento de banco de dados objeto relacional (SGBDOR) PostgreSQL, que permite o uso de objetos GIS sendo armazenados em banco de dados.
- Possui suporte para índices espaciais, como GiST e R-Tree, além de funções para análise básica e processamento de objetos GIS.
Configuração
- Após a instalação, deve-se configurar os arquivos: pg_hba.conf, postgresql.conf.
pg_hba.conf
Permite conexões remotas
Configuração
postgresql.conf
Configuração
postgresql.conf
- Shared Buffers são buffers de memória utilizados para tratar os dados enquanto eles estão sendo processados. Ou seja, sempre que você faz uma consulta ou uma atualização de dados, é aqui que estes dados se encontrarão enquanto são processados.- As recomendações são que para sistemas com até 1GB de RAM aloque-se 15% da memória, já em casos onde existe mais de 1 GB de RAM, 25% da memória pode ser alocada para este buffer. Em ambos os casos, indica-se que não se aloque mais de 40% da memória RAM, pois não traria nenhum aumento de performance significativo.- Este parâmetro requer a reinicialização da instância do banco de dados caso seja alterado.
Configuração
- Os temp buffers servem para armazenar dados de tabelas temporárias. Ao contrário do Shared Buffer que é um buffer único para toda a instância do banco de dados, o temp buffer é alocado por sessão. O valor padrão é de 8MB e não há nenhuma recomendação geral sobre o tamanho dele, pois depende da utilização de dados temporários por conta de cada aplicação.
- O parâmetro Work Mem define um tipo de buffer utilizado por cada sessão do banco de dados para fazer operações de ordenação e agrupamento de dados, tais como ORDER BY, DISTINCT, etc. O valor padrão é 1MB e, mais uma vez, para melhorar a performance do sistema ele deve ser adequado às necessidades de cada sistema, já que as operações de ordenação e agrupamento podem variar significativamente de um sistema para outro.
Configuração
- Maintenance Work Mem é um buffer de memória é utilizado para as tarefas administrativas do banco de dados, tais como VACUUM, RESTORE, ALTER TABLE, etc. Como tarefas administrativas tendem a ter um papel pequeno em relação à quantidade total de operações que ocorrem em um banco de dados, o valor padrão especificado aqui (16 MB) não é um problema para a maioria dos bancos de dados. Porém, é importante saber da existência deste parâmetro, caso você queira melhorar a performance das tarefas administrativas que você realiza.
Configuração
- Há dois utilitários para backup no Postgres o pg_dump e pg_dumpall. Está localizado no diretório /bin. Use o pg_dump para fazer backup de bancos de dados específicos e o pg_dumpall para fazer backup de todos os bancos de dados.
- O Pg_dumpall necessita ser executado sob uma conta de superusuário para que ele tenha acesso para fazer backup de todos os bancos de dados de outras roles. A maioria das opções de linha de comando para essas ferramentas existem tanto no estilo GNU (duas hífens mais a palavra) quanto no estilo tradicional de uma única letra (um hífen mais um caractere alfabético).
- O Pg_dump faz backup no SQL simples, mas também nos formatos comprimidos e em modo TAR.
Backup
Backup
Para criar um backup de banco de dados comprimido e único:
➔ pg_dump -h localhost -p 5432 -U postgres -F c -b -v -f meudb_admin.backup meudb_admin
Para criar um backup de banco de dados único de texto simples, incluindo uma instrução CREATE DATABASE:
➔ pg_dump -h localhost -p 5432 -U postgres -C -F p -b -v -f meudb_admin.backup meudb_admin
* No Windows inserir \bin no path.
Restaurar
Há duas maneiras de restaurar os dados no PostgreSQL:• Usando o psql para restaurar backups de texto simples gerados pelos pg_dumpall ou pg_dump
• Usando o utilitário pg_restore para restaurar backups comprimidos, TAR e do diretório criado pelos pg_dump
Restaurar
- Um backup de SQL simples é nada mais do que um arquivo de texto contendo um script SQL robusto. É o menos conveniente para ter, porém é o mais versátil. Com o backup em SQL, você deve executar o script inteiro. Você não pode escolher itens dele, a menos que esteja disposto a editar manualmente o arquivo. Rode os comandos do psql interativo:Para restaurar um backup completo e ignorar erros:
➔ psql -h localhost -U postgres --port=5432 -f myglobals.sql
Para restaurar, parar se algum erro for encontrado: ➔ psql -h localhost -U postgres --port=5432 --set
ON_ERROR_STOP=on -f myglobals.sql
Para restaurar em um banco de dados específico: ➔ psql -h localhost -U postgres --port=5432 -d meudb_admin -f
select_objects.sql
Restaurar
- Um backup de SQL simples é nada mais do que um arquivo de texto contendo um script SQL robusto. É o menos conveniente para ter, porém é o mais versátil. Com o backup em SQL, você deve executar o script inteiro. Você não pode escolher itens dele, a menos que esteja disposto a editar manualmente o arquivo. Rode os comandos do psql interativo:Para restaurar um backup completo e ignorar erros:
➔ psql -h localhost -U postgres --port=5432 -f myglobals.sql
Para restaurar, parar se algum erro for encontrado: ➔ psql -h localhost -U postgres --port=5432 --set
ON_ERROR_STOP=on -f myglobals.sql
Para restaurar em um banco de dados específico: ➔ psql -h localhost -U postgres --port=5432 -d meudb_admin -f
select_objects.sql
Restaurar
- Ao restaurar backups de sistemas operacionais diferentes, como Linux e Windows, atentar para LC_COLLATE e LC_CTYPE.
- WINDOWS: LC_COLLATE = ‘Portuguese_Brazil.1252’
LC_CTYPE = ‘Portuguese_Brazil.1252’
- LINUX: LC_COLLATE = ‘pt_BR.UTF-8’ LC_CTYPE = ‘pt_BR.UTF-8’
Desafio
DSG Tools
Plugins para criação e manutenção de bases de dados geoespaciais vetoriais.
Desenvolvido pela Diretoria de Serviço Geográfico (DSG)
Vantagem da capacidade de customização do QGIS.
DSG Tools
Instalação
Acessar o repositório do QGIS e selecionar a instalação do DSG Tools.
DSG Tools
Criação de banco de dados utilizando a ET-EDGV versões 2.13, 3.0 e Fter 2a Edição
Criação de bancos em lotes
Gerenciamento de servidores
Conexão entre Qgis e Postgres
Conexão online com o BDGEx
DSG Tools
Ferramentas de edição de dados geoespaciais− Seletor Genérico− Aquisição em mão livre− Gerenciador de estilos− Inspetor de feições− Visualizador de informações em raster− Ferramentas de Validação
CONCLUSÃO