SQL Server Heterogêneo: SQL Server + BigData

Click here to load reader

download SQL Server Heterogêneo: SQL Server + BigData

of 33

Embed Size (px)

Transcript of SQL Server Heterogêneo: SQL Server + BigData

PowerPoint Presentation

PASS Community

November 2015

SQL Server HeterogneoSQL Server + BigData

PASS Chapter LeaderRodrigo Ramos Dornel Dornel

MTAC Lead da Regio SULProfessor UniversitrioMais de 10 anos como consultor em SQL ServerMCT e MCSARDornel Data Platform Experts

Upcoming SQLSaturdays

South America InternationalNovembro, 21em Brasliahttp://www.sqlsaturday.com/469/eventhome.aspxAbril, 09Joinville (2016)http://www.sqlsaturday.com/488/eventhome.aspx

Visit www.sqlsaturday.com to register for a event near you!

Local Chapter - MCITPSChttp://www.mcitpsc.com.br - @mcitpsc

Agenda

6Introduo

Porque banco de dados Heterogneo?

XMLSQL + NoSQLHadoopMapReduceHDFSHiveDocumentDB

7Introduo

XML

O que XML

Linguagem de marcao

Capaz de descrever diversos tipos de dados. Seu propsito principal a facilidade de compartilhamento de informaes atravs da internet.

8Introduo

Onde tudo comeou

Alterou alguns paradigmas de banco de dados

Primeira experincia com dados no estruturados

Introduo do tipo de dados XML

9Introduo

SQL + NoSQL

SQL, fortemente ligado ao mundo relacional, consultas bem definidas, esquemas rgidos e ACID.

NoSQL, termo genrico para uma classe definida de banco de dados no-relacionais. No apresenta estrutura rgida, alguns chamam de livre de esquema, pouco ou nenhum controle ACID.

10Introduo

SQL + NoSQL

NoSQL, extremamente orientado a soluo, ou seja, flexvel, escalvel e customizado.

Trabalhar em arquitetura em nuvem e escalabilidade horizontal.

11Introduo

Hadoop

Plataforma feita em Java para processamento distribudo de grandes massas de dados.Basicamente composto pelo HDFS, Yarn e MapReduce.Projeto mantido pela fundao Apache.

Para ns o mais familiar ou conhecido o HDInsight feito pela Hortomworks para a Microsoft.Azure ou Local (s um n)

12Introduo

HDFS

Sistemas de arquivos feito para rodar em hardware bsico.Feito para trabalhar com grandes quantidades de dados.Tolerante a falha.

No leva em considerao aspectos tradicionais de acesso a dados e sim um estilo de acesso como um streaming de dados.

13Introduo

14Introduo

MapReduce

MapReduce um modelo de programao desenhado para processar grandes volumes de dados em paralelo, dividindo o trabalho em um conjunto de tarefas independentes

15Introduo

16Introduo

Hive

Basicamente uma infraestrutura de datawarehouse para rodar no topo da arquitetura do Hadoop para oferecer sumarizao dos dados, consultas e anlise.Ele oferece uma linguagem SQL-like chamada de HiveQL com leitura e esquemas que permitem que consultemos os dados MapReduce como se consultssemos banco tradicionais.

Por causa dessa bendita possibilidade que estamos aqui Hoje .

17Introduo

DocumentDB

o banco de dados da Microsoft para JSON e JavaScript (Java Script Object Notation).

No site do DocumentDB ele comenta que possvel fazer consultas parecidas com SQL ou usar UDF, funes para essas converses.

Seria o concorrente da Microsoft para o mongoDB

18Introduo

DocumentDB

19XML

SQL Server e XML

Introduzido na verso 2005.

Possibilita transformar linhas do banco de dados em fragmentos de XML.

Permite carregar e armazenar dados XML dentro SQL Server.

Usa a linguagem XQuery para manipular dados dentro do XML, baseado em expresses XPath (rvore do XML, navegao).

20XML

Demo

XML AutoXQueryXQuery Update

21JSON

DocumentDB

O DocumentDB do Azure um servio de banco de dados de documento NoSQL projetado desde o incio para suportar, de forma nativa, JSON e JavaScript diretamente dentro do mecanismo de banco de dados.

22JSON

JSON e o SQL Server 2016

JSON Auto, cria uma hierarquia automaticamenteJSON Path, voc especifica as hierarquiasISJSON(), valida se a coluna est no padro JSONJSON_QUERY() SUB CONSULTAJSON_VALUE(), retorna o valor do nJSON_MODIFY()???OPENJSON(), carrega um campo texto convertendo ele para JSON. OPENJSON uma funo (TVF), imagina um CAST ou CONVERT.INCLUDE_NULL_VALUES

23JSON

JSON e o SQL Server 2016

Indexao

ALTER TABLE Sales.SalesOrder_jsonADD vCustomerName AS JSON_VALUE(Info, '$.Customer.Name')

CREATE INDEX idx_SalesOrder_json_CustomerNameON Sales.SalesOrder_json(vCustomerName)

Ou crie um ndice Full Text!!!CREATE FULLTEXT INDEX ON Person.Person_json(EmailAddresses)KEY INDEX PK_Person_json_PersonIDON jsonFullTextCatalog;GO

24JSON

DemoJSON AUTO e PATH

25PolyBase

O que PolyBase?

A tecnologia PolyBase permite consultar e unir dados de vrias fontes, tudo usando os comandos Transact-SQL.

26PolyBase

O que PolyBase?

27PolyBase

O que PolyBase?

Fonte de dados Externa, Hadoop, Azure Blob.

Definio de como os dados esto organizados, ou seja, separadores de colunas.

Um esquema que represente esses dados, colunas, tipos de dados e localizao desse arquivo dentro do seu sistema de arquivos.

Necessrio ter o Java JDK antes de instalar e/ou pode ser interessante instalar um drive ODBC para Hive.

28PolyBase

O que PolyBase?

Fonte de dados Externa, Hortomworks.Definio dos dadosLocalizao dele no File System

29PolyBase

DemoCriar o Source, File, TableODBC, OpenQueryAzure Blob

30SSIS

Pacote de Integrao SSIS + HDInsight + Azure Blob

Conjunto de ferramentas para conexo e tarefas dentro do SSIS.

Demo

Azure Blob Upload.

31SSIS

32Quem vai cuidar disso tudo?

Voc mesmo beleso!!!

Stay Involved!Sign up for a free membership today at sqlpass.org

Linked In: http://www.sqlpass.org/linkedinFacebook: http://www.sqlpass.org/facebookTwitter: @SQLPASSPASS: http://www.sqlpass.org

@[email protected]