Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan...
Transcript of Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan...
![Page 1: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/1.jpg)
Brasil.IO:Brasil.IO:Libertação deLibertação de
DadosDadosPúblicos, comPúblicos, com
PythonPythonÁlvaro JustenÁlvaro Justen
![Page 2: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/2.jpg)
$ whoami$ whoami
TuricasTuricas, prazer! =), prazer! =)Sigam-me os bons:Sigam-me os bons:
{{ , , , , , , , , } }
//turicasturicas
twittertwittergithubgithub
youtubeyoutubeslideshareslideshareinstagraminstagram
[email protected]@brasil.io
![Page 4: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/4.jpg)
AgendaAgendaDados abertos
O que sãoPara que servem
Acessibilidade de dadosProblemas comunsComo resolverExemplos de código o/
![Page 5: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/5.jpg)
Software Livre & PythonSoftware Livre & Python(desde 2004/2005)(desde 2004/2005)
![Page 6: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/6.jpg)
-- (definição de )
Dados AbertosDados Abertos“ Dados abertos são dados que podemser livremente usados, reutilizados eredistribuídos por qualquer pessoa -sujeitos, no máximo, à exigência de
atribuição da fonte ecompartilhamento pelas mesmas
regras. ”OpenData Handbook Open Definition
Mais detalhes:
Lei de Acesso à Informação: 12.527/2011kit.dados.gov.brescoladedados.org
![Page 7: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/7.jpg)
--
“ De acordo com o governo brasileiro, ocontrole social é a participação da
sociedade civil nos processos deplanejamento, acompanhamento,
monitoramento e avaliação das açõesda gestão pública e na execução das
políticas e programas públicos. ”Wikipedia
![Page 8: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/8.jpg)
Operação Serenata deOperação Serenata deAmorAmor
#civictech#civictech
![Page 9: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/9.jpg)
R$ 191 em um restaurante cujos pratos não custam R$ 40,
deputado?
Rosie, a robôRosie, a robô
twitter.com/tOa_D/status/1058495655184871425
![Page 10: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/10.jpg)
Jornalismo InvestigativoJornalismo Investigativo++
Jornalismo de DadosJornalismo de Dados
![Page 11: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/11.jpg)
(em conjunto com Juan Torres, para ) correio24horas.com.br
Acesse a matéria
![Page 12: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/12.jpg)
(em conjunto com Giulliana Biaconi, para ) generonumero.media
Leia a matéria
![Page 13: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/13.jpg)
(em conjunto com Natália Mazotte, para )
Rua: substantivo (ainda)Rua: substantivo (ainda)masculinomasculino
generonumero.mediayoutu.be/7yQ8U2tFFq4
![Page 14: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/14.jpg)
(em conjunto com Adriano Belisário, para ) apublica.org
Acesse a matéria
![Page 15: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/15.jpg)
(em conjunto com Voltdatalab, para )
Aplicações ÚteisAplicações ÚteisEleiçõesEleições
poder360.com.br
![Page 18: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/18.jpg)
Maior parte do tempo dos projetos deMaior parte do tempo dos projetos deanálise de dados:análise de dados:
![Page 19: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/19.jpg)
Problema antigoProblema antigo(automação (automação ))
![Page 20: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/20.jpg)
Acessibilidade: ProblemasAcessibilidade: ProblemasFormato (qualidade técnica)
Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)Dispersão
Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)Quantidade de dados
Exemplo: 18 milhões de sócios (RFB)Domínio da área
Exemplo: o que é unidade eleitoral? (TSE)
![Page 21: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/21.jpg)
Acessibilidade: SoluçõesAcessibilidade: SoluçõesEducação tecnológica
Do-it-yourselfInterdisciplinaridade
Melhorar ferramentasSoftware livre
Libertação de dadosDados menos dispersosFormato aberto
Pressão por dados melhoresDar visibilidade aos problemasUsar a LAI
![Page 22: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/22.jpg)
Educação TecnológicaEducação TecnológicaCurso Gratuito (3.000+ alunos)Curso Gratuito (3.000+ alunos)
![Page 23: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/23.jpg)
Python!Python!
Acesse a matéria
![Page 24: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/24.jpg)
![Page 26: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/26.jpg)
Causos da TransparênciaCausos da TransparênciaBrasileiraBrasileira
&&Libertação de DadosLibertação de Dados
![Page 27: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/27.jpg)
Problema: Migram-se os ministérios,Problema: Migram-se os ministérios,sem dadossem dados
Estrelando: Estrelando: Ministério da JustiçaMinistério da Justiça
twitter.com/turicas/status/1112491956314259457
![Page 29: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/29.jpg)
Problema: dados dispersosProblema: dados dispersosEstrelando: Estrelando: IBGEIBGE
![Page 30: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/30.jpg)
SoluçãoSoluçãogithub.com/turicas/genero-nomes
(código ao vivo)
![Page 31: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/31.jpg)
Problema: dado pago! (???)Problema: dado pago! (???)Estrelando: Estrelando: Receita FederalReceita Federal
https://twitter.com/turicas/status/1019272233095745537
![Page 32: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/32.jpg)
SoluçãoSoluçãoPedido de acesso à informação
com muitos recursosPaciência
![Page 33: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/33.jpg)
Problema (2): lentidão ao baixarProblema (2): lentidão ao baixarEstrelando: Estrelando: Receita FederalReceita Federal
twitter.com/turicas/status/1114185311372873729
![Page 34: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/34.jpg)
SoluçãoSoluçãoURL="http://200.152.38.155/CNPJ/DADOS_ABERTOS_CNPJ.zip"
aria2c -s 16 -x 16 $URL
![Page 35: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/35.jpg)
Problema (3): Formato ProprietárioProblema (3): Formato ProprietárioEstrelando: Estrelando: Receita FederalReceita Federal
![Page 37: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/37.jpg)
Problema: dado disperso e nãoProblema: dado disperso e nãopadronizadopadronizado
Estrelando: Estrelando: Conselho Conselho Nacional de JustiçaNacional de Justiça
![Page 38: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/38.jpg)
SoluçãoSoluçãogithub.com/turicas/salarios-magistrados
twitter.com/turicas/status/943176715672711168
![Page 39: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/39.jpg)
Formato não estruturadoFormato não estruturadoEstrelando: Estrelando: INEMA/BAINEMA/BA
![Page 40: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/40.jpg)
(código ao vivo)
SoluçãoSoluçãorows convert arquivo.pdf arquivo.csv
github.com/turicas/balneabilidade-brasil
![Page 41: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/41.jpg)
AcessibilidadeAcessibilidade[x] Formato[x] Dispersão[ ] Quantidade de dados[ ] Domínio da área
![Page 42: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/42.jpg)
Brasil.IOBrasil.IOO Brasil em dados libertos
DemonstraçãoDemonstraçãoDataset salarios-magistradosDataset eleicoes-brasilDossiê Odebrecht
![Page 43: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/43.jpg)
Tecnologias utilizadasTecnologias utilizadasScripts:
Análise:
Backend:
Servidores: DigitalOcean e OVHPaaS: dokku
Python3scrapyrows
sqlite3
Python3DjangoPostgreSQLNeo4J
![Page 44: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/44.jpg)
Contribua com o Brasil.IO!Contribua com o Brasil.IO!Melhorando os scripts de coletaColetando novos datasetsPublicando tutoriais no Doando no Saiba mais em:
blog.brasil.ioapoia.se/brasilio
brasil.io/colabore
![Page 45: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/45.jpg)
23 e 24 de novembro, São Paulo/SP
CODA.BR 2019CODA.BR 2019
coda.escoladedados.org
![Page 46: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/46.jpg)
23 a 28 de outubro, Ribeirão Preto/SP
PythonBrasil 2019PythonBrasil 2019
pythonbrasil.com.br
![Page 47: Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan Torres, para correio24horas.com.br) Acesse a matéria (em conjunto com Giulliana Biaconi,](https://reader033.fdocuments.net/reader033/viewer/2022042809/5f90765c9100b27f593701f3/html5/thumbnails/47.jpg)
--
Dúvidas?Dúvidas?“ Restringir acesso a dados públicos é
elitizar a democracia. ”Manifesto Brasil.IO
{{ , , , , , , , , } }
//turicasturicas
twittertwittergithubgithub
youtubeyoutubeslideshareslideshareinstagraminstagram
[email protected]@brasil.io