Stream processing com Python e Apache Storn

of 31/31
www.azion.com Stream processing com Python e Apache Storm Victor Poluceno
  • date post

    15-Apr-2017
  • Category

    Education

  • view

    391
  • download

    0

Embed Size (px)

Transcript of Stream processing com Python e Apache Storn

  • www.azion.com

    Stream processing com Python e Apache Storm Victor Poluceno

  • CDNContent Delivery Network

  • v1 2015-08-18T14:02:29+00:00 7778s27778s hdimages.livrariasaraiva.com.br 0.000GETHIT - 200 https/imagem/`?L=200&A=-1&pro_id=1910801 image/webpHTTP/1.17316 - 224625 200.182.220.130 19536TLSv1.2ECDHE-RSA-AES128-GCM-SHA256 . Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36 http://saraiva.sys.social/trend/vitrine.php -

  • Sinal e rudoou como extrair mtricas dos logs

  • Baixa latnciado inicio ao fim do pipeline

  • Elasticidadeaceitar 100x o volume normal

  • Escalabilidade linearCrescer capacidade com aumento de recursos

  • Coleta

  • Mensagem{ event_id: ff5a727e-45e2-11e5-96d6-08002760fc47', 'partition': 0, event': { 'payload': lines here, 'family': http', 'metadata': { '__location': poa001', '__hostname': localhost } }, 'event_timestamp': 147689768976 }

  • Armazenamento temporrio

  • Consumidores

  • Stream Processing

  • PyleusFramework Python desenvolver topologias Storm

  • Armazenamento permanente

  • Contando coisasContadores distribuidos no so fceis

  • Cassandra counterUse com cuidado

  • Acesso exclusivo por particionamento

    Counter distribudo e consistente

  • Bloom FilterUtilizado para saber se um update j foi processado.

  • Macro Arquitetura

  • Latncia ~500 msWrite < 500 ms e read < 50ms

  • Lies aprendidasSistemas distribudos e resilientes

  • Dividir para conquistarDividir pipelines e responsabilidades

  • Visibilidadesobre o comportamento do sistema

  • Limpar o caminho criticoManter o loop de processamento estatico

  • Bare metalDiminuir as variveis afetando a latncia

  • Ambiente de canaryPreveno contra modificaes ruins ou erros humanos

  • Obrigado!Para mais informaes, acesse:

    www.azion.com

    http://www.azion.com