Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間

Kafka含むデータ処理フローをNiFiで構築するさまを実演する5分間

河村康爾HortonworksJapanCo.,Ltd.ソフトウェアエンジニア

2016.05.31

©HortonworksInc,2011– 2016.AllRightsReserved

ApacheNiFiとは” NiFi islikedigging irrigationditchesasthewaterflows,ratherthanbuildingoutasprinklersysteminadvance."

“NiFiは事前にスプリンクラーを配備するというより、⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”

https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%[email protected]%3E


各種プロセッサ取り揃えてありますambari,amqp,avro,aws,azure,cassandra,couchbase,elasticsearch,flume,geo,hadoop,hbase,hive,hl7,jms,kafka,kerberos,kite,ldap,mongodb,riemann,twitter,solr,splunk,sql,spark,storm…etc

その数100以上!


サンプルデータフロー:HelloWorld

おぎゃー

命名

男の⼦ topic

⼥の⼦ topic

ようこそ topic

祝福>.<0


第⼀部:誕⽣〜命名編


お名前はこちらから引⽤させていただきました

$cattop-names-2014.txt#http://www.tonsuke.com/nebe28.htmlm,蓮f,陽菜f,凛m,大翔m,陽向f,結菜m,陽太f,葵…


⾜りぬなら、書いてしまおう、スクリプト

注:⾏ごとに分割したり、マッピングしたりするProcessorはありますが、今回は⼀度にやるのを書いちゃいました


はじめてのKafka


第⼆部:祝福編


男の⼦かな、⼥の⼦かな?


お祝いの⾔葉


これが、君たちの歩んできた道だ

第⼀部第⼆部

NiFiではこのデータ遍歴をProvenanceプルーブナンスとよんでいます。


そして世界へ、Helloworld


⼦供の好きな動物といえば・・・


実演タイムLiveDemo


Fin.ご清聴ありがとうございました。


Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間

Technology

Transcript of Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間