kafka含むデータ処理フローを nifiで構築するさまを実演する5分間
TRANSCRIPT
![Page 1: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/1.jpg)
Kafka含むデータ処理フローをNiFiで構築するさまを実演する5分間
河村康爾HortonworksJapanCo.,Ltd.ソフトウェアエンジニア
2016.05.31
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 2: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/2.jpg)
ApacheNiFiとは” NiFi islikedigging irrigationditchesasthewaterflows,ratherthanbuildingoutasprinklersysteminadvance."
“NiFiは事前にスプリンクラーを配備するというより、⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”
https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%[email protected]%3E
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 3: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/3.jpg)
各種プロセッサ取り揃えてありますambari,amqp,avro,aws,azure,cassandra,couchbase,elasticsearch,flume,geo,hadoop,hbase,hive,hl7,jms,kafka,kerberos,kite,ldap,mongodb,riemann,twitter,solr,splunk,sql,spark,storm…etc
その数100以上!
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 4: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/4.jpg)
サンプルデータフロー:HelloWorld
おぎゃー
命名
男の⼦ topic
⼥の⼦ topic
ようこそ topic
祝福>.<0
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 5: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/5.jpg)
第⼀部:誕⽣〜命名編
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 6: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/6.jpg)
お名前はこちらから引⽤させていただきました
$cattop-names-2014.txt#http://www.tonsuke.com/nebe28.htmlm,蓮f,陽菜f,凛m,大翔m,陽向f,結菜m,陽太f,葵…
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 7: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/7.jpg)
⾜りぬなら、書いてしまおう、スクリプト
注:⾏ごとに分割したり、マッピングしたりするProcessorはありますが、今回は⼀度にやるのを書いちゃいました
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 8: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/8.jpg)
はじめてのKafka
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 9: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/9.jpg)
第⼆部:祝福編
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 10: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/10.jpg)
男の⼦かな、⼥の⼦かな?
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 11: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/11.jpg)
お祝いの⾔葉
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 12: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/12.jpg)
これが、君たちの歩んできた道だ
第⼀部 第⼆部
NiFiではこのデータ遍歴をProvenanceプルーブナンスとよんでいます。
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 13: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/13.jpg)
そして世界へ、Helloworld
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 14: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/14.jpg)
⼦供の好きな動物といえば・・・
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 15: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/15.jpg)
実演タイムLiveDemo
©HortonworksInc,2011– 2016.AllRightsReserved
![Page 16: Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間](https://reader034.vdocuments.mx/reader034/viewer/2022042604/5899a2391a28ab30688b5451/html5/thumbnails/16.jpg)
Fin.ご清聴ありがとうございました。
©HortonworksInc,2011– 2016.AllRightsReserved