JAWS-UG CLI #74Amazon Kinesis Firehose入門

2016/12/19 Mon

Nobuhiro Nakayama

{

"name":"Nobuhiro Nakayama",

"company":"UCHIDAYOKO CO., LTD.",

"favorite aws services":[

"Directory Service",

"IAM",

"AWS CLI"

],

"certifications":[

"AWS Certified Solutions Architect-Professional",

"AWS Certified SysOps Administrator-Associate",

"Microsoft Certified Solutions Expert Server Infrastructure",

"Microsoft Certified Solutions Expert SharePoint",

"IPA Network Specialist",

"IPA Information Security Specialist"

]

}

Amazon Kinesis Firehoseとは？

2017/1/22 3

Amazon Kinesis Firehose

• ストリームデータを転送するマネージドサービス

• Kinesis Agent／SDKなどを利用してKinesis Firehoseのエンドポイントへデータを登録

• S3／RedShift／ElasticSearch Serviceへの転送をサポート

• 管理不要／マネージドサービス

2017/1/22 4

https://aws.amazon.com/jp/kinesis/firehose/ より引用

ハンズオン

1. 【事前準備】データ配信先の作成など（S3 Bucket）

2. Delivery Streamの作成／配信先の設定

3. データの登録（単一レコードの登録／複数レコードのバッチ登録）

4. apacheのアクセスログの配信

5. 【後片付け】リソースの削除

2017/1/22 5

ハンズオン

2017/1/22 6

Service Role

Instance Role

Delivery

Stream

CloudWatch Logs

S3 BucketKinesis

Agent

put-record

/put-record-batch

Access log

(apache)

コマンド

• 全部で7コマンド

• create-delivery-stream

• delete-delivery-stream

• describe-delivery-stream

• list-delivery-streams

• put-record

• put-record-batch

• update-destination

2017/1/22 7