re:growth athena
TRANSCRIPT
![Page 1: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/1.jpg)
re:Invent新サービス Athena
千葉 淳クラスメソッド株式会社
2016 年 12 月 6 日
![Page 2: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/2.jpg)
自己紹介
所属:クラスメソッド株式会社
仕事:ソリューションアーキテクト
好きな AWS: Lambda
名前:千葉 淳
![Page 3: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/3.jpg)
Athenaとは?
![Page 4: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/4.jpg)
Day1 キーノートで発表
![Page 5: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/5.jpg)
データ分析の顧客課題データ分析の大量作業、大量な知識必要
出典: http://www.slideshare.net/AmazonWebServicesJapan/awswebinar-awsbig-data
![Page 6: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/6.jpg)
Athena が解決ETL 、データロードが不要!S3 上データへ対話的 SQL クエ
リ複数フォーマット対応! (CSV/TSV/JSON/Apache log
等 ) 答え
![Page 7: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/7.jpg)
Athena の特徴?サーバーレス ( 高可用性、運用が楽 )早い ( 並列実行、チューニング済み )コスト効率がよい ( スキャン $5/TB)ツール連携 (JDBC, QuickSight)
![Page 8: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/8.jpg)
事例DataXu 社 180TB/ 日を可視化
![Page 9: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/9.jpg)
画面解説
![Page 10: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/10.jpg)
Athena の画面
![Page 11: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/11.jpg)
クエリ実行画面
![Page 12: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/12.jpg)
よく使うクエリの保存画面
ELB 用ログテーブル作成、 CloudFront ログテーブル作成のサンプル等用意
![Page 13: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/13.jpg)
結果確認画面
![Page 14: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/14.jpg)
データベース / テーブル作成画面
![Page 15: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/15.jpg)
Athena におけるデータベース / テーブルデータベースは「テーブルの論理グループ」テーブルは、データの定義
所属するデータベースデータを保存している S3 の場所 ( ファイル / パス )データフォーマットカラムの定義パーティション
![Page 16: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/16.jpg)
データベース / テーブルのポイントSQL でもテーブル作成 OKパーティショニング = 検索データを減らす
コスト削減パフォーマンスの向上
![Page 17: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/17.jpg)
パーティショニング - Hive -
テーブル作成時に 指定
![Page 18: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/18.jpg)
パーティショニング – Hive 以外 -
日付ごとにパーティションを追加する必要あり
JDBC で自動化を検討
![Page 19: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/19.jpg)
まとめ
![Page 20: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/20.jpg)
まとめS3 上のデータを SQL にて直接分析様々なフォーマット対応 (CSV/TSV/
JSON/Apache log 等 )サーバレスで高可用性、運用管理不要ツールと連携し可視化 (JDBC 、 QuickSight)
![Page 21: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/21.jpg)
Appendix検証記事は Developers.IO( 現在 13 記事 )
![Page 22: re:Growth athena](https://reader036.vdocuments.mx/reader036/viewer/2022081520/5871107f1a28abac6d8b5a2b/html5/thumbnails/22.jpg)
おしまい