分析革命がもたらすビッグデータの世界@cloudera world tokyo 2014

株式会社KSKアナリティクスデータアナリスト　北島　聡 2014年11月6日

分析革命がもたらすビッグデータの世界 cloudera World Tokyo 2014

1993年二人の大学教授、Robert Gentlemanと Ross Ihakaが開発開始

オープンソースR

© KSK AnalyBcs Inc., RevoluBon AnalyBcs Japan Partner


2000年 Version 1.0のリリース




2000年 Version 1.0のリリース

現在（2014年11月） Version 3.1.2のリリースパッケージ数も多く「Rで出来ない分析は無い」、世界中のR利用者は250万人以上、と言われるほどに成長




www.rexeranalyBcs.com

世界でも使われている分析ソフト


www.rexeranalyBcs.com

世界でも使われている分析ソフト

Rっていつからそんなに使われてるの？


分析者のR利用率は増加傾向


分析者の中でRの利用者は70%




近年の増加率が特にすごい


分析者の24%がRをメインツールとして利用


hPp://r4stats.com/arBcles/popularity/ © KSK AnalyBcs Inc., RevoluBon AnalyBcs Japan Partner

利用可能なパッケージ数は増加傾向

hPp://r4stats.com/arBcles/popularity/



5,846

（2014年11月現在）

>nrow(available.packages())

hPp://r4stats.com/arBcles/popularity/



5,846

（2014年11月現在）

>nrow(available.packages())

指数関数的に増加中

hPp://www.maths.lancs.ac.uk/~rowlings/R/TaskViews/


パッケージで様々な分析が可能に

hPps://github.com/RevoluBonAnalyBcs © KSK AnalyBcs Inc., RevoluBon AnalyBcs Japan Partner

パッケージでHadoopも


プログラミング言語の人気ランキングを調査（カテゴリーを「分析」に特化していない調査です）

「X programming」の検索数を指標化　※Xにはプログラミング言語名が入る。 Google検索、GoogleトレンドやTwiPer, GitHub, Stack Overflowなど10のソースを用いて客観的にプログラミング言語の人気を調査している

hPp://spectrum.ieee.org/staBc/interacBve-‐the-‐top-‐programming-‐languages



プログラミング言語の人気ランキングを調査




Rは第9位にランクイン




Rと同じカテゴリーに分類される SASと比較しても人気の高さが伺える


一方、ビッグデータの世界は・・・

© KSK AnalyBcs Inc., RevoluBon AnalyBcs Japan Partner hPp://www.datacenterjournal.com/it/birth-‐death-‐big-‐data/

地球上のすべての人に5000GBを超える情報量がある時代

ひたすら増えていく・・・


ひたすら増えていく・・・


2010年の体重が123kgだとすれば、 2020年には4000kg(4トン)になる


分析者や分析業務も増えてきたのに・・・


　　　は様々な分析ができて、素晴らしいけれど・・・


　　　は様々な分析ができて、素晴らしいけれど・・・ビッグデータになると・・・

重い © KSK AnalyBcs Inc., RevoluBon AnalyBcs Japan Partner

重いかなり必死


かなり必死


実行速度が重い大規模データが重い

・・・というか扱えない

分析革命がもたらすビッグデータの世界

※GLM：一般化線形モデル

データ件数

時間（秒）


大規模データの実行速度を比較


データ件数

時間（秒）


オープンソースRはデータ件数が25万件で約80秒



データ件数

時間（秒）




データ件数

時間（秒）


レボリューションRはデータ件数が500万件で10秒以下



データ件数

時間（秒）


レボリューションRはデータ件数が500万件で10秒以下

しかも、メモリ8GBの普通のノートPCで


Rユーザーであれば移行はスムーズ

オープンソースRの記載例

レボリューションR（ScaleR)の記載例

既存のRユーザーにとっては、新しいパッケージを使う感覚です


§  データの読み込み（SAS, SPSS, OBDC接続など） §  変数作成、変換 §  変数保存、Factor変数処理 §  欠損値処理 §  並び替え、データ結合、分割 §  カテゴリー毎の演算 (平均や合計など)

§  小, 大,平均,中央値 §  四分位 §  標準偏差 §  分散 §  相関係数 §  共分散 §  平方和 §  リスク・オッズ比 §  クロス集計およびそのサマリー出力

データ加工

基礎統計

§  カイ二乗検定 §  ケンドールの順位相関 §  フィッシャーの正確確率検定 §  T検定（Student’s t-‐Test）

§  サブサンプリング（行データおよび変数） §  ランダムサンプル

検定

サンプリング

§  平方和 §  重回帰分析 §  一般化線形モデル（GLM）familyパラメータの指定：

binomial, Gaussian, inverse Gaussian, Poisson, Tweedie. Standard link funcBons: cauchit, idenBty, log, logit, probit、ユーザー定義やリンク機能

§  分散共分散行列、相関行列 §  ロジスティック回帰 §  分類木、回帰木 §  予測、スコアリングモデル §  残差

予測モデル §  K-‐Means

§  決定木 §  ランダムフォレスト

クラスター分析

分類

シミュレーション

変数選択 §  ステップワイズ回帰

§  シミュレーション (例モンテカルロ) §  パラレルランダムナンバージェネレータ

コンビネーション rxDataStepとrxExecでopen source Rと RevoluBon R Enterpriseを連携できる

ScaleRの対応している機能

R+CRAN

数値演算ライブラリー

マルチスレッド実行

並列処理

並列分散処理

データベース内実行

Hadoop環境での実行

適なメモリ管理

並列ユーザーコード

Revolution R Open（無料）

オープンソース　R

DistributedR

DistributedR

DistributedR

ScaleR

ScaleR

ScaleR

ScaleR

データ量・分析速度に対するパフォーマンス


R+CRAN

数値演算ライブラリー

マルチスレッド実行

並列処理

並列分散処理

データベース内実行

Hadoop環境での実行

適なメモリ管理

並列ユーザーコード

Revolution R Open（無料）

オープンソース　R

DistributedR

DistributedR

DistributedR

ScaleR

ScaleR

ScaleR

ScaleR

データ量・分析速度に対するパフォーマンス


ビッグデータの世界

JavaのMap-‐Reduceで回帰分析 Data setup

Mapper

Reducer

約100行のJavaコード（セットアップも含む）



Rの実行はたった2行

RevoluBon R Enterpriseで回帰分析（Hadoop環境）

Complex & Basic analyBcs

RRE with Hadoop


Complex & Basic analyBcs

RRE with Hadoop


R言語だけでOK

Hadoopか?　サーバー1台か?


サーバー1台（8コア） Hadoopクラスタ8台

分析したいデータ量が100GBだとすると・・・

Hadoopか?　サーバー1台か?


分析したいデータ量が100GBだとすると・・・

< 概ね、サーバー1台の方が8倍〜10倍の速度で早いです。　　　（※データ量が1TB以上だとHadoopをオススメします）

サーバー1台（8コア） Hadoopクラスタ8台

Consumer & Info Svcs

Finance & Insurance Healthcare & Life Sciences

Manuf & Tech Academic & Gov’t

導入実績　米国内200社以上、世界では2000社以上



ビッグデータの世界〜事例紹介〜


マルチチャネル・マーケティングと分析ソフトウェアの開発を行いクライアントにサービスの提供を行う。成長企業でありイノベーティブ、高いコスト意識を持つ。日次で50万件のスコアリングを行うが時間がかかることが課題

企業概要

事例紹介１

Hadoop上でRevoluBon R Enterpriseを利用（これまではSASとOpen Source Rを利用）

主な動作環境


DataSongの顧客の一つであるウィリアムズ・ソノマ（キッチン用品取扱）に対し、分析環境が大規模かつ拡張可能になったことで、彼らのお客さま一人ひとりの適化をサポートできた。一つのキャンペーン費だけで25万ドルの削減につながる。ビッグデータに対して先進的な手法である一般化加法モデルによる生存時間分析を用いることで迅速な開発と顧客別の展開が可能になった

ソリューション

事例紹介１

4倍以上の速度改善


事例紹介１

「私達のデータは既にテラバイト級に達し、今後も急速に増え続けていることから、RevoluBon R Enterpriseの大規模かつ拡張可能な環境を選択しました。50万件を従来の4倍以上の速度で処理されています。その速度が見事に機能しています」

DataSong CEO, John Wallace

お客さまの声


ミューシグマ社は3500人を超えるデータサイエンスの専門家を有する分析の大手企業。ビッグデータを活用した意思決定を推進している

企業概要

事例紹介２

RevoluBon R Enterprise、Rhadoopとrmrパッケージを利用（これまではSASとEDWを利用）

主な動作環境


Fortune500の大手企業向けに、第二世代とも言える分析開発後すぐ展開できる大規模データの高速分析による分析アプリケーションを提供することができた。そのため、不正検知や優良顧客分析、マルチチャネル・マーケティング分析、在庫・サプライチェーン分析などでこの領域での先行者利益を得る能力が得られた。

ソリューション

事例紹介２

24時間の処理が4時間以下、より多くのデータでモデル100個が作成できた


事例紹介２

「我々はRevoluBon AnalyBcs社のHadoop環境でRが使えるrmrパッケージを使い、大規模なデータを並列化して高速に計算することができました」

VP / Head of InnovaBon & Development, Zubin Dowlaty

お客さまの声

株式会社KSKアナリティクス　セールス & マーケティンググループ www.ksk-anl.com [email protected]

レボリューションR日本語サイト http://www.r-analytics.jp/


ご不明な点がございましたらお気軽にブースへお立ち寄り下さい

分析革命がもたらすビッグデータの世界@cloudera world tokyo 2014

Data & Analytics