音楽配信・音楽データを 取扱うレコチョクの挑戦 · amazon rds for postgresql...

33
株式会社レコチョク 事業システム推進部 山川清澄 音楽配信・音楽データを 取扱うレコチョクの挑戦

Upload: others

Post on 06-Sep-2019

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

株式会社レコチョク事業システム推進部

山川清澄

2015/9/10

音楽配信・音楽データを取扱うレコチョクの挑戦

Page 2: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

目次1.会社概要2.レコチョクの挑戦3.音楽配信を支えるレコチョクのシステム4.PostgreSQLへの挑戦

22015/9/10

Page 3: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

1.会社概要

32015/9/10

Page 4: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

会社概要創 ⽴: 2001年7月 レーベルモバイル(株)設⽴

2009年2月 (株)レコチョク に社名変更特 徴: 日本の主要レコード会社の共同出資による事業運営を開始事業概要: 携帯電話向けポータルサービスの企画・運営

モバイル・ミュージック配信サービスの企画・運営モバイル・ミュージック試聴サービスの企画・運営上記他のデジタル・コンテンツ・サービスの企画・運営

42015/9/10

Page 5: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

沿革

52015/9/10

2001年7月 レーベルモバイル株式会社 設⽴ 2012年1月 「おあずかりサービス」開始音楽プレイヤーアプリ「レコチョク plus+」リリース

2002年12月 「着うた(R)」サービス開始 2012年4月KDDI と協業でスマートフォン向け音楽ストア「LISMO Store powered by レコチョク」オープン

2004年11月 「着うたフル(R)」配信開始 2012年7月 iPhone 向け音楽配信サービスを開始2009年1月 サービスブランドを「レコチョク」に変更 2012年7月 NTTドコモと協業で「dヒッツ」オープン2009年2月 「株式会社レコチョク」に社名を変更 2012年12月 ニンテンドー3DS™向けに音楽配信サービスを

開始2009年12月 無料メンバーサービス「クラブレコチョク」開始 2013年3月 スマートフォン向け定額制音楽配信サービス「レ

コチョク Best」オープン2010年12月 NTTドコモと協業で「ドコモマーケット MUSICス

トアpowered by レコチョク」オープン 2014年1月新CI「人と音楽の新しい関係をデザインする。」とビジョン・ロゴを制定。新CIに基づいた 「レコチョク・ラボ」設⽴

2011年6月 Android搭載スマートフォン向け音楽アプリ「レコチョク」配信開始 2015年2月

タワーレコード、NTTドコモと提携展開し、新人アーティストの活動を支援する「Eggs プロジェクト」を展開

2011年6月 Android搭載スマートフォン向け「着うた(R)」配信開始 2015年4月 スマホ向けサウンドカメラアプリ「NO MUSIC,

NO LIFE. SOUND CAMERA」リリース

2011年10月NTTドコモと協業でAndroid搭載スマートフォン向け音楽ストア「dマーケットMUSICストア」オープン

2015年5月2015年7月

音楽ストリーミングサービス「replay」と連携し、パイオニアとクルマ向け定額制音楽ストリーミングサービスで協業、「replay」提供開始USENと提携し、店舗向けBGMサービス「OTORAKU」を提供開始

Page 6: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

ビジョン

62015/9/10

人と音楽の新しい関係をデザインする。

聴く。歌う。感じる。贈る。語る。出会う。 etc...人と音楽にまつわる、□を発⾒。我々はこれをサービスとすることで、音楽の付加価値創造に取り組んでいきます。

音符を模した人が歩く姿には「人と音楽」という意味が込められており、背景の白地は音楽が持つ「無限の可能性」を表現しております。

Page 7: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

2.レコチョクの挑戦

72015/9/10

Page 8: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential050100150200250300

96 97 98 99 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14

パッケージ/ビデオ デジタル その他(広告含む)(億ドル)

6968

>2014年に初めて

デジタルがパッケージ/ビデオを超える

243

150

出典:IFPI

世界の音楽市場

8

Page 9: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential5 22

32

35 48

69

0

20

40

60

80

10 11 12 13 14

定額制音楽配信 アラカルトダウンロード その他

9

(億ドル)

アラカルトダウンロードはほぼ横ばいいよいよ「定額制音楽配信」時代到来

出典:IFPI

世界の音楽配信市場 (サービス別)

(広告含む)

Page 10: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential55%

12%10

32%

12%

売上⾼/成⻑率構成比 有料会員数

4,100万人

▲8%38

12 13

売上高(億ドル)

35

14

ダウンロード

+39%

1510

売上高(億ドル)

22

38

55%

定額制音楽配信

32%

ダウンロードアラカルト

12 13 14 12 13 14出典:IFPI

世界の音楽配信市場 (まとめ)

定額制音楽配信

4,1002,800

2,000

※会員制の制度なし

Page 11: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential01,0002,0003,0004,0005,0006,0007,000

96 97 98 99 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14

パッケージ ビデオ デジタル(億円)

6,075

2,979

11

1998年をピークに減少傾向デジタル配信により回復も2007年より再び減少

出典:RIAJ

日本の音楽市場

Page 12: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential0

200

400

600

800

1,000

06 07 08 09 10 11 12 13 14

定額制音楽配信 アラカルトダウンロード(スマホ) アラカルトダウンロード(ガラケー)

12

910 純音楽配信・アラカルトダウンロード(スマホ)・定額制音楽配信

437着信音設定・アラカルトダウンロード(ガラケー)

(億円)

着うた・着うたフル等のガラケー配信は減少スマホ普及に伴い 純音楽配信・定額制音楽配信が増加

出典:RIAJ

日本の音楽配信市場

Page 13: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential79%

2%

13

400万人

12 13 14

+119%

4224

売上高(億円)

92定額制音楽配信

18%

定額制音楽配信

400300

8012 13 14 出典:RIAJ

日本の音楽配信市場(まとめ)売上⾼/成⻑率構成比 有料会員数

+18%224

12 13

売上高(億円)

264

14

ダウンロード 180

79%18%2% ※会員制の制度なし

(スマホ)ダウンロードアラカルト

Page 14: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

レコチョクのサービス

142015/9/10

様々な聴き方で、曲に出会う機会を創造

Page 15: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

レコチョクの挑戦

152015/9/10

音楽 × ?

まだ発⾒されていない⾳楽の新しい楽しみ方・新しい届け方・新しい出会い方今まで思いもつかなかった、誰もやらなかったこと

を、新しい価値として提供していきます。

Page 16: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

3.音楽配信を支えるレコチョクのシステム

162015/9/10

Page 17: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

サービスとシステムの変遷

172015/9/10

02年

PCiPhone3DS

レコチョクのサービス開始時期

サーバ台数〜 50 〜200 〜300 〜1000

〜10TB 〜100TB 〜400TB 〜900TBデータ容量〜30Mbps 〜100Mbps 〜300Mbps 〜2Gbps通信容量

ガラケー時代 スマートフォン・マルチデバイス

04年 09年 10年 12年 13年 15年

Page 18: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

通信容量の変化

182015/9/10

64〜128Kbps

128〜320Kbps

4.6M/曲 11.7M/曲

配信音源ファイルサイズ

通信容量が2年間で3倍

サービス進化・展開

Page 19: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

データ容量の変化

192015/9/10

2002年〜2008年〜100TB 〜400TB 〜900TB

楽曲数増加 サービス進化・展開数百万曲

2009年〜2010年 2011年〜2015年

データ容量が7年間で9倍

Page 20: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential検索エンジンのサーバ台数24台

サーバ台数の変化

202015/9/10

検索エンジン

楽曲名

アーティスト名

アルバム名

歌詞の一部

発売時期

年代別ranking

楽曲ID

周辺システム構築 サービス進化・展開

サーバ台数が6年間で5倍

プライベートクラウド

Page 21: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

システム概要

212015/9/10

iPhone/Android 3DS PC ケータイdヒッツdヒッツラジオ型 dミュージック定額制dミュージック定額制 ひかりTVミュージックひかりTVミュージック レコチョクBestレコチョクBest聴き放題型 公式サイト公式サイト dミュージックFPdミュージックFPレコチョクAPレコチョクAP Win8APWin8AP 3DSAP3DSAP スマホWebストアスマホWebストア PCストアPCストアdミュージックSPdミュージックSPLismoStoreLismoStore レコチョクミュージックストアレコチョクミュージックストア 自社自社 協業協業

バックエンドシステム(38)(会員/決済/DWH/集計/検索/API)

楽曲配信管理システム(5)

フロントシステム(21)

Web/アプリケーション

Page 22: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

4.PostgreSQLへの挑戦

222015/9/10

Page 23: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

採用前のDB環境

232015/9/10

■OracleRAC構成:15システム

(EE:5、SE:10)HA構成:5システム

(EE:2、SE:3)シングル構成:12システム■MySQL

2システム■DB連携

Oracleの機能を利⽤(マテリアライズド・ビュー)

Page 24: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

採用前の課題

242015/9/10

可用性Oracle RACが標準構成

拡張性容易にスケールアウトできない

運用DB連携が複雑化

Page 25: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

採用後

252015/9/10

可用性ダウンタイム5分以内の

システムに採用拡張性

ライセンスコストを意識しないでスケールアウト

運用運用の簡素化

可用性Oracle RACが標準構成

拡張性容易にスケールアウト

できない運用

DB連携が複雑化

Page 26: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

PostgreSQLの構成(1)

262015/9/10

楽曲配信管理●環境

サーバ: Intel® Xeon®

E5-2640 2.50GHz 6コアメモリ: 120GiBストレージ: PCI-Express接続型

超高速半導体ストレージ※※※※1

3TB冗⻑化: DRBD+HeartbeatRDB: PostgreSQLTPS: 4,600(pgbench)(※※※※1)IOPS:242,000(ブロックサイズ4K)

●移⾏データ移⾏:移⾏ツール作成データ検証:Postgres Plusを利⽤

マスタDB

リードレプリカ

Page 27: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

PostgreSQLの構成(2)

272015/9/10

楽曲情報API

●構成Webサーバ:14台PostgreSQL:5台可用性:pg-pool、ロードバランサー

Web層DB層

サービス①⑧a08⑦a07

①REPDB001

②a02①a01pg-pool ⑥a06 ④a04pg-pool pg-pool pg-pool pg-pool pg-pool pg-pool ⑪a11⑩a10pg-pool pg-pool ⑬a12pg-pool ⑭a13pg-pool⑨a09⑤a05pg-pool ③a03pg-pool pg-pool⑭a14②REPDB002 ③REPDB003 ④REPDB004 ⑤REPDB005

サービス② サービス③ サービス④

Page 28: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

発生した問題

282015/9/10

●サーバーハングアップLinuxのTransparent Huge Page機能の不具合により、⼤量アクセス時にメモリロックが起こり、⼤量のプロセスが待機状態となり、サーバーがハングアップしてしまう。

●Autovacuumデータ登録バッチが1⽇中実⾏されているため、Autovacuumが間に合わない。⇒⇒⇒⇒ 夜間にメンテナンス時間を設けて、full vacuumを実⾏

●パフォーマンス劣化データが肥大化し、いつの間にかwork_memのサイズを超えて、バッチ処理が急激に遅くなってしまった。⇒⇒⇒⇒ work_memサイズを監視

Page 29: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

PostgreSQLの運用

292015/9/10

●PostgreSQLリソース情報、統計情報の分析-pg_statsinfoツールを利⽤し、PostgreSQLやOSのリソース情報、統計情報を取得。-取得したデータをpg_stats_reporterで出⼒して分析を⾏う。

Page 30: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

今後の展開

302015/9/10

●クラウドAWSを利⽤

●メリット・物理サーバーの追加をしないでスケールアウト可能・スナップショットですぐに検証環境が構築可能・可用性の向上・DB運用の負荷軽減●課題Oracle RACと同等の可用性は難しい

Availability Zone A Availability Zone B

Page 31: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

利⽤するDBの遷移

312015/9/10

〜2013年 2014年〜2015年 2016年〜

フロントシステム Oracle SE One プライベートクラウド

+PostgreSQL HA構成

Amazon RDSfor PostgreSQL

拡張性 Oracle SE One複数台構成

PostgreSQLリードレプリカ Amazon RDS

for PostgreSQLリードレプリカ可用性(1) Oracle HA構成 PostgreSQL HA構成

可用性(2) Oracle RAC Amazon RDSfor Aurora(予定)

Page 32: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential

最後に

322015/9/10

メリット

●コスト●スケールアウト●情報が多い●サポート

考慮点

●Vacuumのメンテナンス●Oracle RACと比較すると可用性の面で劣る

Page 33: 音楽配信・音楽データを 取扱うレコチョクの挑戦 · Amazon RDS for PostgreSQL 拡張性 OracleSEOne 複数台構成 PostgreSQL リードレプリカ Amazon RDS

© RecoChoku Co.,Ltd. Proprietary and Confidential 332015/9/10

ご清聴ありがとうございました。