高品質動画配信基盤向けオブジェクトストレージ活...

高品質動画配信基盤向けオブジェクトストレージ活用事例～パブリッククラウドからオンプレへ～

株式会社NTTぷらら技術本部ネットワーク管理部マネージャー大橋峰延

© Copyright 2019 Dell Inc.5Internal Use - Confidential

自己紹介

現職： (株) NTTぷらら技術本部ネットワーク管理部マネージャー

経歴： 200X年、某NTTグループ系SIer入社→ 社内外インフラ構築・運用でインフラ基礎を学ぶ

2009年、 NTTぷらら入社、ひかりTVサービス立ち上げに参加以降、約10年間ほど様々なインフラの設計・構築・運用管理に従事

今の仕事：ひかりTVサービスのインフラ全般やプライベートクラウド、パブリッククラウドの設計・構築・運用B2B2C案件のインフラPM,PL

© Copyright 2019 Dell Inc.6Internal Use - Confidential

アジェンダ

【導入】 NTTぷららご紹介

【本題】動画配信基盤向けオブジェクトストレージのオンプレ化について

【参考】動画配信とストレージ

© Copyright 2019 Dell Inc.Internal Use - Confidential

NTTぷららご紹介


ひかりＴＶの概要

テレビビデオ

カラオケ

ショッピングミュージック

電子書籍アプリクラウドゲーム

マルチデバイス対応


ひかりTVプラットフォームの規模（数値データは当社集計による）

放送サービスの集信・配信・監視

ひかりTVのべ視聴時間

全サービス提供ユーザ数

• 集信チャンネル数：300+チャンネル（150+の放送局）• 配信チャンネル数：のべ550+チャンネル※2

• 映像モニタリング：600+（3.2万+ポイントを監視）

• 月間のべ視聴時間約8,000万時間/月（ビデオ視聴600万時間、テレビ視聴6,600万時間、録画視聴750万時間）

• 自社サービス、及びパートナーへのPF提供を合わせ、トータル約1,000万ユーザ規模に各種サービスを提供

※1：地デジ、BS、多チャンネルの放送局のユニーク数※2：ひかりTV、パートナーと連携した各サービスへの放送チャンネル提供、及び、OTT向けリニア配信サービスを含む


映像コンテンツのパーソナル化

コンテンツメタデータ

外部メタデータ

映像メタデータ

出演者

監督あらすじ

泣ける！笑える！

視聴のタグ付

レコメンド精度向上

自分だけの放送局

ダイジェスト自動生成

AI / Deep Learning

ユーザ属性視聴データ


メディアクラウドプラットフォーム

スタジアム・スポーツ施設

放送局・CP

コンサートなど会場

for business(ホテル, マンション, etc.)

放送局様/CATV様(PF提供など)

OTT事業者様(PF提供など)

CDN•フレッツ網• Internet•LTE•5G (将来)

メディアクラウド

Key Technologies:• クラウド技術全般• 4K/8K、VR、自由視点…• 映像制作・ポスプロ技術• CMS• アーカイブ• クライアントSDK化• 監視・オペレーション高度化

4Kも含む、制作～配信までの一気通貫のワークフローをサポート

B2C

B2B2C

B2B2C

B2B2C


動画配信基盤向けオブジェクトストレージのオンプレ化について


【課題】

22億ファイルに上る配信用映像データをパブリック・クラウド上で

保存・管理しており、コストや運用管理品質などの面で改善の余地

【成果】

オンプレミスのオブジェクトストレージ基盤(ECS)にデータを移行し

TCOの大幅削減に成功。今後はストレージ統合インフラとしても活用

サマリ


パブリッククラウドからオンプレミス化の検討• Azure Blob Storageをオリジンストレージとし、約22億オブジェクトをCDNに配信しており、AzureのInternetOutの費用が肥大化していたため、オンプレ化を検討

Azure Blob Storage

22億オブジェクト

CDN網

REST API

動画配信サービスサイト

【パブリッククラウド】

CMS

CDN付属ストレージ

22億ファイルを同一ディレクトリに配置できないため

利用不可

非常に高額


① CDN網とオリジンの組み合わせによるスケーラビリティ

② 高信頼性・高品質の配信をサポート

③ 汎用性・拡張性の高いプラットフォーム

動画配信システムにおける配信用ストレージ技術要件

前提：目的はコスト削減であるため、現環境と同様にHTTPプロトコルでアクセスできるオブジェクトストレージを選定し、システムの改修費は最小限とする


① CDN網とオリジンの組み合わせによるスケーラビリティ–アクセスが集中するホットコンテンツはCDNで効率よく配信

–ロングテールなニッチコンテンツの要求にストレージ(オリジン)が応えられる性能が必要


インターネット(CDN)

ストレージ(オリジン)

80-95%5-20%

設計上は総アクセスの20%程度のスループットを想定


② 高信頼性・高品質の配信をサポート–Active/Activeかつ同一PATHで動作するGeoレプリケーション機能

– 24時間・365日の連続稼働に耐え得る高信頼性





東京

大阪

https://cdn.xxx.zzz/vod/aaa.mp4http://origin1.xxx.zzz/vod/aaa.mp4

http://origin2.xxx.zzz/vod/aaa.mp4

東京と大阪は同じPATHで常時アクセスできる

Active

Active


③ 汎用性・拡張性の高いプラットフォーム– 22億ファイル以上同一ディレクトリに保存可能でさらにスケールアウトできること

–様々なプロトコルに対応する汎用性




CIFS

NFS

S3

Swift

etc


オンライン中に拡張

様々なプロトコルに対応

22億ファイルを同一ディレクトリに配置


① CDN網とオリジンの組み合わせによるスケーラビリティ

② 高信頼性・高品質の配信をサポート

③ 汎用性・拡張性の高いプラットフォーム


前提：目的はコスト削減であるため、現環境と同様にHTTPプロトコルでアクセスできるオブジェクトストレージを選定し、システムの改修費は最小限とする

DellEMCのECSは上記の技術要件を全て満たすことを確認した


下記の３点を満たす場合、クラウドストレージよりもオンプレストレージの方が安価な場合が多い

•既にある程度の規模(容量)で今後のスケールの予測がつく(購入時のボリュームディスカウントや計画的な増設が可能)

• インターネットに出ていくトラフィックが多い（アーカイブ目的では無い）

•今後３～５年はサービス継続を考えている

動画配信システムにおける配信用ストレージコスト

ECSの見積から、Azureよりも安価な費用で済むことが分かった


ECS選定にあたってのポイント

• 技術面– Active/Activeかつ制限の少ないジオレプリケーション

– 24時間・365日の連続稼働に耐え得る高信頼性（HW,SW）

– ゲートウェイ不要のマルチプロトコル対応

• コスト面– コンポーネント（ノード、スイッチ、ケーブル）を完備しており、追加コストの削減

–容易なスケールアウトによる今後の投資の削減

– S3、SwiftのSDK利用による開発コスト削減

特に導入前に開発者と深い会話をする機会を頂いたことで、信頼感がありました。

OSSや他社オブジェクトストレージでもある程度の要件を満たすが、下記のポイントによりECSを選定


パブリッククラウドからオンプレミス化の実施• CMSを改修し、自社データセンターのECSにもコンテンツをアップロード

• 1～2ヶ月程度様子を見て、オリジンを切り替え

Azure Blob Storage

22億オブジェクト

CDN網

REST API

動画配信サービスサイト

Dell EMC ECS(容量 2880TB)

東京

Dell EMC ECS(容量 2880TB)

大阪

Replication

【パブリッククラウド】【自社データセンター】

CMS

REST API


• ECS U2800

– ストレージ容量：2.88PB

– 分散ストレージノード：8ノード

– NFS,CIFS,S3,Swiftなど様々なIFに対応

• 2センターにECS U2800を1セットずつ設置– 実効容量合計3PB

– 22億オブジェクトを管理

– 3 Gbps帯域でセンター間レプリケーションを実現

– グローバルネームスペースにより東西両サイトからデータアクセスが可能› 災害対策と配信効率向上

導入システムの構成


配信基盤構成

東京大阪

ECS Component

FE Switch#1(10GbE SW)


ECS8node

Mgmt Switch(1GbE SW)

L2 Swtich#1 L2 Swtich#2

Plala L3 Switch#1 Plala L3 Switch#2

Load Balancer#1(A10 AX Series)

Load Balancer#1 Load Balancer#1(A10 AX Series)

Cache Server(Dell PowerEdge)

ECS Component



ECS8node

Mgmt Switch(1GbE SW)

L2 Swtich#1 L2 Swtich#2

Plala L3 Switch#1 Plala L3 Switch#2

Load Balancer#1(A10 AX Series)

Load Balancer#1 Load Balancer#1(A10 AX Series)

Cache Server(Dell PowerEdge)

インターネット

CDN1 CDN2

・ECS Components

- ECS Gen2 8node

- Ethernet Switch 10Gb x 2 /1Gb x 1

・Cache Server

- Dell PowerEdge x 2

：ECSシステム


ECS導入（オンプレミス化）の効果

• パブリッククラウド（Azure Blob）の保管データをＥＣＳに移行し、Azureのコスト（ストレージ、Internet Out）を大幅に削減

• ストレージ運用の簡素化– S3と同様に管理が可能、ＡＷＳ SDKなどの活用

– DellEMCのサポートにより調査・復旧対処の稼働も削減

• 今後について

–空き容量の有効活用

▪画像データ・ウェブコンテンツ用の統合レポジトリとしての活用によるストレージ利用の最適化


ECS導入後の感想

• リアルタイムなパフォーマンスモニタリングができない

– バージョンアップで機能追加される

• Accessログなどの調査はユーザ側では難しい

• Active/Activeでジオレプリケーションが期待通りに動作する

– 東京の故障時に問題なく大阪でアクセス可能

• S3互換機能は他社類似製品より少ないが今の所全く問題は無い

• LBや一次キャッシュ（WEBサーバ）を今回は別途導入しているため、ECS側に機能があると良い

• Openstack Swiftを自社で構築・運用している他システムもあるが、ECSはSwiftと比較して運用コストがはるかに少なく済む。分散ストレージの独自運用コストはかなり高い


動画配信とストレージ


インターネット向け動画配信の設備構成(例)

エンコーダトランスコーダ

オリジンサーバ

暗号化(DRM)


ポータル認証/

配信制御

番供

社外設備

DB

CMS



エンコーダトランスコーダ

暗号化(DRM)


ポータル認証/

配信制御DAS

番供

社外設備

SDS(オブジェクトストレージ)

DB

NAS

CMS

SAN(VM用)





オブジェクトストレージ


Core

Edge

Core

Edge

Edge

Edge

Edge

Edge

Edge

Edge

Edge

Edge

LB


オブジェクトストレージオブジェクトストレージオブジェクトストレージオブジェクトストレージ

1次キャッシュ

2次キャッシュ

インターネット向け動画配信は基本的にHTTPプロトコルベース

オブジェクトストレージはREST API対応が多いがWEBサーバとしての機能がほぼ無いため、手前に一次キャッシュとしてWEBサーバを配置する場合が多い。一次キャッシュでRewriteやアクセス制限、ヘッダ追加などを実施

高品質動画配信基盤向け オブジェクトストレージ活...

Documents

高品質動画配信基盤向けオブジェクトストレージ活...