yahoo! japanのサービス開発を10倍早くした社内paas構築の今とこれから

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

窪野安彦

2017年2月16日

ヤフーのサービス開発を

10倍早くした社内PaaS構築の今と

これから


自己紹介

1

窪野安彦

・システム統括本部プラットフォーム開発本部所属（サービスの基盤となるようなシステムを担当）

・2004年入社（当時はC言語でゴリゴリに書いてました）

・※Cloud Foundry®の環境構築と社内導入を行っています。

※Cloud Foundryは、Cloud Foundry, Incの登録商標です。


アジェンダ

2

何故PaaSを導入したのか？

どんな風に使っているのか？• 具体的な使い方• デモ

PaaSの先にあるもの


何故PaaSを導入したのか？


10年前の開発で使われていたもの

アーキテクチャ• Apache + apache_module + 独自template

開発ツール• emacs + gcc + gmake & Jail

• CVS

パイプライン・デプロイ• CI等は特になし

• デプロイは、scp *.so & apache restart

4


10年前の思想

5

コンピュータは貴重なリソース頑張るのは人


現在の開発で使われているもの

アーキテクチャ• OpenStack + LAMP + KVS + ・・・

開発ツール• OpenStack + phpstorm とかのIDE・・・

• GHE

パイプライン・デプロイ• CI/CD

• 独自パッケージシステム

• 等

6


我々の課題

7

使う道具は変わったけど思想(≒アーキテクチャ)が

進化してない


問題点

8

あるサービスの例


あるサービスの例

9

FTP CP

社外RDBMS

WEB

API

BatchCache

SCP


問題点

10

よくある課題


よくある課題

11

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache


Cronがこけてbatchが止まる

12

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache


キャッシュファイルのscpに失敗する

13

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache


アクセスが増えてサーバの増設が必要になる

14

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved . 15

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache

もっと手間がかからないようにできないか？


問題点

16

例えば


例えば

17

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache


夜中にこけるバッチ

18

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache


夜中にこけるバッチ

19

FTP CP

社外

WEB

API

Batch

SCP

RDBMSCache


FaaSMQ

cronをやめてMQとかFaaSにする

20

FTP CP

社外

WEB

API

SCP

※FaaS = Function as a Service

RDBMSCache


FaaSMQ

もっと手間がかからなくなるかも

21

FTP CP

社外

WEB

API

SCP

RDBMSCache


FaaSMQ

キャッシュのscpに失敗する

22

FTP CP

社外

WEB

API

SCP

RDBMSCache


FaaSMQ

キャッシュのscpに失敗する

23

FTP CP

社外

WEB

API

SCP

RDBMSCache


FaaSMQ

キャッシュファイルはやめてKVSを立てる

24

FTP CP

社外

WEB

API

RDBMSKVS


FaaSMQ

もうscpで失敗しません

25

FTP CP

社外

WEB

API

RDBMSKVS


FaaSMQ

サーバの増設が必要になったら？

26

FTP CP

社外

WEB

API

KVS RDBMS


FaaSMQ

サーバの増設が必要になったら？

27

FTP CP

社外

WEB

API

RDBMSKVS


FaaSMQ

ここには新しい技術が必要だった

28

FTP CP

社外

WEB

API

RDBMSKVS


問題点

29

まだ他にも課題がある


問題

30

バージョンアップとかセキュリティ対応が

多すぎる問題


膨大なサーバ群

31

物理、仮想サーバの合計

10万台以上

※弊社独自の調査 2015年6月時点


お客様のデータを守るために

32

～膨大なサーバのソフトウエア更新～

・リリース作業・脆弱性対応・ソフトウェアバージョンアップ


問題

33

あるプロジェクトの例


あるプロジェクトの例

34

プログラム開発

担当エンジニア

バージョンアップ・セキュリティ対応

あるプロジェクトのサーバ


エンジニアが少ないと毎月の対応が大変

35


そのうち機能追加や改修もできなくなる

36


担当エンジニアがテンパる

37


問題

38

そこで


担当を分けてみる

39


専任がいれば分業できるので

40


本来やりたかった開発に集中できる

41


問題点

44

ただし社内の全チームでそれができるわけではない


よくある課題

45

そこで


ヤフーには沢山のサービスがある

46


多くのサービスで問題が起こっている

47


それぞれのサポートをしてあげたいけど

48


現実的には厳しい

49


そこでまとめて面倒を見ることができれば？

50


Nice

51


ここでPaaSの出番！！！


次から具体的な使い方の説明をします。


どんな風に使っているのか？


まずは


PaaSとは？


PaaSとは？

57

PaaS=Platform as a Service


PaaSとは？

58

物理サーバ IaaS PaaS(CF)

アプリケーション ◯ ◯ ◯

ランタイム ◯ ◯ ☓

ミドルウェア ◯ ◯ ☓

OS ◯ ☓ ☓

ハードウェア ◯ ☓ ☓

ネットワーク ◯ ☓ ☓


PaaSとは？

59





OS ◯ ☓ ☓



IPアドレスを用意する


PaaSとは？

60





OS ◯ ☓ ☓



サーバをラッキングする


PaaSとは？

61





OS ◯ ☓ ☓



OSをインストール


PaaSとは？

62





OS ◯ ☓ ☓



WEBサーバをインストール


PaaSとは？

63





OS ◯ ☓ ☓



PHPをインストール


PaaSとは？

64





OS ◯ ☓ ☓



プログラムをデプロイ


PaaSとは？

65





OS ◯ ☓ ☓



以前は全部やっていましたが


PaaSとは？

66





OS ◯ ☓ ☓



最近はここだけやるのが主流


PaaSとは？

67





OS ◯ ☓ ☓



サービス開発エンジニアがアプリケーション開発に

集中できるようになる！！！


Cloud Foundry®とは？

※Cloud Foundryは、Cloud Foundry, Incの登録商標です。

Cloud Foundryとは？


オープンソースのPaaSプラットフォーム

• 多くのベンダーで採用Cloud Foundryベースのプロダクトなので、他プラットフォームのノウハウも参考にできる

• 動作環境を選ばない複数のIaaS(OpenStackなど)や仮想化基盤を利用できる

• 拡張性が高い好みの開発言語やデータベースなどを追加・拡張して独自のPaaSとしてカスタマイズしやすい

Cloud Foundryとは？


なにが嬉しいのか？


プログラムをデプロイするだけでサーバを構築してくれる

71

cf push {アプリケーション名} {オプション}

{アプリケーション名}：開発者がデプロイするアプリを一意に認識

-n：ホスト名（例. hoge）

-d：ドメイン（例. example.co.jp）

実行URLはオプションで指定した “ホスト名” + “ドメイン” となる

hoge.example.co.jp


CF

Droplet

何が起こっているのか？

72

Droplet

Container

OS

pushRuntime

Application

Extension

App

xxx.yahoo.co.jp


デモ１

73

Cloud Foundryを使ったアプリケーションの

デプロイ


デモ1 - 1：アプリケーションのデプロイ

74

必要な物はソースコードと

設定ファイルのみ


デモ1 - 2：PHPのバージョンを上げてみる

75

変更箇所は設定ファイルのみ


自己紹介

76

田口雅浩

・CTO室SWATチームに所属

（社内の技術的な課題解決のため、様々なサービスや

基盤システムをサポート）

・2007年新卒入社、ヤフオク!開発を経て、SWATへ

・現在ではPaaSの導入に向けて、CI/CDのサポート


デモ1


CI/CDはどうしよう？


CI/CDはどうしよう？

79

CFと相性が良さそうなものモダンな開発手法に合ったもの

パイプラインが見える化されてるYAMLでパイプラインが書ける

前提条件

Concourseのメリット


Concourseに決定


パイプラインの構成要素

81

パイプラインは「Tasks」「Resources」「Jobs」の3要素で構成されています。

ResourceJob

Resource入力出力

• Task• Task


デモ 2

82

Concourseを使ったパイプラインのデモ


Concourse CF

Concourseを使ったパイプラインデモ

83

check test deploy

notification xxx.yahoo.co.jp

commit

GHE

MYM

push

MYM

message

CF


デモ2


PaaSの先にあるもの


PaaS導入の旅

86

2016年先行サービス

2017年本格導入

2018年拡大


とにかくサービスが沢山ある

87

増え続けてきたサービス１００以上 (2016年9月末時点)

開発言語の違いC、Perl、C++、PHP、Node.js、Java...

素材提供：アフロ


それぞれアーキテクチャも違う

88

例）新規サービス等例）コマース系サービス等

小規模サービス大規模サービス

API

Gate

way

sear

ch

list

cart

logic

logic

logic


共通のアーキテクチャを全社展開するのは難しい

89



組織毎に対応策を見つける

90

組織内エバンジェリスト(非公式)今のところ２０人ぐらい

それぞれの組織・サービスに合った導入方法を進めている


推進体制イメージ

91

現場エンジニア

組織内エバンジェリスト

社内推進プロジェクト

ショッピング担当

ショッピングエンジニア

ショッピングエンジニア

オークション担当

オークションエンジニア

メディア担当

メディアエンジニア


今までは独自技術で開発スピードアップをしていた

92

・検索エンジン・フラットファイルDB・プロセス間通信技術・パッケージ管理



独自技術の多くは簡単にはCFで動かない

93

写真：アフロ


既存システムとの連携が必要

94

app2app1

FE API

etc

KVS

DB

API Gateway

独自技術独自技術独自技術独自技術

システムログアプリケーションログ

routerProx

y

MQ FaaS


PaaSを構築してからもやることが沢山ある


さらに


PaaSはあくまでも道具使い方はもっと重要


開発手法との融合が必要

98

写真：アフロ


最終的に

99

お客様に付加価値を届けるスピードを

「１０倍」にしていきたい


まとめ


まとめ

101

何故PaaSを導入したのか？• 付加価値の高い開発に集中するため

どんな風に使っているのか？• CF• Concourse

PaaSの先にあるもの• 社内普及・既存機能との融合• 開発手法のバージョンアップ


ご清聴ありがとうございました

yahoo! japanのサービス開発を10倍早くした社内paas構築の今とこれから

Technology