nutanix ce 入門 -multi node 構成編-

NUTANIX COMMUNITY MEETUP #4

Nutanix CE 入門 -Multi Node 構成編-Nutanix CE Basic for Multi Node at Home Labs

1

24th Aug 2015

Rev.2

Nutanix Community Meetup #4


はじめまして！Nice to meet you

2


自己紹介

3

@hanakara_milk と申します

普段はコテコテのSierに偽装派遣されている

ワタシ Word ト Excel ト PowerPoint ダケトモダチ

エンジニアではないので仕事でインフラに触れる機会は全くありません。インフラに触ってみたい欲求をこじらせて，自宅にいっぱいサーバーをため込んでいますが，8割くらい死蔵してます。あとGUIがないと死んじゃう持病持ってます。


哲学的な疑問

なぜ,ここにいるのか？Why , am I here ?

4


Nutanix Community Meetup関連のできごと

5

ありがたいことに優勝をいただきました。

Nutanix Community EditionBlogコンテスト

優勝賞品として，Apple Watch Sportをいただけるそうです！ありがとうございます！

NUTANIX COMMUNITY MEETUP #4 6

Apple Watch Sport


Apple Watch Sport

対価

登壇指令


あくまでイメージ画像です

※LINE画面風画像ジェネレータ提供

ある日のこと…


ご注意

10

商用Nutanixについて，全く事前知識がないままNutanix CEに触り始めたので，既にNutanixをご存じの方は当たり前じゃん？的な内容もあるかと思います。

Nutanix初心者がNutanix初心者向けにお話をする(無謀)と言うことで，間違っているかもしれない内容もあり，発表中に唐突に発表者が中の人に質問をすることもあります。

上記を踏まえて，マサカッリーを放る場合はフェザータッチな感じ(重要)でお願いいたします。


Nutanix CEマルチノード構成のココが凄い！Nutanix CE multi-node cluster is amazing !!



ヤバい！


でんきだい♡

Nutanix CEマルチノード構成のココが凄い！

14

Majide Yabai desu

What a fxxk'n electric bills

Kekkou yabai desu

Real TETRIS (Physical)

Hontoni yabai desu

Easy Cluster management

Soutou yabai desu

Get free availability System

ヤバい！



15

電気代ヤバイ

ヤバい！



16

Majide Yabai desu


Kekkou yabai desu


Hontoni yabai desu


Soutou yabai desu


せっちばしょ

ヤバい！



17

必須スキル：

テトリス(物理)ヤバイ

Node #1

Node #2

Node #3

Node #4

もはやこの辺の数台は取り出すことができないため構成変更不可能

作業台ため構成変更不可能

ヤバい！


たぶんこの先からが本題This is just the beginning.

18


Nutanix CEってそもそも何？

19

Nutanix CEの基礎知識Nutanixは，北米等のマーケットで非常に勢いのあるハイパーコ

ンバージドインフラストラクチャ(※)のソリューションを提供しているベンダー及びそのベンダーの製品名。

※サーバー，ネットワーク，ストレージ，ソフトウエア（ハイパーバイザーや運用管理ツールなど）を，一つのパッケージに統合した製品

CPU，メモリ，ストレージ，NICを搭載した汎用的なIAサーバーを束ねて，その上にNutanix社が開発した分散ストレージファイルシステム，ハイパーバイザーを含む仮想化基盤の統合運用・管理ソフトウェアを搭載したアプライアンス製品又はそのソフトウェア製品。



20

Nutanix CEの基礎知識もっと分かり易く言うと，共有ディスクいらずで，汎用的なIA

サーバーのみを利用して，耐障害性や可用性のあるクラスターシステムと冗長性やデータの耐障害性を持つストレージが既に組み込み済みの，導入してすぐに使える仮想化基盤。

もう1つ特徴的なのが，ハイパーバイザーをユーザーが選択可能で，ストレージ，ネットワークを含むインフラ基盤部分をNutanixで統合管理し，ハイパーバイザー部分のみをユーザーの好みに合わせてVMware vSphereやHyper-Vにすげ替えることができる。



21

Nutanix CEの基礎知識Nutanix CEは，このような商用版Nutanixのハイパーコンバージ

ドインフラストラクチャソフトウェアを無償でコミュニティ向けに提供したもので，CEはCommunity Editionの略。

Nutanix CEは，ハイパーバイザーについて，Nutanix社が提供しているKVMベースのAcropolisと呼称される独自のハイパーバイザーしか選べないが，いくつかの制約(主にノード数や搭載ディスクの本数及び容量の制約)を除いて，ほぼ商用版のNutanixと同等の機能が無償で利用できる。

Nutanix CEは，メールベースの登録のみで，誰でも自由に入手し，利用することができる。



22

Nutanix CEの基礎知識Nutanix CEは，無償のCommunity Editionながら非常に高機能な

仮想化基盤の運用・管理機能を有する。

SSD

HDD HDD HDD

CVM

Acropolis Hypervisor

SSDNutanixの分散ストレージ機能では，必須の要件と

して200GB以上のSSDを要求するものの，HDDと合わ

せたティアリング機能(階層化ストレージ)も提供

しており，データの利用頻度等によって，動的な

SSD又はHDDへのデータ配置管理が行われる。

共有ディスクを必要とせず，Hypervisorから

見える仮想化基盤のための耐障害性，冗長性

を備えた分散ストレージ機能があらかじめ

Nutanixの機能で提供される。

KVMベースのHypervisorで，VMの作成，変更，

削除等の機能や仮想化基盤のネットワーク，

ストレージ，クラスターの構成・管理機能を

提供する。ライブマイグレーション機能も提

供されるほか，HA機能も無償で提供される。

CVMは，Controller VMで，Nutanixにおいてノード間

の相互監視やストレージやネットワークのI/Oパス

制御，I/Oキャッシュの制御を行う。Acropolisが

Hypervisorとしての基礎的な機能を提供するコン

ポーネントだとすると，CVMはそれに様々な追加の

拡張機能を提供するコンポーネント。



23

Nutanix CEの基礎知識Nutanix CEは，Nutanixソフトウェアのみが提供される形になる

ため，自社や自宅のハードウェアにインストールして，共有ディスクいらずの可用性，耐障害性を持つ(マルチノード構成時のみ)仮想化基盤を構築することができる。

主なインストール要件は，物理4コア以上のIntel CPU，16GB以上のメモリ，LSIのHBAやICHコントローラー，200GB以上のSSDと500GB以上のHDD及びIntel又はBroadcom等のNIC。

物理マシンを複数用意できない場合は，VMwareの上にNested等でのインストールも可能



24

Nutanix CEの基礎知識Nutanix CEの入手は以下のURLから

http://www.nutanix.com/products/community-edition/

Nutanix CEの主な制約は比較的ゆるく，常用に十分耐える程度の制約に収まっている。主な制約は以下のとおり。

• クラスターを構成するノード数は4つまで。

• ハイパーバイザーの選択が不可。

• ディスクの最大容量は18TBまで。

http://www.nutanix.com/products/community-edition/


Nutanix CEマルチノードクラスターを使い始めるまでのステップ

25

Nutanix CEのインストールインストーラーを使いCLIウィザードを使ってインストールを行う。

クラスターの構成と設定clusterコマンドとnCLIを使ってクラスターの構成と設定を行う。

Hypervisorの設定Nutanix CEではAcropolisと呼ばれるKVMベースのHypervisorインストールされるので，その設定を行う。

VMインストールHypervisorであるAcropolisの設定が完了すると，VMのインストールが可能となる。

Nutanix CEインストール

クラスターの構成と設定

VMインストール

Hypervisor設定

ローカルCLI

リモートCLI

リモートGUI

リモートGUI


Nutanix CEマルチノードクラスターを使い始めるまでのステップ

26

クラスターの構成と設定clusterコマンドとnCLIを使ってクラスターの構成と設定を行う。

クラスターの構成と設定

リモートCLI

Nutanix CEのマルチノードクラスターについてマルチノードクラスターにまつわる技術Nutanixの売りであるストレージにまつわる技術，など

今日の本題クラスターの構成と設定に関連して…


Nutanix CE 入門編 -Multi Node 構成編-

Nutanix CEマルチノード構成のココが凄い！の本題

Nutanix CE multi-node cluster is amazing !!


本日のアジェンダ

28

01Cluster Configuration

02

03

Nutanixのマルチノードクラスター構成と設定，その周辺技術なんかのお話

Nutanixのマルチノードクラスターと可用性・耐障害性にまつわるお話

Nutanix CEにおけるマルチノードクラスター構成のまとめ

Availability Mechanism

Today’sSummary

00An opening actIce break

【済】前振り



29

01Cluster Configuration

Nutanixのマルチノードクラスター構成と設定，その周辺技術なんかのお話



30

Majide Yabai desu


Kekkou yabai desu


Hontoni yabai desu

Easy cluster configuration

Soutou yabai desu


くらすたー



31

Nutanix CEにおけるクラスターの基礎知識Nutanix CEで構成可能なマルチノードクラスターは，3ノードク

ラスターもしくは4ノードクラスターのみ。

5ノード以上のクラスター構成は商用版のNutanixでのみ可能。

2ノードクラスターは構成不可，スプリットブレインに対する考え方とNDFSの基本的な制約だと思われる。

Nutanix CEで可構成能なクラスター構成におけるデータの耐障害性は，RF(Replication Factor)2まで。

Nutanixのクラスター管理コマンドは，基本的にclusterコマンドとncliコマンドのみで事足りる。



32

Nutanix CEのクラスターは初心者にとても優しい！「サーバーやサービスのクラスターを構成するのは手間暇かかって結構大変ですよね」

NLBやHA又はフェイルオーバークラスターを構成する際には，事前に多数のパラメーター設定やら制約やら色々手間がかかる。

クラスターの対象レイヤーがアプリケーションやサービスレベルになるとさらに大変。

自分が知る中でもクラスターを構成するのが比較的簡単なのは，他にはVMware vSphereくらい？(ただし，あくまで操作のみに限っての話，クラスター構成に必要なシステム構成等の要件は別)



33

マルチノードクラスター構成はヘテロ構成が可能Nutanixにおけるクラスターを構成する際に必要となるハード

ウェアの要件及び構成は，まったく同一のハードウェアを必要とすることなくヘテロな環境でも構成が可能。

Server CPU MEMORY Storage Ctrl SSD HDD NIC

ProLiant ML110 G7

1x Xeon E3-1220 (4C4T)

16GB Smart Array B110i(ICH10R)

Samsung 850 EVO 256GB

Seagate ST2000DM001 2TB

Intel X520-DA2 DualPort 10GbE

PRIMERGYRX300 S7

2x Xeon E5-2670 (16C32T)

128GB D2616 SAS RAID(LSI2108)

Samsung XP941 512GB M.2 SSD

Toshiba MK3001GRRB 300GB

Fujitsu PYBLA242L DualPort 10GbE

PowerEdge R710

2x Xeon X5670 (12C24T)

48GB AOC-S2308L-L8i(LSI2308)

Samsung 850 EVO 256GB

Seagate Savvio10K.3 300GB

Mellanox MNPH29C-XTR DualPort 10GbE

PowerEdge R610

2x Xeon L5520 (8C16T)

24GB PERC H700(LSI2108)

Seagate Pulsar.2 400GB

Toshiba MK3001GRRB 300GB

Emulex OCe11102 DualPort 10GbE

※当初，Nutanix CEを検証した際の構成



34

たった1行のコマンドでクラスターを構成できる（クラスター構成前）同一ネットワークアドレスにいるノードは，

煩雑な設定をすることなく，IPアドレスを指定するだけで簡単にクラスターに組み込むことができる。

Nutanix CEのクラスター構成自体は，このたった1行のみで完了。

これに加えて，クラスターが参照するDNSを設定するだけで，Nutanix CEのクラスター構築作業が完了する。

Single Nodeの場合は –f オプションをつける必要あり

$ cluster -s {IP_ADDR1} , {IP_ADDR2} , {IP_ADDR3} , {IP_ADDR4} create

Code:


クラスターコマンドは1回叩けば全てのノードに適用（クラスター構成後）クラスターの初期構成，初期設定

ssh接続しているノード


35

ssh ssh接続


クラスターコマンドは1回叩けば全てのノードに適用（クラスター構成後）クラスターの初期構成，初期設定におい

て，いずれか1台に設定を投げると…



36

ssh ssh接続

command


クラスターコマンドは1回叩けば全てのノードに適用（クラスター構成後）クラスターの初期構成，初期設定におい

て，いずれか1台に設定を投げると，自動的にクラスターを構成する全てのノードに設定を適用される。

Nutanix CEでは，クラスターを通常の運用状態に持っていくための初期構成，初期設定が簡単。



37

ssh

command command command command

ssh接続



38

Nutanix CEの構成，設定はGUIで俺得初心者の強い味方！WebブラウザベースのGUI管理コンソール

※GUIないと死んじゃう病を抱えているので


Nutanix CEのマルチノードクラスター構成Nutanix CEのマルチノードクラスターを構成する手順

※Nutanixの公式手順とかではなく，個人的な検証結果や所感に基づきます


39

1 2 3 4 5 6

マルチノードクラスターそのものを構成する

clusterが参照するDNSサーバを設定する

clusterが参照するDNSサーバを設定する

clusterのVirtual IPアドレスを設定する

clusterのクラスター名を設定

する

clusterのTimeZoneを設定

する

ClusterGenerate

DNS Setting

NTP Setting

Virtual IP Setting

Name Setting

TimeZoneSetting

必須必須推奨推奨推奨推奨



40

具体的なマルチノードクラスターの構成と設定1．clusterコマンドを用いてクラスターを構成する(必須)

192.168.100.101，111，121，131の4台のNutanix CEインストール済みのノードがあった場合の4ノードクラスター構成時

ちなみに，クラスターの破棄時は，createオプションではなくdestroyオプションを指定するだけ。

$ cluster -s 192.168.100.101, 192.168.100.111, 192.168.100.121, 192.168.100.131 create

Code:



41

具体的なマルチノードクラスターの構成と設定2．構成されたclusterが参照するDNSサーバを設定する(必須)

Nutanix CEをアクティベーションやアップデート時にインターネット接続が必要となるため，クラスターが参照するDNSを指定。

8.8.8.8等の外部のオープンリゾルバやNutanix CEをインストールしたネットワークにDNSサーバがあれば，そちらを利用することも可能。

$ nci cluster add-to-name-servers servers="8.8.8.8"

Code:



42

具体的なマルチノードクラスターの構成と設定3．構成されたclusterが参照するNTPサーバを設定する(推奨)

マルチノードクラスターを構成する場合は設定を推奨。NTPの設定はPRISMからも可能で，後で設定することも可能。

上記の例では，NICTのNTPを使っているが，DNSと同様にNutanix CEをインストールしたネットワークにNTPサーバがあれば，そちらを設定することも可能。

$ ncli cluster add-to-ntp-servers servers="ntp.nict.jp"

Code:



43

具体的なマルチノードクラスターの構成と設定4．構成されたclusterのVirtual IPアドレスを設定する(推奨)

マルチノードクラスターを構成し，実運用する場合は設定を推奨。Virtual IPもPRISMから後で設定することが可能。

上記は，クラスターを構成するノードが，192.168.100.101，111，121，131で，Virtual IPアドレスを192.168.100.200を設定した場合のコマンド例

$ ncli cluster set-external-ip-address external-ip-address="192.168.100.200"

Code:



44

具体的なマルチノードクラスターの構成と設定5．構成されたclusterのクラスター名を設定する(推奨)

複数のクラスターを運用する場合は設定を推奨。クラスター名称もPRISMから後で設定することが可能。

上記は，クラスターを構成するクラスター名称を”NutanixCE”とする場合の設定例。

$ ncli cluster edit-params new-name="NutanixCE"

Code:



45

具体的なマルチノードクラスターの構成と設定6．構成されたclusterのTimeZoneを設定する(推奨)

マルチノードクラスターを構成し，実運用する場合は設定を推奨。TimeZoneもPRISMから後で設定することが可能。

上記の例は，TimeZoneを”Asia/Tokyo”に設定した場合のコマンド例。デフォルトでは，Timezone : US/Pacificとなっている。

$ ncli cluster set-timezone time-zone="Asia/Tokyo"

Code:



46

マルチノードクラスターまとめマルチノードクラスターは，ヘテロなハードウェア構成でも

問題なく構成できる。

Nutanixでマルチノードクラスターを構成するために必要な手順は，基本的にシングルノードクラスターを構成する手順と同じ。

厳格な実運用が必要ないのであれば、手順1，2の2回コマンドを叩くだけでNutanix CEのマルチノードクラスターは構築可能。

クラスターの構成，設定に関するコマンドは，いずれかのノード上で実行すると自動的にすべてのノードに適用される。

コマンド作業が苦手な場合でも，1と2の手順以外は全てWebブラウザベースの管理コンソールであるPRISMから設定が可能。



47

02Nutanixのマルチノードクラスターと可用性・耐障害性にまつわるお話

Availability Mechanism



48

Majide Yabai desu


Kekkou yabai desu


Hontoni yabai desu


Soutou yabai desu


かよーせー



49

Nutanixにおける可用性(≒耐障害性)についてNutanixにおける可用性又は耐障害性について3つの例を紹介。

※厳密には耐障害性と可用性は異なりますが，ココで同列で扱っています

VMの可用性

VM Availability

2.VM1.Cluster

クラスターの耐障害性

Cluster Fault tolerance

データの耐障害性

Data Fault tolerance

3.DATA



50

Nutanixにおける可用性(≒耐障害性)が凄い！Nutanix CEにおいて，可用性又は耐障害性を確保するための機

能は無償で提供される。

特に難しい設定は必要なくマルチノードクラスターを構成した時点で，1．クラスターの耐障害性，2．VMの可用性，3．データの耐障害性を確保する機能が有効になる。




51

Nutanixにおける可用性(≒耐障害性)について1．Nutanixにおけるクラスターの耐障害性


1.Cluster

クラスターの耐障害性

Cluster Fault tolerance



52

クラスターの耐障害性について□4ノードクラスター構成時におけるノード障害及び除外について

4ノード以上を含むクラスターでノード障害発生した場合には，動的に障害ノードが除外されることでクラスターの健全性が回復する。

障害ノードが除外され，3ノードで動作するクラスターでは，クラスターの完全保護を可能とする規程のノード数3をクリアしているため，引き続きクラスターは保護される。



53

クラスターの耐障害性について□3ノードクラスター構成時におけるノード障害及び削除について

3ノードクラスターでノード障害発生した場合には，動的な障害ノードを削除は行われない。

ただしクラスターは，2つの正常なノードと1つの障害ノードをクラスター内に保持しながら，中断することなく運用し続けることは可能だが，正常なノードが2つしかないためクラスターの保護は完全ではない。



54

クラスターの耐障害性について□1ノードクラスター構成時におけるノード障害及び削除について

1ノード，つまりシングルノードクラスターは，クラスターと呼称するものの保護機能はまったく作用せず，シングルノードクラスター時におけるノードの障害は，システムそのものの停止となる。

シングルノードクラスター構成時におけるノード障害や削除は，クラスター全体の障害や削除と同義で，クラスターの機能やクラスターで保持してるデータが全て失われる。



55

Nutanixにおける可用性(≒耐障害性)について2．NutanixにおけるVMの可用性


VMの可用性

VM Availability

2.VM



56

VMの可用性についてVMの可用性は，「Acropolis HA」と「Migrate」の2つの要素で

構成される，

Nutanix CEのPublic Beta Programのce-2015.07.16-betaリリースで，Acropolis HAがTech Previewとして追加。

Acropolis HAは，ノード障害等で，そのノード上で動作していたVMが死んでしまった場合に，別のノードで自動起動する機能。

Nutanix CEのHypervisorであるAcropolisでは，HAだけでなく，ライブマイグレーションの機能も無償で提供される。

Acropolis HAとMigrateはマルチノードクラスターを構成した時点で利用可能で，特別な設定を必要としない。



57

VMの可用性(Acropolis HA)についてごめんなさい，実はためしてねーです＋調べてねーです。

Acropolis HAについては別の機会にまた…



58

VMの可用性(Migrate)についてNutanix CEのAcropolisにおけるライブマイグレーションは，自

動又は手動で実行が可能。

自動マイグレーション手動マイグレーション



59

VMの可用性(Migrate)の制約についてマイグレーション先のノードに搭載されるCPUの世代が一致して

いる必要がある。

※正確には，新しい世代のCPUから古い世代のCPUを搭載したノードへのマイグレーションができない

マイグレーション先のノードの使用可能メモリが，マイグレーション対象のVMのメモリより多い必要がある。

マイグレーション後，WindowsはAcropolisのQEMU-VNCもしくは，リモートデスクトップでの接続ができなくなる？

※こちらは，うちの環境依存かもしれません，誰が同じ症状が出ていて対処方法があったら教えて下さい



60

Nutanixにおける可用性(≒耐障害性)について3．Nutanixにおけるデータの耐障害性


データの耐障害性

Data Fault tolerance

3.DATA



61

データの耐障害性についてNutanixのマルチノードクラスターを触る際には，切っても切れ

ないRF，Nutanixにおけるデータの耐障害性についてですが…この辺はアカデミックな知識が必要っぽいので，そこはあまり触れずに，ほぼNutanix Bibleから写経しています。

もっと詳しく知りたい方は，以下のNutanix Bibleをご覧下さい。

日本語訳Nutanix Bible

http://nutanixbible.jpn.org/index.php?NutanixFrontPage

本家のNutanix Bible

http://stevenpoitras.com/the-nutanix-bible/



62

データの耐障害性についてデータの耐障害性を示す設定値をRF(Replication Factor又は

Resiliency Factor)と言う項目で設定。

RFは，クラスター内のノードが持つデータのコピーをいくつ持つか？の設定値。

RF2は，クラスター内で同じデータを2つ持ち，あるノードに接続されたクラスター内で共有されるPool及びContainerを構成するディスクが破損した場合でも，別のノードに接続されたディスクにコピーを持つので，ノードの1つがディスクごと壊れた場合やディスクの1つが壊れた場合において耐障害性を有する。



63

RF2におけるデータ書き込みの挙動あるノード上のCVMが管理する仮想マシンに対する書き込みが

あった場合，そのノード配下のストレージへの書き込みと同時に，別のノードのストレージへ書き込みを行う。

SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

データ



64



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier



65



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

データのコピー



66

障害発生時の挙動についてデータの耐障害性は，データのコピーとノード間通信又は

I/Oパスの切り換えによって実現される。

例えば，ディスクに問題が発生し，格納されたデータの正常性が失われた場合は，VMが動作しているローカルのCVMを通じて，別のノードのCVMにデータのコピーを取得を依頼するノード間通信を行う。



67

障害発生時の挙動についてディスクに問題が発生し，格納されたデータの正常性が失われ

た場合の挙動は，以下のとおり。

SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM

RFによるデータのコピー

通常，ローカルのCVM

を通じてローカルの

データにアクセスする



68



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM


ディスク

障害発生



69



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM


ローカルCVMを経由し，

リモートのCVMを通じ

てリモートのデータに

アクセスする



70



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM


RF2を維持するため，

新しいデータのコピー

が生成される



71

障害発生時の挙動についてデータの耐障害性は，データのコピーとノード間通信又は

I/Oパスの切り換えによって実現される。

例えば，ディスクとCVM両方に問題が発生し，VMが動作しているローカルCVMにアクセスできない場合は，I/Oパスが自動的に切り替わり，VMは別ノードのCVMを通じてデータのコピーを取得する。



72

障害発生時の挙動についてディスクとCVM両方に問題が発生し，VMが動作しているローカル

CVMにアクセスできない場合の挙動は，以下のとおり。

SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM


通常，ローカルのCVM

を通じてローカルの

データにアクセスする



73



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM


ディスク

障害発生

CVMも

障害発生



74



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM


直接リモートのCVMを

通じてリモートのデー

タにアクセスする



75



SSD

HDD HDD HDD

SSD

HDD HDD HDD

SSD

HDD HDD HDD

HOT Tier

COLD Tier

CVM CVM CVM



RF2を維持するため，

新しいデータのコピー

が生成される



76

データの耐障害性について(蛇足)ちなみに…データの耐障害性ではなく，クラスターのノード耐

障害性を示す設定値もRF(Redundancy Factor)と記載されているので少しややこしい。

データの耐障害性とクラスターのノード耐障害性は，別物ではあるが，密接に関係もしている(詳細は中の人が別の機会に教えてくれると思います！)

クラスターのノード耐障害性については，既に紹介したとおり。



77

可用性・耐障害性のまとめノード及びデータの耐障害性は，それぞれ別物だが密接な関係

がある。

ノード及びデータの耐障害性を確保するには，3ノード以上のマルチノードクラスターを構成する必要がある。

データの耐障害性は，データのコピーとノード間通信又はI/Oパスの切り換えによって実現される。

VMの可用性は，「Acropolis HA」と「Migrate」の2つの機能で成り立つ。これらの機能は無償で提供され，マルチノードクラスターを構成した時点で特別な設定を必要とせず利用可能。


Nitanixってストレージが売りのソリューションだよね？

ところでby the way…

78


NutanixのストレージI/Oが凄い！

79

NutanixのストレージI/Oについてデータの耐障害性から少し脱線してNutanixで必須要件のSSD，それからHDDの役割やストレージキャッシュの関係についてさらっと。

Nutanixでは，ストレージI/OをSSDとHDDに加えてMEMORYを使って処理する。

MEMORY

SSD

HDD

SSDSSD

HDD HDD HDD

HOT Tier

COLD Tier

MEMORY

MEMORY



80

NutanixのストレージI/O処理コンポーネントNutanixは，MEMORY，SSD，HDDの一部又はそれらをまたがった

「OpLog」，「Extent Store」，「Extent Cache(重複化排除無効時)/Content Cache(重複排除有効時)」の3つの領域を作成し，ストレージI/Oの処理を行う。

MEMORY

SSD

HDD

Content Cache

OpLog

Extent Store

HOT Tier

COLD Tier

SSDSSD

HDD HDD HDD

MEMORY

MEMORYExtent Cache



81

OpLog(書き込みバッファ領域)OpLogはライトバッファ。状況によりリードキャッシュにもなる。

MEMORY

SSD

HDD

OpLog

Rnd Write Read

HOT Tier

COLD Tier

SSDSSD

HDD HDD HDD

MEMORY

MEMORY

Extent Store

順次キャッシュから書き出し



82

OpLog(書き込みバッファ領域)OpLogは，Nutanixで必須要件となっているSSD上の領域を確保し

て作成される。

OpLogは，ランダム特性のあるデータの書き込み時にのみ利用され，シーケンシャル特性のあるデータの書き込み時には利用されない。

OpLogの最小容量は約100GB，又はNutanixがインストールされた領域，Cassandraが利用する領域，Extent/Content Cacheが利用する領域を除いた領域の30%が割り当てられる。

OpLogからExtent Storeに書き出される前にリードが発生すると，OpLogはリードキャッシュとして機能する。



83

Extent Store(永続的なデータ保存領域)Extent Storeは，永続的なデータ保存領域。データ書き込みが

直接又はOpLogから非同期でデータが書き出され保存される場所。

MEMORY

SSD

HDD

Content Cache

OpLog

Extent Store

Seq Write


HOT Tier

COLD Tier必要に応じて

読み出し

SSDSSD

HDD HDD HDD

MEMORY

MEMORYExtent Cache



84

Extent Store(永続的なデータ保存領域)Extent Storeは，SSDとHDDをまたがった領域を確保して作成される。

Extent Storeには，ランダム特性のあるOpLogに書き込まれたデータが，非同期でこの領域に書き出されるか，シーケンシャル特性のあるデータが直接書き込まれる。

Extent Storeは，Information Life Cycle Engine又はILMと呼ばれる機能によって，古いデータはCOLD TierであるHDDに，新しいデータはHOT TireであるSSDにそれぞれ動的に配置される。

HDDは，ほぼ全てExtent Storeの領域に利用され，Extent Storeが利用するSSDの領域は，Nutanixがインストールされた領域，Cassandraが利用する領域，OpLogが利用する領域を除いた領域。



85

Content Cache(リードキャッシュ領域)Content Cacheは重複排除機能を有効にした場合のリードキャッ

シュでキャッシュデータの重複排除も行う。

MEMORY

SSD

HDD

Content Cache

Extent Store

Read

HOT Tier


読み出し

SSDSSD

HDD HDD HDD

MEMORY

MEMORY



86

Content Cache(リードキャッシュ領域)Content Cacheは，重複排除機能が有効時に作成されるリード

キャッシュ領域。

Content Cacheは，MEMORYとSSDをまたがった領域を確保して作成される。

Content Cacheは，同じデータに対して，複数のVMからのアクセスがあった場合，データ重複排除した状態でキャッシュデータを保持する。

Content Cacheが利用する，SSDにおける領域は20GB。



87

Extent Cache(リードキャッシュ領域)Content Cacheは重複排除機能を無効にした場合のリードキャッ

シュ。

MEMORY

SSD

HDDExtent Store

Read

HOT Tier


読み出し

SSDSSD

HDD HDD HDD

MEMORY

MEMORYExtent Cache



88

Extent Cache(リードキャッシュ領域)Extent Cacheは，重複排除が無効時に作成されるリードキャッ

シュ領域。

Extent Cacheは，MEMORY領域のみを確保して作成される。

※なお，Extent Cacheは将来的にContent Cacheに統合されるとの情報もある



89

NutanixのストレージI/Oの凄いところ読み書き共にSSDとMEMORYのキャッシュを使って高速化。永続的な

データ保存領域でもILMがデータの利用状況に応じたSSDとHDDの階層化ストレージにおけるデータ配置管理を行い遅延の抑制を図る。

MEMORY

SSD

HDD

Content Cache

OpLog

Extent Store

Seq Write Rnd Write Read


HOT Tier


読み出し

SSDSSD

HDD HDD HDD

MEMORY

MEMORYExtent Cache



90

NutanixのストレージI/OのまとめNutanixのストレージI/Oは3つの領域「OpLog」「Extent

Store」「Extent Cache/Content Cache」で処理される。

3つの領域は，MEMORY，SSD，HDDをまたがって作成される。

ランダムライトは書き込みバッファのOpLog(SSD)へ。

シーケンシャルライトはExtent Store(SSD/HDD)へ。

リードはまずExtent Cache(MEMORY)またはContent Cache(MEMORY/SSD)から，キャッシュがなければExtent Storeから読み出し。

Extent StoreはILMによってHOTデータとCOLDデータの管理が行われ，HOTデータはSSDに，COLDデータはHDDに動的に配置される。



91

03Nutanix CEにおけるマルチノードクラスター構成のまとめ

Today’sSummary


でんきだい♡ せっちばしょかよーせー


92

Majide Yabai desu


Kekkou yabai desu


Hontoni yabai desu

Easy cluster configuration

Soutou yabai desu


くらすたー

ヤバい！ヤバい！凄い！凄い！

まとめ


Nutanix CE 入門編 -Multi Node 構成編-のまとめ

93

色があったけど一番覚えておいて欲しい点は2つ

• クラスターはコマンド1発の簡単構成

• 高機能な可用性や耐障害性が無償で提供

Nutanix CEのマルチノードクラスター構成の特徴を聞かれたら、これさえ覚えていれば問題ないと思います！(※あくまで個人的な意見です)


THANK YOUQUESTIONS?

@hanakara_milk

nutanix ce 入門 -multi node 構成編-

Technology