fujitsu storage eternus af, eternus dx 構築ガイド ......記述方法の詳細は、red hat...

FUJITSU StorageETERNUS AF, ETERNUS DX

構築ガイド（サーバ接続編）

ファイバチャネル/FCoE/iSCSI/SAS/Linux 用device-mapper multipath 設定

P3AM-3912-32Z0

このページは、空白です。

はじめに

本書は、ETERNUS AF/DX、ETERNUS VX710/VX740 仮想化環境向けストレージを、Linux またはOracle Linux が動作するサーバにファイバチャネル／FCoE／ iSCSI／SAS 接続し device-mappermultipath を使用して運用するために必要な作業について説明しています。

本書は、ETERNUS AF/DX、ETERNUS VX710/VX740 仮想化環境向けストレージ、サーバ、OS、ドライバソフトウェア、および使用するインターフェースカード（ファイバチャネルカード、iSCSI カード、SAS カード、FCoE カード）の説明書と併せてご使用ください。

なお、本書に記載している製品の商標、製品名などの表記については、『構築ガイド（サーバ接続編）表記について』を参照してください。OS がサポートするストレージシステムについては、ETERNUSAF/DX のサポート組み合わせ表を参照してください。

また、ETERNUS VX710/VX740 仮想化環境向けストレージを「VX700 series」と表記しています。

第 32 版

2019 年 10 月

本書の内容と構成

本書は以下に示す 4 章から構成されています。

•「第 1 章作業の流れ」(5 ページ)作業の流れについて説明しています。

•「第 2 章 Red Hat Enterprise Linux 8, Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, OracleLinux の場合」(6 ページ)サーバで使用している OS が RHEL7、RHEL6、または Oracle Linux の場合の、マルチパス環境の設定および設定後の確認事項について説明しています。

•「第 3 章 Red Hat Enterprise Linux 5 の場合」(12 ページ)サーバで使用している OS が RHEL5 の場合の、マルチパス環境の設定および設定後の確認事項について説明しています。

•「第 4 章 SUSE Linux Enterprise Server 11 以降の場合」(16 ページ)サーバで使用している OS が SLES15、SLES12、または SLES11 の場合の、マルチパス環境の設定および設定後の確認事項について説明しています。

3FUJITSU Storage ETERNUS AF, ETERNUS DX 構築ガイド（サーバ接続編）ファイバチャネル/FCoE/iSCSI/SAS/Linux 用

Copyright 2019 FUJITSU LIMITEDP3AM-3912-32Z0

目次

第 1 章作業の流れ 5

第 2 章 Red Hat Enterprise Linux 8, Red Hat Enterprise Linux 7, Red HatEnterprise Linux 6, Oracle Linux の場合 6

2.1 device-mapper multipath の設定 ............................................................................................62.1.1 事前準備 ..................................................................................................................................................... 6

2.1.2 /etc/multipath.conf の設定 .......................................................................................................................... 6

2.1.3 device-mapper multipath の有効化............................................................................................................. 9

2.1.4 Linux サーバの再起動............................................................................................................................... 10

2.2 device-mapper multipath の確認 ..........................................................................................112.2.1 device-mapper multipath 設定後のデバイス確認 ..................................................................................... 11

2.2.2 device-mapper multipath の状態確認 ....................................................................................................... 11

第 3 章 Red Hat Enterprise Linux 5 の場合 12

3.1 device-mapper multipath の設定 ..........................................................................................123.1.1 事前準備 ................................................................................................................................................... 12

3.1.2 /etc/multipath.conf の設定 ........................................................................................................................ 12

3.1.3 device-mapper multipath の有効化........................................................................................................... 14

3.1.4 Linux サーバの再起動............................................................................................................................... 14



第 4 章 SUSE Linux Enterprise Server 11 以降の場合 16

4.1 device-mapper multipath の設定 ..........................................................................................164.1.1 事前準備 ................................................................................................................................................... 16

4.1.2 /etc/multipath.conf の設定 ........................................................................................................................ 16

4.1.3 device-mapper multipath の有効化........................................................................................................... 18

4.1.4 Linux サーバの再起動............................................................................................................................... 19





第 1 章作業の流れ

device-mapper multipath を使用する場合の設定、および確認を行います。作業の流れは以下のとおりです。

作業の流れ

device-mapper multipath の設定

device-mapper multipath を設定します。

device-mapper multipath の確認

device-mapper multipath を設定後のデバイス確認を行います。

参照先一覧

本書は、使用する OS のベンダーやバージョン別に構成しています。使用する OS のベンダーやバージョンの章を参照してください。

使用する OS 参照先

Red Hat Enterprise Linux 8、Red Hat EnterpriseLinux 7、Red Hat Enterprise Linux 6、または OracleLinux

「第 2 章 Red Hat Enterprise Linux 8, Red Hat Enterprise Linux 7,Red Hat Enterprise Linux 6, Oracle Linux の場合」(6 ページ)

Red Hat Enterprise Linux 5 「第 3 章 Red Hat Enterprise Linux 5 の場合」(12 ページ)

SUSE Linux Enterprise Server 11 以降「第 4 章 SUSE Linux Enterprise Server 11 以降の場合」(16 ページ)



第 2 章Red Hat Enterprise Linux 8, Red Hat Enterprise Linux7, Red Hat Enterprise Linux 6, Oracle Linux の場合

サーバで使用している OS が RHEL8、RHEL7、RHEL6、または Oracle Linux の場合の、マルチパス環境の設定および設定後の確認事項について説明しています。

2.1 device-mapper multipath の設定

マルチパス環境にするための設定を行います。

2.1.1 事前準備

device-mapper multipath は RPM (Red Hat Package Manager)を使用します。

サポート組み合わせ表に RPM の版数が記載されていない場合は、OS に標準添付されている RPM を使用してください。

device-mapper-multipath パッケージがインストールされていることを確認してください。インストールされていない場合は、マルチパス設定を行う前に、インストールしてください。

2.1.2 /etc/multipath.conf の設定

device-mapper multipath の構成ファイルを以下のように設定します。

以下の手順でファイルを作成します。

1 mpathconf コマンドを実行します。

このコマンドを実行することにより、multipath デーモンがサービスに登録され、設定ファイル(/etc/multipath.conf)が作成されます。

# mpathconf --enable

上記コマンドで設定ファイルが作成されなかった場合は、/usr/share/doc/device-mapper-multipath-X.X.X/multipath.conf ファイルを、/etc ディレクトリにコピー後、再度"mpathconf --enable"コマンドを実行してください。

2 内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したいデバイス名を記述します。記述方法の詳細は、Red Hat 社の Web サイトを参照してください。また、Oracle Linux を使用している場合も、Red Hat 社の Web サイトを参照してください。

blacklist {}



3 以下の記述があることを確認します。

## Use user friendly names, instead of using WWIDs as names.defaults { user_friendly_names yes (*1) queue_without_daemon no (*2)# find_multipaths yes (*3)}

*1: "user_friendly_names"は、ミドルウェアやアプリケーションの必要に応じて、"no"と設定することも可能です。

*2: iSCSI 接続の場合は、"queue_without_daemon no"の行を追加してください。

*3: "find_multipaths yes"の記述があった場合には、先頭に"#"を記載してコメントアウトしてください。

"defaults"と"{"の間には半角スペースを入れてください。

4 ファイルの最後に以下を追加します。

• ETERNUS AF/DX の場合

（例 : ETERNUS DX60 S4 を接続する場合）

devices { device { vendor "FUJITSU" product "ETERNUS_DXL" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 0 (*1) path_checker tur dev_loss_tmo 2097151 (*2) fast_io_fail_tmo 1 } }

*1: FC 接続で Storage Cluster 機能を使用する場合、または ETERNUS AF series およびETERNUS DX S5/S4/S3 series で 10Gbit/s iSCSI 接続の場合は、"no_path_retry 10"と設定してください。

iSCSI 接続で Storage Cluster 機能を使用する場合は、"no_path_retry 20"と設定してください。

*2: Oracle Linux 5.6 UEK 以前または Oracle Linux 5.6 以前の場合は、"dev_loss_tmo"の行の追加は不要です。

第 2 章 Red Hat Enterprise Linux 8, Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合




- "devices"と"{"の間には半角スペースを入れてください。

- "device"と "{"の間には半角スペースを入れてください。

- Brocade 社製ファイバチャネルカードを使用している場合、"dev_loss_tmo"の設定値が正しく反映されません。そのため、電源障害で ETERNUS AF/DX の電源が切断されると、デバイスファイルがクリアされることがあります。この場合、サーバの再起動が必要になります。

- ETERNUS DX8100 S3 では Oracle Linux をサポートしていません。

"product"の設定値は、使用する装置によって異なります。

以下の表を確認して設定してください。

使用する装置 "product"設定値

ETERNUS AF150 S3/AF250 S3,ETERNUS AF250 S2,ETERNUS AF250,ETERNUS DX60 S5/DX100 S5/DX200 S5,ETERNUS DX60 S4/DX100 S4/DX200 S4,ETERNUS DX60 S3/DX100 S3/DX200 S3,ETERNUS DX60 S2/DX80 S2/DX90 S2,ETERNUS DX200F

ETERNUS_DXL

ETERNUS AF650 S3,ETERNUS AF650 S2,ETERNUS AF650,ETERNUS DX500 S5/DX600 S5,ETERNUS DX500 S4/DX600 S4,ETERNUS DX500 S3/DX600 S3

ETERNUS_DXM

ETERNUS DX900 S5,ETERNUS DX8900 S4,ETERNUS DX8100 S3/DX8700 S3/DX8900 S3

ETERNUS_DXH

ETERNUS DX400 S2 series ETERNUS_DX400


• VX700 series の場合

devices { device { vendor "FUJITSU" product "ETERNUS_VX700" path_grouping_policy multibus getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n" path_checker tur failback manual no_path_retry 120 }}






- "device"と"{"の間には半角スペースを入れてください。

- VX700 series では Oracle Linux をサポートしていません。

2.1.3 device-mapper multipath の有効化

device-mapper multipath を有効にします。

• Red Hat Enterprise Linux 8、Red Hat Enterprise Linux 7、Oracle Linux 7 の場合

以下のコマンドを実行します。

コマンド実行後に、multipathd が正常に起動完了することを確認してください。

# systemctl start multipathd.service

すでに multipathd が動作している場合は、reload を行ってください。

# systemctl reload multipathd.service

• Red Hat Enterprise Linux 6、Oracle Linux 6 の場合


コマンド実行後に、multipathd が正常に起動完了することを確認してください。

# service multipathd start

すでに multipathd が動作している場合は、reload を行ってください。

# service multipathd reload





2.1.4 Linux サーバの再起動

Linux サーバを再起動します。

実行例

# shutdown -r now

RHEL8.0 で、マルチパス化する LUN 数が多い場合、再起動中に以下のメッセージがコンソール画面に表示され、OS がエマージェンシーモードで起動することがあります。

Timed out waiting for device dev-mapper-rhel¥x2dhome.device.

その場合には、systemd が作成するデバイスユニットのタイムアウト値（デフォルトでは 90 秒）を延長することで回避できます。

以下にタイムアウト値（JobTimeoutUSec）を 600 秒に設定する例を示します。600 秒で不足する場合は、タイムアウト値を環境に合わせて変更してください。

1 以下の設定を行います。

# mkdir "/etc/systemd/system/dev-mapper-rhel¥x2dhome.device.d"# cat > "/etc/systemd/system/dev-mapper-rhel¥x2dhome.device.d/99-timeout.conf" <<EOF> [Unit]> JobTimeoutSec=600> EOF

# systemctl daemon-reload

2 設定値を確認します。

# systemctl --no-pager show -p JobTimeoutUSec "dev-mapper-rhel¥x2dhome.device"JobTimeoutUSec=10min#

3 Linux サーバを再起動します。





2.2 device-mapper multipath の確認

device-mapper multipath が有効になったあとの各種確認を行います。

2.2.1 device-mapper multipath 設定後のデバイス確認

device-mapper multipath によって作成されたデバイスファイルを確認します。

実行例

# ls -l /dev/mapper/total 0crw-rw----. 1 root root 10, 58 Apr 14 09:01 controllrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathh -> ../dm-1lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathi -> ../dm-0lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathj -> ../dm-5lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathk -> ../dm-6lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathl -> ../dm-3lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathm -> ../dm-2lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathn -> ../dm-4

2.2.2 device-mapper multipath の状態確認

"multipath -ll"コマンドによってパスの状態を確認します。サーバに割り当てたすべてのパス分のデバイスが正常状態で認識されていることを確認してください。

• マルチパス正常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合）

2 つのブロックデバイスでマルチパスが構成され、それぞれのパスの状態が"active ready"と表示されることを確認します。

# multipath -ll

mpathh (3600000e00d0000000001000000200000) dm-1 FUJITSU,ETERNUS_DXL

size=2.0G features='1 queue_if_no_path' hwhandler='0' wp=rw

|-+- policy='round-robin 0' prio=50 status=active

| `- 1:0:0:0 sdb 8:16 active ready running

`-+- policy='round-robin 0' prio=10 status=enabled

`- 2:0:0:0 sdi 8:128 active ready running

2

2

"active ready"

• マルチパス（"2:0:0:X"側）の異常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合）

# multipath -ll

mpathh (3600000e00d0000000001000000200000) dm-1 FUJITSU,ETERNUS_DXL

size=2.0G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=50 status=active

`- 1:0:0:0 sdb 8:16 active ready running

OS





第 3 章Red Hat Enterprise Linux 5 の場合

サーバで使用している OS が RHEL5 の場合の、マルチパス環境の設定および設定後の確認事項について説明しています。



3.1.1 事前準備






1 以下の 3 行をコメントアウトします。

# blacklist {# devnode "*"# }

内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したいデバイス名を記述してください。記述方法の詳細は、Red Hat 社の Web サイトを参照してください。

2 以下の記述があることを確認します。

## Use user friendly names, instead of using WWIDs as names.defaults { user_friendly_names yes}



"defaults"と"{"の間には半角スペースを入れてください。

3 ファイルの最後に以下を追加します。

• ETERNUS AF/DX の場合

（例 : ETERNUS DX60 S4 の場合）

devices { device { vendor "FUJITSU" product "ETERNUS_DXL" prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur } }







ETERNUS_DXL


ETERNUS_DXM

ETERNUS DX900 S5,ETERNUS DX8900 S4,ETERNUS DX8100 S3/DX8700 S3/DX8900 S3

ETERNUS_DXH



第 3 章 Red Hat Enterprise Linux 5 の場合




• VX700 series の場合

devices { device { vendor "FUJITSU" product "ETERNUS_VX700" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" path_checker tur failback manual no_path_retry 120 }}






# multipath -v 1 # chkconfig --add multipathd # chkconfig multipathd on # multipath # /etc/init.d/multipathd start



実行例

# shutdown -r now









実行例

# cd /dev/mapper# ls -lcrw------- 1 root root 10, 63 Oct 17 17:41 controlbrw-rw---- 1 root disk 253, 0 Oct 17 17:41 mpath0brw-rw---- 1 root disk 253, 1 Oct 17 17:41 mpath1brw-rw---- 1 root disk 253, 10 Oct 17 17:41 mpath10brw-rw---- 1 root disk 253, 99 Oct 17 17:41 mpath100 :brw-rw---- 1 root disk 253, 245 Oct 17 17:41 mpath246brw-rw---- 1 root disk 253, 246 Oct 17 17:41 mpath247brw-rw---- 1 root disk 253, 247 Oct 17 17:41 mpath248brw-rw---- 1 root disk 253, 248 Oct 17 17:41 mpath249



• マルチパス正常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合）


# multipath -ll

mpath2 (3600000e00d00000000000f7e00010000) dm-1 FUJITSU,ETERNUS_DXL

[size=10G][features=1 queue_if_no_path][hwhandler=0][rw]

¥_ round-robin 0 [prio=50][active]

¥_ 4:0:0:1 sde 8:64 [active][ready]

¥_ round-robin 0 [prio=10][enabled]

¥_ 3:0:0:1 sdc 8:32 [active][ready]

:

:

"[active] [ready]"

2

2

• マルチパス（"3:0:0:X"側）の異常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合）

# multipath -ll

mpath2 (3600000e00d00000000000f7e00010000) dm-1 FUJITSU,ETERNUS_DXL

[size=10G][features=1 queue_if_no_path][hwhandler=0][rw]

¥_ round-robin 0 [prio=50][active]

¥_ 4:0:0:1 sde 8:64 [active][ready]

¥_ round-robin 0 [prio=0][enabled]

¥_ 3:0:0:1 sdc 8:32 [failed][faulty]

:

: "[failed][faulty]"





第 4 章SUSE Linux Enterprise Server 11 以降の場合

サーバで使用している OS が SLES15、SLES12、または SLES11 の場合の、マルチパス環境の設定および設定後の確認事項について説明しています。



4.1.1 事前準備






1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic"をコピーし、ファイルを作成します。

# cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf

"/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic"が存在しない場合は、手順. 2 に従い、/etc/multipath.conf ファイルを作成してください。

2 以下の内容をファイルに追加します。

"defaults"の最後に以下の内容を追加します。

defaults { user_friendly_names yes }



"devices"の最後に以下の内容を追加します。

（例：ETERNUS DX410 S2 の場合）

devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 0 (*1) path_checker tur dev_loss_tmo 2147483 fast_io_fail_tmo 1 retain_attached_hw_handler "no" detect_prio "no" } }

*1: FC 接続で Storage Cluster 機能を使用する場合は、"no_path_retry 10"と設定してください。

iSCSI 接続で Storage Cluster 機能を使用する場合は、"no_path_retry 20"と設定してください。

• "defaults"と"{"の間には半角スペースを入れてください。

• "devices"と "{"の間には半角スペースを入れてください。

• "device"と"{"の間には半角スペースを入れてください。

• Brocade 社製ファイバチャネルカードを使用している場合、"dev_loss_tmo"の設定値が正しく反映されません。そのため、電源障害で ETERNUS AF/DX の電源が切断されると、デバイスファイルがクリアされることがあります。この場合、サーバの再起動が必要になります。





ETERNUS_DXL


ETERNUS_DXM

第 4 章 SUSE Linux Enterprise Server 11 以降の場合





ETERNUS DX900 S5,ETERNUS DX8900 S4,ETERNUS DX8700 S3/DX8900 S3

ETERNUS_DXH



内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したいデバイス名を記述してください。記述方法の詳細は、Novell 社の Web サイトを参照してください。

• SLES12 以降の場合は、内蔵ディスクをマルチパス構成から外したいデバイスとして、必ず"blacklist"にデバイス名を記述してください。

• SLES11 SP2 の場合は設定内容を有効にするため、以下のパッチ（またはそれ以上の新しいパッチ）を適用する必要があります。xxx はアーキテクチャー名（x86 など）を示します。

- kpartx-0.4.9-0.66.1.xxx.rpm

- multipath-tools-0.4.9-0.66.1.xxx.rpm



• SUSE Linux Enterprise Server 12 以降の場合

1 初期 RAM ディスクを作成します。

使用しているカーネルに合わせて、初期 RAM ディスクのイメージファイルを作成します。作成方法は、ファイバチャネルカードのマニュアルを参照してください。

2 以下のコマンドを実行します。

# systemctl enable multipathd.service# systemctl start multipathd.service

• SUSE Linux Enterprise Server 11 の場合


# insserv boot.multipath multipathd# chkconfig multipathd on# chkconfig boot.multipath on# /etc/init.d/boot.multipath start# /etc/init.d/multipathd start







実行例

# shutdown -r now

SLES15 の場合、マルチパス化後の再起動で OS が起動しないことがあります。その場合には、初期 RAM ディスクの作成を再実行してください。





実行例

# cd /dev/mapper# ls -ltotal 0lrwxrwxrwx 1 root root 16 Apr 2 00:44 control -> ../device-mapperbrw------- 1 root root 253, 0 Apr 2 00:44 mpathabrw------- 1 root root 253, 1 Apr 2 00:44 mpathbbrw------- 1 root root 253, 2 Apr 2 00:44 mpathcbrw------- 1 root root 253, 3 Apr 2 00:44 mpathd :brw------- 1 root root 253, 23 Apr 2 00:44 mpathubrw------- 1 root root 253, 24 Apr 2 00:44 mpathvbrw------- 1 root root 253, 25 Apr 2 00:44 mpathwbrw------- 1 root root 253, 26 Apr 2 00:44 mpathx







• マルチパス正常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合）


# multipath -ll

mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DX400

size=10G features='1 queue_if_no_path' hwhandler='0' wp=rw


|- 3:0:0:1 sdc 8:32 active ready running

`- 4:0:0:1 sde 8:64 active ready running

:

:

2

2

"active ready"

• マルチパス（"3:0:0:X"側）の異常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合）

# multipath -ll

mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DX400



`- 4:0:0:1 sde 8:64 active ready running

:

: OS

ストレージクラスタ使用時に、ストレージシステム装置がフェイルオーバすると、"multipath -ll"でパスごとに以下のメッセージが表示される場合がありますが、ストレージシステム装置の動作には問題ありません。以下のメッセージは無視してください。

# multipath -ll

Jul 27 13:58:34 | sdn: couldn't get asymmetric access state

Jul 27 13:58:34 | sdc: couldn't get asymmetric access state

mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DXM


|-+- policy='round-robin 0' prio=-1 status=active

| `- 6:0:0:1 sdn 8:208 active ready running

`-+- policy='round-robin 0' prio=-1 status=enabled

`- 1:0:0:1 sdc 8:32 active ready running

2

"couldn't get asymmetric access state"2





FUJITSU Storage ETERNUS AF, ETERNUS DX 構築ガイド（サーバ接続編）

ファイバチャネル/FCoE/iSCSI/SAS/Linux 用device-mapper multipath 設定

P3AM-3912-32Z0

発行日: 2019 年 10 月発行責任: 富士通株式会社

• 本書の内容は、改善のため事前連絡なしに変更することがあります。

• 本書の内容は、細心の注意を払って制作致しましたが、本書中の誤字、情報の抜け、本書情報の使用に起因する運用結果に関しましては、責任を負いかねますので予めご了承願います。

• 本書に記載されたデータの使用に起因する第三者の特許権およびその他の権利の侵害については、当社はその責を負いません。

• 無断転載を禁じます。

fujitsu storage eternus af, eternus dx 構築ガイド ......記述方法の詳細は、red hat...

Documents