ibm total storage ds6000 series performance monitoring and tuning
TRANSCRIPT
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
1/535ibm.com/redbooks
Front cover
IBM TotalStorage DS6000
Series: PerformanceMonitoring and Tuning
Cathy Warrick
Craig Gordon
Benoit Granier
Keitaro Imai
Rosemary McCutchen
Brannen Proc
Jim Sedgw
Paulus Uso
Mary Ann Vanderm
John Wick
Understand the performance aspectsof the DS6000 architecture
Configure the DS6000 to fully
exploit its capabilities
Use planning and monitoring
tools with the DS6000
http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/ -
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
2/535
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
3/535
International Technical Support Organization
IBM TotalStorage DS6000 Series: PerformanceMonitoring and Tuning
December 2005
SG24-7145-00
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
4/535
Copyright International Business Machines Corporation 2005. All rights reserved.
Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP Schedule
Contract with IBM Corp.
First Edition (December 2005)
This edition applies to the IBM TotalStorage DS6000 and its capabilities as of August 2005.
Note: Before using this information and the product it supports, read the information in Notices on
page xvii.
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
5/535
Copyright IBM Corp. 2005. All rights reserved.iii
Contents
Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xviii
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix
The team that wrote this redbook. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix
Become a published author . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
Comments welcome. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
Chapter 1. Model characteristics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Benefits of the DS6000 series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 Infrastructure Simplification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 Business Continuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3 Information Life Cycle Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Hardware overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 DS6800 controller enclosure (Model 1750-511) . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 DS6000 expansion enclosure (Model 1750-EX1) . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Functional overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 Storage capacity: RAID 5 and RAID 10 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.2 Resiliency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.3 Copy Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 DS management tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.1 IBM TotalStorage DS Storage Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.2 IBM TotalStorage DS Open API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.3 IBM TotalStorage DS Command Line Interface (CLI). . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Supported environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.6 Performance overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6.1 Sequential Prefetching in Adaptive Replacement Cache (SARC) . . . . . . . . . . . . 10
1.6.2 Performance for zSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6.3 IBM TotalStorage Multi-path Subsystem Device Driver (SDD). . . . . . . . . . . . . . . 11
1.6.4 Command Tag Queuing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.7 IBM TotalStorage DS family comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.7.1 DS6000 series compared to ESS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.7.2 DS6000 series compared to DS8000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.7.3 DS6000 series compared to DS4000 series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.8 IBM DS6000 combined with virtualization products . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8.1 IBM SAN Volume Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8.2 IBM SAN File System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Chapter 2. Hardware configuration planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.1 Rules of thumb and benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2 Understanding your workload characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 DS6000 major hardware components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4 DS6000 server processor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5 Cache and persistent memory (formerly NVS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.1 Cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.2 Persistent memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5.3 Cache algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
6/535
iv IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning
2.5.4 Cache size consideration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.6 DS6000 disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6.1 DS6000 disk capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6.2 Disk four-packs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6.3 Disk four-pack capacity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6.4 Disk four-pack intermixing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.6.5 Disk conversions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.7 Choosing the DS6000 disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7.1 Disk capacity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7.2 Disk Magic examples using 146 GB and 300 GB disk drives. . . . . . . . . . . . . . . . 30
2.7.3 Disk speed (RPM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.7.4 Disk Magic examples using 15K rpm and 10K rpm disk drives . . . . . . . . . . . . . . 32
2.8 RAID implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.8.1 RAID Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.8.2 RAID 5 array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.8.3 RAID 10 array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.8.4 Combination of RAID 5 and RAID 10 arrays. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.8.5 RAID 5 versus RAID 10 performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.9 SBOD (Switched Bunch of Disks) connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.9.1 Standard storage subsystem FC-AL problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.9.2 Switched FC-AL advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.9.3 DS6000 switched FC-AL implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.10 Host adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.10.1 Host adapter configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.10.2 FCP attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.10.3 FICON attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.10.4 Preferred Path. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.11 Tools to aid in hardware planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.11.1 Whitepapers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.11.2 Disk Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.11.3 Capacity Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Chapter 3. Logical configuration planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.1 Principles for performance optimization: balance, isolation and spread . . . . . . . . . . . . 54
3.1.1 Isolation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.1.2 Resource sharing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1.3 Spreading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1.4 Using isolation, resource-sharing and spreading to optimize the DS6000
performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2 Isolation requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2.1 Review the application workload characteristics to determine the isolation
requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3 Plan assignment of DS6000 hardware resources to workloads . . . . . . . . . . . . . . . . . . 58
3.3.1 Plan DS6000 hardware resources for isolated workloads . . . . . . . . . . . . . . . . . . 583.3.2 Plan DS6000 hardware resources for resource-sharing workloads . . . . . . . . . . . 58
3.3.3 Spread volumes and host connections across available hardware . . . . . . . . . . . 59
3.4 Logical configuration - components and terminology . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.5 Configuring for performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5.1 Mixing drive geometries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.5.2 Mixing open and zSeries logical disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5.3 Arrays and Array Sites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5.4 Select a Rank format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.5.5 Extent Pool implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
7/535
Contentsv
3.5.6 Number of Ranks in an Extent Pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.5.7 LSS design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.5.8 Preferred paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.6 Performance and sizing considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.6.1 Workload characteristics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.6.2 Data placement in the DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.6.3 Open systems LVM striping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753.7 .Performance and sizing considerations for z/OS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.7.1 Performance potential in z/OS environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.8 Logical disks - number and size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.9 Logical disk sizes - general considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.9.1 Future requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.9.2 Maximum number of devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.10 Configuring I/O ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.10.1 Multiple host attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Chapter 4. Planning and monitoring tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854.1 Disk Magic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.1 Overview and characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.2 Output information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.1.3 Disk Magic modeling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.1.4 Disk Magic for zSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.1.5 Disk Magic for open systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.1.6 Workload growth projection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.1.7 Input data needed for DIsk Magic study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.2 Capacity Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2.1 Overview and features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2.2 Wizard. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.2.3 Graphical interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.2.4 Reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.2.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.3 IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1094.3.1 IBM TotalStorage Productivity Center. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.3.2 IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.3.3 Operation characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.3.4 Using IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . 117
4.3.5 Exploiting gauges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.3.6 Interpreting the DS6000 performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.3.7 Performance gauge - considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.3.8 IBM TotalStorage Productivity Center for Disk and other tools. . . . . . . . . . . . . . 134
4.3.9 IBM TotalStorage Productivity Center for Disk in mixed environment . . . . . . . . 137
4.4 SAN statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.5 Monitoring performance through a SAN switch or director . . . . . . . . . . . . . . . . . . . . . 138
Chapter 5. Host attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1435.1 DS6000 host attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.1.1 Attaching to open systems hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.1.2 FICON-attached S/390 and zSeries hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.1.3 Example of host attachments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.2 Multipathing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.3 FICON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.4 Fibre Channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.4.1 Supported Fibre Channel attached hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
8/535
vi IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning
5.4.2 Fibre Channel topologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.5 SAN implementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.5.1 Description and characteristics of a SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.5.2 Benefits of a SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.5.3 SAN cabling for availability and performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.5.4 Importance of establishing zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.5.5 LUN masking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1545.5.6 Configuring logical disks in a SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
5.6 Subsystem Device Driver (SDD) - multipathing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.6.1 SDD load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5.6.2 Concurrent LMC load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.6.3 Single path mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.6.4 Single FC adapter with multiple paths. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
5.6.5 Path failover and online recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.6.6 Using SDDPCM on an AIX host system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.6.7 SDD datapath command. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Chapter 6. IBM TotalStorage SAN Volume Controller attachment . . . . . . . . . . . . . . . 1676.1 IBM TotalStorage SAN Volume Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.1.1 IBM TotalStorage SAN Volume Controller concepts. . . . . . . . . . . . . . . . . . . . . . 168
6.1.2 SAN Volume Controller multipathing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.1.3 Copy Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
6.1.4 SAN Volume Controller performance considerations . . . . . . . . . . . . . . . . . . . . . 174
6.2 DS6000 performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
6.2.1 DS6000 Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
6.2.2 DS6000 Rank format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
6.2.3 DS6000 Extent Pool implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.2.4 DS6000 volumes consideration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6.2.5 Volume assignment to SAN Volume Controller cluster. . . . . . . . . . . . . . . . . . . . 181
6.2.6 Number of paths to attach the DS6000 to SAN Volume Controller. . . . . . . . . . . 181
6.3 Performance monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
6.3.1 IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . . . . . . 1826.3.2 Using IBM TotalStorage Productivity Center for Disk to monitor the SAN Volume
Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.4 Sharing the DS6000 between a host and the IBM SAN Volume Controller . . . . . . . . 185
6.4.1 Sharing the DS6000 between open systems server hosts and the IBM SAN Volume
Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.4.2 Sharing the DS6000 between iSeries host and the IBM SAN Volume Controller 185
6.4.3 Sharing the DS6000 between zSeries server host and the IBM SAN Volume
Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.5 Advanced functions for the DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
6.6 Volume creation and deletion on the DS6000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
6.7 Configuration guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Chapter 7. Open systems servers - UNIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1897.1 UNIX performance monitoring and tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.2 Planning and preparing UNIX servers for performance . . . . . . . . . . . . . . . . . . . . . . . 191
7.2.1 I/O balanced across Extent Pools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
7.2.2 DS6000 LUN size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.2.3 Document the LUN assignments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
7.2.4 Multipathing considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
7.2.5 System and adapter code level. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.3 Common UNIX performance monitoring tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
9/535
Contentsvii
7.3.1 iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
7.3.2 SAR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
7.3.3 vmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
7.4 AIX-specific I/O monitoring commands and tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
7.4.1 topas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
7.4.2 nmon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7.4.3 filemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2127.4.4 lvmstat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
7.5 HP-UX specific I/O monitoring commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
7.6 SDD commands for AIX, HP-UX, and Solaris . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
7.6.1 HP-UX SDD commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
7.6.2 Sun Solaris SDD commands. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
7.7 Testing and verifying DS6000 storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.7.1 Using the dd command to test sequential Rank reads and writes . . . . . . . . . . . 227
7.7.2 Verifying your system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.8 Volume groups, logical volumes and file systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.8.1 Creating the volume group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.8.2 Creating a logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
7.8.3 Creating the file system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2507.9 Operating system tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
7.9.1 AIX operating system tuning (JFS and JFS2). . . . . . . . . . . . . . . . . . . . . . . . . . . 251
7.9.2 HP-UX OS tuning for sequential I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
7.9.3 Sun Solaris OS tuning for sequential I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Chapter 8. Open system servers - Linux for xSeries . . . . . . . . . . . . . . . . . . . . . . . . . . 261
8.1 Supported Linux distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.2 Introduction to Linux OS components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.2.1 Understanding and tuning virtual memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.2.2 Understanding and tuning the swap partition . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.2.3 Understanding and tuning the daemons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
8.2.4 Compiling the kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.2.5 Changing kernel parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2718.2.6 Kernel parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
8.2.7 Understanding and tuning the file systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.2.8 Tuning TCP window size. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.3 Linux monitoring tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
8.3.1 uptime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
8.3.2 dmesg . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
8.3.3 top . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
8.3.4 iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
8.3.5 vmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
8.3.6 sar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
8.3.7 isag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
8.3.8 GKrellM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2948.3.9 KDE System Guard. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
8.4 Host bus adapter (HBA) settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
8.5 Logical Volume Manager for Linux (LVM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
8.5.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
8.5.2 Performance management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
8.6 Bonnie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
8.6.1 Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
8.6.2 Downloading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
8.7 Bonnie++. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
10/535
viii IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning
8.8 Disk bottlenecks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
8.9 Other performance resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
Chapter 9. Open system servers - Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3059.1 Host system performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
9.2 Tuning Windows 2000 and Server 2003 systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
9.2.1 Foreground and background priorities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3079.2.2 Virtual memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
9.2.3 File system cache tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
9.2.4 Disabling unnecessary services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
9.2.5 Process priority levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
9.2.6 Process affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
9.2.7 Assigning interrupt affinity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
9.2.8 The /3GB BOOT.INI parameter. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
9.2.9 Using PAE and AWE to access memory above 4 GB . . . . . . . . . . . . . . . . . . . . 324
9.3 File system overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
9.3.1 NTFS overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
9.3.2 Disabling short file name generation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
9.3.3 Disable NTFS last access updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
9.3.4 Added functionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
9.3.5 Removing limitations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
9.3.6 NTFS and FAT performance and recoverability considerations . . . . . . . . . . . . . 329
9.3.7 Do not use NTFS file compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
9.3.8 Monitor drive space utilization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
9.4 Windows registry options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
9.4.1 Disable kernel paging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
9.4.2 Optimize the paged pool size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
9.4.3 Increase memory available for I/O locking operations . . . . . . . . . . . . . . . . . . . . 332
9.4.4 Improve memory utilization of file system cache. . . . . . . . . . . . . . . . . . . . . . . . . 333
9.5 Host bus adapter (HBA) settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
9.6 Tools for Windows Server 2003 and Windows 2000 . . . . . . . . . . . . . . . . . . . . . . . . . 334
9.6.1 Windows Performance console. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3349.6.2 System Monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
9.6.3 Key objects and counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
9.6.4 Performance console output information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
9.6.5 Performance Logs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
9.6.6 Monitoring disk counters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
9.6.7 Disk bottlenecks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
9.6.8 How to monitor, collect and view performance reports . . . . . . . . . . . . . . . . . . . . 343
9.7 Task Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
9.7.1 Starting Task Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
9.8 Other Windows tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
9.9 Iometer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
9.10 General considerations for Windows servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3559.11 Subsystem Device Driver (SDD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
Chapter 10. zSeries servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35710.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
10.2 Parallel Access Volumes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
10.2.1 Static and dynamic PAVs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
10.2.2 PAV and large volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
10.3 Multiple Allegiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
10.4 How PAV and Multiple Allegiance work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
11/535
Contentsix
10.4.1 Concurrent read operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
10.4.2 Concurrent write operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
10.5 I/O priority queuing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
10.6 Logical volume sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
10.6.1 Selecting the volume size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
10.6.2 Larger versus smaller volumes performance . . . . . . . . . . . . . . . . . . . . . . . . . . 364
10.6.3 Planning the volume sizes of your configuration. . . . . . . . . . . . . . . . . . . . . . . . 36610.7 FICON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
10.7.1 MIDAWs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
10.8 z/OS planning and configuration guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
10.8.1 Channel configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
10.8.2 Extent Pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
10.8.3 Considerations for mixed workloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
10.9 DS6000 performance monitoring tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
10.9.1 RMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
10.9.2 Analyze the response time components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
10.9.3 Analyze I/O queuing activity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
10.9.4 Analyze FICON statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
10.9.5 Analyze cache statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37510.9.6 Analyze Rank statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
10.9.7 Analyze DS6000 port statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
10.9.8 RMF Magic for Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
Chapter 11. iSeries servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
11.1 iSeries architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
11.1.1 Single level storage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
11.1.2 Expert Cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
11.1.3 Independent auxiliary storage pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
11.1.4 Internal versus external storage on iSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
11.2 DS6000 attachment to iSeries server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
11.2.1 Fibre Channel adapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
11.2.2 DS6000 disk drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39011.2.3 iSeries LUNs on the DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
11.2.4 LUN size and performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
11.2.5 iSeries and DS6000 configuration planning . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
11.2.6 Protected and unprotected volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
11.2.7 Changing LUN protection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
11.3 Multipath . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
11.3.1 Multipath compared to mirroring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
11.3.2 Multipath rules for multiple iSeries systems or partitions . . . . . . . . . . . . . . . . . 394
11.3.3 Changing from single path to multipath. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
11.4 iSeries performance and monitoring tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
11.4.1 Rules of thumb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
11.4.2 iSeries tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39511.4.3 Collection Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
11.4.4 iSeries Navigator monitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
11.4.5 IBM Performance Management for iSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
11.4.6 Performance Tools for iSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
11.4.7 Performance Explorer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
11.4.8 iDoctor for iSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
11.4.9 Workload Estimator for iSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
11.4.10 PATROL for iSeries (AS/400) - Predict. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
11.4.11 Sizing a DS6000 on iSeries using Disk Magic . . . . . . . . . . . . . . . . . . . . . . . . 403
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
12/535
x IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning
11.5 Additional information about iSeries performance . . . . . . . . . . . . . . . . . . . . . . . . . . 405
11.5.1 Publications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
11.5.2 Web sites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
Chapter 12. Understanding your workload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
12.1 General workload types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
12.1.1 Standard workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40812.1.2 Read intensive cache unfriendly workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
12.1.3 Sequential workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
12.1.4 Batch jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
12.1.5 Sort jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
12.2 Database workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
12.2.1 DB2 query . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
12.2.2 DB2 logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
12.2.3 DB2 transaction environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
12.2.4 DB2 utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
12.3 Application workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
12.3.1 General file serving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
12.3.2 Online transaction processing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
12.3.3 Data mining. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
12.3.4 Video on demand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
12.3.5 Data warehousing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
12.3.6 Engineering and scientific applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
12.3.7 Digital video editing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
12.4 How to understand your workload type. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
12.4.1 Monitoring the DS6000 workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
12.4.2 Monitor host workload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
Chapter 13. Databases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41513.1 DB2 in a z/OS environment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
13.1.1 Understanding your database workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
13.1.2 DB2 overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41713.1.3 DB2 storage objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
13.1.4 DB2 dataset types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
13.2 DS6000 considerations for DB2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
13.3 DB2 with the DS6000: Performance recommendations . . . . . . . . . . . . . . . . . . . . . . 419
13.3.1 Know where your data resides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
13.3.2 Balance workload across DS6000 resources . . . . . . . . . . . . . . . . . . . . . . . . . . 420
13.3.3 Take advantage of VSAM data striping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
13.3.4 Large volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
13.3.5 MIDAWs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
13.3.6 Monitoring the DS6000 performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
13.4 DS6000 DB2 UDB - open systems environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
13.4.1 DB2 UDB storage concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42113.5 DB2 UDB with DS6000: Performance recommendations . . . . . . . . . . . . . . . . . . . . . 427
13.5.1 Know where your data resides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
13.5.2 Balance workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
13.5.3 Use DB2 to stripe across containers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
13.5.4 Selecting DB2 logical sizes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
13.5.5 Selecting the DS6000 logical disk sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
13.5.6 Multi-pathing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
13.6 IMS in a z/OS environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
13.6.1 IMS overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
13/535
Contentsxi
13.6.2 IMS logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
13.7 DS6000 considerations for IMS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
13.8 IMS with the DS6000: Performance recommendations . . . . . . . . . . . . . . . . . . . . . . 434
13.8.1 Know where your data resides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
13.8.2 Balance workload across DS6000 resources . . . . . . . . . . . . . . . . . . . . . . . . . . 434
13.8.3 Large volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
13.8.4 Monitoring the DS6000 performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
Chapter 14. Copy Services for the DS6000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43714.1 Copy Services introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
14.2 IBM TotalStorage FlashCopy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
14.2.1 FlashCopy objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
14.2.2 Performance considerations with FlashCopy . . . . . . . . . . . . . . . . . . . . . . . . . . 441
14.2.3 Planning for FlashCopy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
14.3 IBM TotalStorage Metro Mirror (Synchronous PPRC) . . . . . . . . . . . . . . . . . . . . . . . 443
14.3.1 Metro Mirror options:. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
14.3.2 Metro Mirror interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
14.3.3 Metro Mirror configuration considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
14.3.4 Metro Mirror performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
14.4 IBM TotalStorage Global Copy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451
14.4.1 Global Copy state change logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
14.4.2 Configuration guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
14.4.3 DS6000 I/O ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
14.4.4 Global Copy connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
14.4.5 Distance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
14.4.6 Other planning considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
14.4.7 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
14.4.8 Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
14.4.9 Addition of capacity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
14.5 IBM TotalStorage Global Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
14.5.1 Performance aspects for Global Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460
14.5.2 Performance considerations at coordination time. . . . . . . . . . . . . . . . . . . . . . . 46214.5.3 Consistency Group drain time. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
14.5.4 Avoid unbalanced configurations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
14.5.5 Remote storage server configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
14.5.6 Growth within Global Mirror configurations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
14.5.7 Global Mirror performance recommendations. . . . . . . . . . . . . . . . . . . . . . . . . . 467
14.6 IBM TotalStorage z/OS Metro/Global Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
14.7 Copy Services performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
14.8 Measuring Copy Services performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
14.9 z/OS and Copy Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
14.9.1 RMF and Copy Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
14.10 Copy Services performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
14.11 DS CLI metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47214.11.1 Managing performance with DS CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
Appendix A. Benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475Goals of benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
Requirements for a benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
Define the benchmark architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
Define the benchmark workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
Monitoring the performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
Define the benchmark time frame. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
14/535
xii IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning
Caution using benchmark results to design production . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
Appendix B. UNIX shell scripts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
vgmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
lvmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483
vpath_iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484ds_iostat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
test_disk_speeds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491
Related publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
Other publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
Online resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
How to get IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
Help from IBM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
15/535
Copyright IBM Corp. 2005. All rights reserved.xiii
Figures
1-1 DS6000 Series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1-2 IBM TotalStorage DS6000 and ESS comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . 121-3 IBM TotalStorage DS6000 series and DS8000 series comparison . . . . . . . . . . . . . . 13
1-4 IB M TotalStorage DS6000 series and DS4800 comparison. . . . . . . . . . . . . . . . . . . 14
2-1 Planning the DS6000 hardware configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2-2 DS6000 architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2-3 Persistent memory. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2-4 Cache lists of the SARC algorithm for random and sequential data . . . . . . . . . . . . . 24
2-5 IO Response Time (under 3500 IOPS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2-6 IO response time (over 3500 IOPS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2-7 DS6000 Arrays - physical and effective capacities . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2-8 Open OLTP workload on 146 GB and 300 GB configuration . . . . . . . . . . . . . . . . . . 30
2-9 Open read intensive workload on 146 GB and 300 GB configuration . . . . . . . . . . . . 31
2-10 OLTP workload - 15K rpm versus 10K rpm disk drives . . . . . . . . . . . . . . . . . . . . . . . 32
2-11 Read intensive - 15K rpm versus 10K rpm drives . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2-12 Example of Array Site configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2-13 RAID 5 Array implementation 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2-14 RAID 5 Array implementation 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2-15 RAID 5 array implementation 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2-16 RAID 10 Array implementation 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2-17 RAID 10 Array implementation 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2-18 RAID 10 Array implementation 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2-19 RAID 5 and RAID 10 in the same loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2-20 SBOD FC-AL structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2-21 Server enclosure and expansion enclosure connection . . . . . . . . . . . . . . . . . . . . . . 43
2-22 Host port architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2-23 Comparison of host adapter performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442-24 Fibre Channel/FICON host adapters - FCP attachment . . . . . . . . . . . . . . . . . . . . . . 46
2-25 Performance Enhancement of FICON Express2. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2-26 Fibre Channel/FICON host adapters - FICON attachment . . . . . . . . . . . . . . . . . . . . 48
2-27 Host has two paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2-28 Host has multiple paths to each server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2-29 Host has only single path. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3-1 Disk Drive Module internal connections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3-2 Fully configured DS6000 with seven expansion enclosures . . . . . . . . . . . . . . . . . . . 61
3-3 Array Sites S1-S4 in a DS6000 base unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3-4 Sample of Array Site locations within three expansion enclosures . . . . . . . . . . . . . . 65
3-5 Logical CKD volume physical location example . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3-6 DS6000 preferred path connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773-7 Logical Volume sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3-8 Host Adapter server affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3-9 Host shown with dual paths to DS6000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4-1 Welcome to Disk Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4-2 Disk Subsystem zSeries dialog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4-3 Configuration details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4-4 Interfaces panel zSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4-5 zSeries workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4-6 Merge dialog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
16/535
xiv IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning
4-7 Merge Target panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4-8 Merge Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4-9 Disk Subsystem open systems dialog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4-10 Interfaces panel open systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4-11 Open systems workload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4-12 Response time projection with workload growth . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4-13 HDD/DDM Utilization with workload growth. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 994-14 Specify effective capacity for zSeries servers in terms of 3390 volumes . . . . . . . . 104
4-15 Graphical interface before any DDMs are specified . . . . . . . . . . . . . . . . . . . . . . . . 105
4-16 Graphical interface populated with DDMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4-17 RAID Array report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4-18 zSeries reports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4-19 Graphical interface with non-optimum spare configuration . . . . . . . . . . . . . . . . . . . 108
4-20 Report warning of non-optimum spare configuration. . . . . . . . . . . . . . . . . . . . . . . . 109
4-21 IBM TotalStorage Productivity Center launch pad. . . . . . . . . . . . . . . . . . . . . . . . . . 110
4-22 Monitor and configure the storage infrastructure disk area . . . . . . . . . . . . . . . . . . . 111
4-23 IBM TotalStorage Productivity Center for Disk operating environment . . . . . . . . . . 112
4-24 IBM Director Console. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4-25 TPC architecture overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1164-26 IBM Director console with Performance Manager . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4-27 Performance Manager tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
4-28 DS8000/DS6000 Data Collection Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4-29 DS8000/DS6000 Cluster level gauge values. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4-30 DS8000/DS6000 Rank Group level gauge values. . . . . . . . . . . . . . . . . . . . . . . . . . 121
4-31 DS8000/DS6000 volume level gauge values. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4-32 Display performance gauge. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4-33 DS8000/DS6000 performance thresholds panel . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4-34 DS8000/DS6000 Threshold enable warning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4-35 Modifying DS8000/DS6000 threshold warning and error values . . . . . . . . . . . . . . . 124
4-36 Performance gauges panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4-37 Create performance gauge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4-38 Gauge for DS6000 Cluster performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4-39 Customizing gauge for array level metric. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4-40 Modified gauge with Avg. response time chart . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4-41 Windows 2000 Performance Monitor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
4-42 Inter-switch link (ISL) configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
4-43 Shared DS6000 I/O ports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
4-44 Single server accessing multiple DS6000s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
4-45 Remote mirroring configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
5-1 DS6000 attachment types: FCP and FICON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5-2 Measurements of channel performance over several generations of channels. . . . 146
5-3 DS6000 FICON attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5-4 Fibre Channel connections with a DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
5-5 Fibre Channel arbitrated loop topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1505-6 Example of a Storage Area Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5-7 Zoning in a SAN environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5-8 SDD with multiple paths to a DS6000 logical disk. . . . . . . . . . . . . . . . . . . . . . . . . . 156
5-9 Subsystem Device Driver configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5-10 SAN single-path connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
5-11 SAN multi-path connection with single fiber. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6-1 Extents being used to create Virtual Disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
6-2 Relationship between physical and virtual. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6-3 SAN Volume Controller FlashCopy outside the box . . . . . . . . . . . . . . . . . . . . . . . 173
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
17/535
Figuresxv
6-4 Synchronous remote copy relationship between 2 SAN Volume Controller clusters 174
6-5 Shows an example configuration that illustrates this performance limitation. . . . . . 178
6-6 SAN Volume Controller configuration based on DS6000 (1 Rank per Extent Pool) 180
7-1 One LUN from each Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7-2 Data layout diagram. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7-3 Data layout legend. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
7-4 Devices presented to iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1997-5 Non striped logical volume. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
7-6 Inter-disk policy logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
7-7 Striped logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
8-1 linuxconf screen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
8-2 serviceconfig screen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8-3 SUSE Linux Powertweak. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
8-4 Red Hat kernel tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
8-5 Paging statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
8-6 I/O transfer rate report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
8-7 Run Queue report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
8-8 Memory and Swap report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
8-9 Memory Activities report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2928-10 CPU Utilization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
8-11 System swapping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
8-12 GKrellM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
8-13 KDE System Guard default window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
8-14 Striped volume set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
8-15 Three LUNs on the same DS6000 Rank will not optimize performance . . . . . . . . . 299
8-16 Effect of tuning the I/O subsystem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
9-1 Performance options in Windows 2003 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
9-2 Virtual memory settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
9-3 Configuring the system cache in Windows 2000 . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
9-4 Memory optimization settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
9-5 Windows Server 2003 Services window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
9-6 Task Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
9-7 Selecting Base Priority in Task Manager. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
9-8 Base Priority. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
9-9 Changing the priority of a process using Task Manager . . . . . . . . . . . . . . . . . . . . . 320
9-10 Assigning Processor Affinity to a selected process . . . . . . . . . . . . . . . . . . . . . . . . . 322
9-11 Assigning processor affinity using the INTFILTR tool . . . . . . . . . . . . . . . . . . . . . . . 323
9-12 Editing the BOOT.INI to include the /3GB switch. . . . . . . . . . . . . . . . . . . . . . . . . . . 324
9-13 Editing the BOOT.INI to include the /PAE switch. . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9-14 Main Performance console window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
9-15 The Performance console: System Monitor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
9-16 Performance Logs and Alerts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
9-17 Chart setting for finding disk bottlenecks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
9-18 New counter log, General tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3449-19 Log Files tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
9-20 New counter log, Schedule tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
9-21 Counter log pop-up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
9-22 System Monitor Properties (Source tab) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
9-23 System Monitor Properties (Data tab) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
9-24 Windows Task Manager - Processes tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
9-25 Select columns for the Processes view . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
9-26 Task Manager - Performance view . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
10-1 Concurrent I/O prior to PAV and Multiple Allegiance. . . . . . . . . . . . . . . . . . . . . . . . 361
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
18/535
xvi IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning
10-2 Concurrent I/O with PAV and Multiple Allegiance . . . . . . . . . . . . . . . . . . . . . . . . . . 361
10-3 Concurrent read operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
10-4 Concurrent write operation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
10-5 Number of volumes on a (6+P) RAID 5 Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
10-6 DB2 large volume performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
10-7 DSS dump large volume performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
10-8 Channel utilization limits for hypothetical workloads . . . . . . . . . . . . . . . . . . . . . . . . 36810-9 FICON port and channel throughput . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
10-10 Daisy chaining DS6000s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
10-11 Sample set of RMF Magic workload summary charts . . . . . . . . . . . . . . . . . . . . . . . 381
10-12 I/O and data rate summary for a single subsystem . . . . . . . . . . . . . . . . . . . . . . . . . 382
10-13 Cache summary for a single subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
10-14 Breakdown of measurement data by SSID within a subsystem . . . . . . . . . . . . . . . 384
10-15 Summary of subsystem response time components. . . . . . . . . . . . . . . . . . . . . . . . 385
11-1 Performance Tools Disk Utilization Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
13-1 DB2 UDB logical structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
13-2 Allocating DB2 containers using a spread your data approach. . . . . . . . . . . . . . . 428
13-3 IMS large volume performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
14-1 FlashCopy establish. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44014-2 FlashCopy interfaces and functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
14-3 Synchronous logical volume replication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
14-4 Logical paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
14-5 Logical paths for Metro Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
14-6 Symmetrical Metro Mirror configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
14-7 Asynchronous logical volume replication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
14-8 Global Copy and Metro Mirror state change logic . . . . . . . . . . . . . . . . . . . . . . . . . . 453
14-9 Logical paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
14-10 Global Copy environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
14-11 Global Mirror overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458
14-12 How Global Mirror works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
14-13 Global Copy with write hit at the remote site . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
14-14 Application write I/O within two Consistency Group points . . . . . . . . . . . . . . . . . . . 462
14-15 Coordination time - how does it impact application write I/Os? . . . . . . . . . . . . . . . . 463
14-16 Remote storage server configuration, all Ranks contain equal numbers of volumes465
14-17 Remote storage server with D volumes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
14-18 A three-site z/OS Metro/Global Mirror implementation . . . . . . . . . . . . . . . . . . . . . . 468
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
19/535
Copyright IBM Corp. 2005. All rights reserved.xvii
Notices
This information was developed for products and services offered in the U.S.A.
IBM may not offer the products, services, or features discussed in this document in other countries. Consultyour local IBM representative for information on the products and services currently available in your area. Anyreference to an IBM product, program, or service is not intended to state or imply that only that IBM product,program, or service may be used. Any functionally equivalent product, program, or service that does notinfringe any IBM intellectual property right may be used instead. However, it is the user's responsibility toevaluate and verify the operation of any non-IBM product, program, or service.
IBM may have patents or pending patent applications covering subject matter described in this document. Thefurnishing of this document does not give you any license to these patents. You can send license inquiries, inwriting, to:IBM Director of Licensing, IBM Corporation, North Castle Drive Armonk, NY 10504-1785 U.S.A.
The following paragraph does not apply to the United Kingdom or any other country where such provisions areinconsistent with local law: INTERNATIONAL BUSINESS MACHINES CORPORATION PROVIDES THISPUBLICATION "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESS OR IMPLIED,
INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF NON-INFRINGEMENT,MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Some states do not allow disclaimer ofexpress or implied warranties in cer tain transactions, therefore, this statement may not apply to you.
This information could include technical inaccuracies or typographical errors. Changes are periodically madeto the information herein; these changes will be incorporated in new editions of the publication. IBM may makeimprovements and/or changes in the product(s) and/or the program(s) described in this publication at any timewithout notice.
Any references in this information to non-IBM Web sites are provided for convenience only and do not in anymanner serve as an endorsement of those Web sites. The materials at those Web sites are not part of thematerials for this IBM product and use of those Web sites is at your own risk.
IBM may use or distribute any of the information you supply in any way it believes appropriate without incurringany obligation to you.
Information concerning non-IBM products was obtained from the suppliers of those products, their publishedannouncements or other publicly available sources. IBM has not tested those products and cannot confirm theaccuracy of performance, compatibility or any other claims related to non-IBM products. Questions on thecapabilities of non-IBM products should be addressed to the suppliers of those products.
This information contains examples of data and reports used in daily business operations. To illustrate themas completely as possible, the examples include the names of individuals, companies, brands, and products.All of these names are fictitious and any similarity to the names and addresses used by an actual businessenterprise is entirely coincidental.
COPYRIGHT LICENSE:This information contains sample application programs in source language, which illustrates programmingtechniques on various operating platforms. You may copy, modify, and distribute these sample programs inany form without payment to IBM, for the purposes of developing, using, marketing or distributing application
programs conforming to the application programming interface for the operating platform for which the sampleprograms are written. These examples have not been thoroughly tested under all conditions. IBM, therefore,cannot guarantee or imply reliability, serviceability, or function of these programs. You may copy, modify, anddistribute these sample programs in any form without payment to IBM for the purposes of developing, using,marketing, or distributing application programs conforming to IBM's application programming interfaces.
-
8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning
20/535
xviii IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning
Trademarks
The following terms are trademarks of the International Business Machines Corporation in the United States,other countries, or both:
Eserver
iSeries
i5/OSpSeries
xSeries
z/OS
z/VM
zSeries
z9
AIX 5L
AIX
AS/400
BladeCenter
CICS
Domino
DB2 Universal Database
DB2
DFSMSdss
DFSORTEnterprise Storage Server
ECKD
ESCON
FlashCopy
FICON
HACMP
IBM
IMS
MVS
Netfinity
NUMA-Q
OS/2
OS/400
PowerPC
Predictive Failure Analysis
Ratio