aix 5l performance tools handbook

ibm.com/redbooks

AIX 5L Performance Tools Handbook

Thomas BraunbeckStuart Lane

Bjrn RodnNigel Trickett

Diana Gfroerer

Use the AIX 5L performance monitoring and tuning tools efficiently

Understand the performance of your AIX system

Know how to interpret the statistics

Front cover

AIX 5L Performance Tools Handbook

September 2001

International Technical Support Organization

SG24-6039-00

Copyright International Business Machines Corporation 2001. All rights reserved.Note to U.S Government Users Documentation related to restricted rights Use, duplication or disclosure is subject torestrictions set forth in GSA ADP Schedule Contract with IBM Corp.

First Edition (September 2001)

This edition applies to AIX 5L for Power Version 5.1.

Comments may be addressed to:IBM Corporation, International Technical Support OrganizationDept. JN9B Building 003 Internal Zip 283411400 Burnet RoadAustin, Texas 78758-3493

When you send information to IBM, you grant IBM a non-exclusive right to use or distribute the information in any way it believes appropriate without incurring any obligation to you.

Take Note! Before using this information and the product it supports, be sure to read the general information in Special notices on page 933.

Contents

Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi

Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvThe team that wrote this redbook. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviSpecial notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xxviiIBM trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xxviiComments welcome. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii

Chapter 1. Introduction to AIX performance monitoring and tuning . . . . . 11.1 CPU performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.1.1 Initial advice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.1.2 Processes and threads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3Threads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.3 Process and thread priorities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3Thread aging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.1.4 Scheduling policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1.5 Run queues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.1.6 Time slices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.1.7 Mode switching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.1.8 SMP performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Cache coherency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7Processor affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7Locking. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.2 Memory performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.2.1 Initial advice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.2.2 Memory segments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

The free list . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11Page replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11Memory load control mechanism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12Paging space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Memory leaks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14Shared memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Copyright IBM Corp. 2001 iii

1.3 Disk I/O performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.3.1 Initial advice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.3.2 Disk subsystem design approach . . . . . . . . . . . . . . . . . . . . . . . . . . . 161.3.3 Bandwidth related performance considerations . . . . . . . . . . . . . . . . 171.3.4 Disk design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Disk access times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19Disks per adapter bus or loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19Physical disk buffers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

1.3.5 Logical Volume Manager (LVM) concepts . . . . . . . . . . . . . . . . . . . . 22Use of LVM policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22Log logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27JFS2 inline log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28Paging space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28Recommendations for performance optimization . . . . . . . . . . . . . . . . . 28

1.4 Network performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291.4.1 TCP/IP protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311.4.2 Network tunables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Network buffer tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34Other network tunable considerations . . . . . . . . . . . . . . . . . . . . . . . . . . 35Basic network adapter settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37Resetting network tunables to their default . . . . . . . . . . . . . . . . . . . . . . 40

Chapter 2. Getting started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432.1 Tools and filesets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442.2 Tools by resource matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472.3 Performance tuning approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

2.3.1 CPU bound system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502.3.2 Memory bound system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522.3.3 Disk I/O bound system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 532.3.4 Network I/O bound system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Chapter 3. Multi resource monitoring and tuning tools. . . . . . . . . . . . . . . 573.1 fdpr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.1.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . . 623.1.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.2 iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683.2.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . . 693.2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

System throughput report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70tty and CPU utilization report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74Disk utilization report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74iv AIX 5L Performance Tools Handbook

Adapter throughput report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763.3 netpmon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

3.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773.3.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . . 793.3.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

3.4 Performance Diagnostic Tool (PDT) . . . . . . . . . . . . . . . . . . . . . . . . . . 893.4.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903.4.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . . 903.4.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

How to edit the configuration files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92How to use reports generated by PDT. . . . . . . . . . . . . . . . . . . . . . . . . . 95How to create a PDT report manually . . . . . . . . . . . . . . . . . . . . . . . . . . 98How to run PDT collection manually . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

3.5 perfpmr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 983.5.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

3.5.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . . 993.5.3 Building and submitting a testcase . . . . . . . . . . . . . . . . . . . . . . . . . 103

Preparing for perfpmr. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104Downloading perfpmr. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104Installing perfpmr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104Running perfpmr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106Uploading the testcase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

3.5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1083.6 ps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

3.6.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

3.6.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 1123.6.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

Displaying the top 10 CPU consuming processes . . . . . . . . . . . . . . . . 113Displaying the processes in order of being penalized . . . . . . . . . . . . . 115Displaying the processes in order of priority . . . . . . . . . . . . . . . . . . . . 115Displaying the processes in order of nice value. . . . . . . . . . . . . . . . . . 116Displaying the processes in order of time . . . . . . . . . . . . . . . . . . . . . . 116Displaying the processes in order of real memory use . . . . . . . . . . . . 117Displaying the processes in order of I/O . . . . . . . . . . . . . . . . . . . . . . . 118Displaying WLM classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118Viewing threads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

3.7 sar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1203.7.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 Contents v


3.8 schedtune . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1443.8.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1453.8.2 Information on calculating tunable values . . . . . . . . . . . . . . . . . . . . 147

Scheduler policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147CPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

3.8.3 Recommendations and precautions . . . . . . . . . . . . . . . . . . . . . . . . 1513.8.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

3.9 topas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1583.9.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1583.9.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 1603.9.3 Common uses of the topas command . . . . . . . . . . . . . . . . . . . . . . 160

CPU utilization statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160Network interface statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160Disk drive statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161Process statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161Event and queue statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161File and tty statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161Paging statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162Memory statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162NFS statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

3.9.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1653.10 truss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

3.10.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

3.10.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . 1733.10.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

How to use truss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175How to use the summary output . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176How to monitor running processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 178How to analyze file descriptor I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180How to combine different flags. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182How to check program parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 183How to check program environment variables . . . . . . . . . . . . . . . . . . . 183How to track child processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.11 vmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1863.11.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187vi AIX 5L Performance Tools Handbook


Virtual memory activity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188Forks report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195Interrupts report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195Sum structure report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197I/O Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200

3.12 vmtune . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2013.12.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2033.12.2 Calculating tunable values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

Sequential read-ahead. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206The page replacement algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208Pinning memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209Sequential write-behind . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210Random write-behind . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210The syncd daemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211I/O tuning parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211File system caching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212Paging parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213Large page parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213JFS2 and NFS client pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

3.12.3 Recommendations and precautions . . . . . . . . . . . . . . . . . . . . . . . 2143.12.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

Chapter 4. CPU performance tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2214.1 alstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

4.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

4.1.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 2234.1.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2234.1.4 Detecting and resolving alignment . . . . . . . . . . . . . . . . . . . . . . . . . 225

4.2 bindintcpu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2254.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2264.2.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

4.3 bindprocessor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2284.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 Contents vii


4.4 emstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2324.4.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2324.4.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 2334.4.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2334.4.4 Detecting and resolving emulation . . . . . . . . . . . . . . . . . . . . . . . . . 235

4.5 gprof . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2354.5.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

4.5.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 237Profiling with the fork and exec subroutines . . . . . . . . . . . . . . . . . . . . 238

4.5.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238Profiling when the source code is available . . . . . . . . . . . . . . . . . . . . . 238

4.6 nice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2454.6.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246



How to degrade the priority of a process . . . . . . . . . . . . . . . . . . . . . . . 248How to improve the priority of a process . . . . . . . . . . . . . . . . . . . . . . . 248

4.7 pprof . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2494.7.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249



The pprof.cpu report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251The pprof.start report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254The pprof.namecpu report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256The pprof.famind report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257The pprof.famcpu report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260

4.8 prof . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2614.8.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261



The cwhet.prof report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2644.9 renice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

4.9.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266viii AIX 5L Performance Tools Handbook

Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2664.9.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 2674.9.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

4.10 time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2684.10.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268



4.11 timex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2704.11.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270



4.12 tprof . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2754.12.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2764.12.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . 2784.12.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

The summary report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280Profiling an application. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285Profiling an application already running on the system . . . . . . . . . . . . 288Micro profiling an application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289Using tprof to detect a resource bottleneck . . . . . . . . . . . . . . . . . . . . . 290Trace hook 234 used by tprof . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

Chapter 5. Memory performance tools . . . . . . . . . . . . . . . . . . . . . . . . . . . 3015.1 ipcs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

5.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302


How to check which processes use shared memory . . . . . . . . . . . . . . 305How to remove an unused shared memory segment . . . . . . . . . . . . . 307How to use a shared memory segment . . . . . . . . . . . . . . . . . . . . . . . . 308How to check which processes use semaphores . . . . . . . . . . . . . . . . 312

5.2 rmss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3145.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 Contents ix

5.2.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 3165.2.3 Recommendations and precautions . . . . . . . . . . . . . . . . . . . . . . . . 3175.2.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317

Changing the simulated memory size . . . . . . . . . . . . . . . . . . . . . . . . . 318Displaying the simulated memory size. . . . . . . . . . . . . . . . . . . . . . . . . 318Resetting the simulated memory size . . . . . . . . . . . . . . . . . . . . . . . . . 318Testing an executable run time with rmss . . . . . . . . . . . . . . . . . . . . . . 318

5.3 svmon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3205.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320


5.3.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 324Segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325

5.3.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326How to determine which processes use most real memory. . . . . . . . . 327How to determine which processes use most paging space . . . . . . . . 327How to find out what segments are most utilized. . . . . . . . . . . . . . . . . 328How to find out what files a process or command is using . . . . . . . . . 328How to analyze the global report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333How to analyze the user reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335How to analyze processes reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349How to analyze the command reports . . . . . . . . . . . . . . . . . . . . . . . . . 358How to analyze segment utilization . . . . . . . . . . . . . . . . . . . . . . . . . . . 371How to analyze detailed reports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380How to analyze frame reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382

Chapter 6. Disk I/O performance tools . . . . . . . . . . . . . . . . . . . . . . . . . . . 3876.1 filemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

6.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

6.1.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 389General notes on interpreting the reports . . . . . . . . . . . . . . . . . . . . . . 390

6.1.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392How to start monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392How to use the different reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392How to analyze the physical volume reports . . . . . . . . . . . . . . . . . . . . 394How to analyze the file report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398How to analyze the logical volume report . . . . . . . . . . . . . . . . . . . . . . 401How to analyze the virtual memory segments report . . . . . . . . . . . . . . 405

6.2 fileplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4096.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410x AIX 5L Performance Tools Handbook


How to analyze the logical report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412How to analyze the physical report . . . . . . . . . . . . . . . . . . . . . . . . . . . 413How to analyze the indirect block report . . . . . . . . . . . . . . . . . . . . . . . 417How to analyze the volume report . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418Sparsely allocated files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

6.3 lslv, lspv, and lsvg . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4296.3.1 lslv syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430


6.3.2 lspv Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431

6.3.3 lsvg syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432


How to use lslv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441How to use lspv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442How to use lsvg . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443How to acquire more disk information . . . . . . . . . . . . . . . . . . . . . . . . . 444

6.4 lvmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4456.4.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446



How to use lvmstat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448How to monitor all logical volumes in a volume group . . . . . . . . . . . . . 451How to monitor a single logical volume . . . . . . . . . . . . . . . . . . . . . . . . 453How to summarize I/O utilization per physical partition . . . . . . . . . . . . 455

Chapter 7. Network performance tools . . . . . . . . . . . . . . . . . . . . . . . . . . . 4577.1 atmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459

7.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459


7.2 entstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4657.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 Contents xi


7.3 estat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4717.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471



7.4 fddistat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4747.4.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474



7.5 ipfilter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4797.5.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480


7.5.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 480Protocols and header type options . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

7.5.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481How to trace TCP/IP traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

7.6 ipreport. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4887.6.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489



How to use ipreport with tcpdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490How to use ipreport with iptrace. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

7.7 iptrace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4947.7.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496TCP/IP protocol and services tables . . . . . . . . . . . . . . . . . . . . . . . . . . 496


TCP packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499UDP packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 500UDP domain name server requests and responses . . . . . . . . . . . . . . 501

7.8 netstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5027.8.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504xii AIX 5L Performance Tools Handbook


The network interfaces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507The network routing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510Kernel malloc statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512Statistics for each protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515Communications subsystems statistics . . . . . . . . . . . . . . . . . . . . . . . . 522The state of all sockets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523The network buffer cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525

7.9 nfso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5277.9.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527Options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 528


7.10 nfsstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5417.10.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5417.10.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . 5427.10.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542

NFS server RPC statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543NFS server NFS statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544NFS client RPC statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545NFS client NFS statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547Statistics on mounted file systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548

7.11 no. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5497.11.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5497.11.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . 550

Streams Tunable Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5637.11.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565

7.12 tcpdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5717.12.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571


7.12.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . 573Expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 574TCP/IP protocol and services tables . . . . . . . . . . . . . . . . . . . . . . . . . . 578ICMP message type table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579Packet header formats. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580

7.12.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583How to use tcpdump with ipreport . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584How to monitor TCP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584 Contents xiii

How to monitor UDP packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589How to monitor all packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592How to interpret link-level headers. . . . . . . . . . . . . . . . . . . . . . . . . . . . 593How to monitor ARP packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594How to use expressions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596

7.13 tokstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6027.13.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602



7.14 trpt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6087.14.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608



How to display all stored trace records . . . . . . . . . . . . . . . . . . . . . . . . 611How to display source and destination addresses. . . . . . . . . . . . . . . . 612How to display packet-sequencing information . . . . . . . . . . . . . . . . . . 612How to display timers at each point in the trace . . . . . . . . . . . . . . . . . 613

Chapter 8. Trace tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6158.1 curt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616

8.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616


Overview of the reports generated by curt . . . . . . . . . . . . . . . . . . . . . . 620The default report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622Report generated with the -b flag. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633Report generated with the -c flag. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634Report generated with the -e flag. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634Report generated with the -s flag. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636Report generated with the -t flag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636Report generated with the -r flag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639xiv AIX 5L Performance Tools Handbook

8.2 genkex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6408.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6408.2.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 6408.2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640

8.3 genkld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6418.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6428.3.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 6428.3.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 642

8.4 genld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6438.4.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6438.4.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 6438.4.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643

8.5 gennames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6448.5.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644



The name to address mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646The list of loaded kernel extensions. . . . . . . . . . . . . . . . . . . . . . . . . . . 647The list of loaded shared libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648The list of loaded processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648Physical and logical volume and file system information . . . . . . . . . . . 649

8.6 locktrace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6518.6.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6518.6.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 6518.6.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652

8.7 splat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6538.7.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653


8.7.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 656Source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657Address-to-name resolution in splat . . . . . . . . . . . . . . . . . . . . . . . . . . 658

8.7.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659Execution summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659PThread synchronizer reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674

8.8 stripnm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6828.8.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683 Contents xv


8.9 trace. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6858.9.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686Subcommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690

8.9.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . . 691Operation modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691

8.9.3 Terminology used for trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692Trace Hooks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692Hook ID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692Trace daemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692Trace buffer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692Trace log file . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693

8.9.4 Ways to start and stop trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694Using SMIT to stop and start trace . . . . . . . . . . . . . . . . . . . . . . . . . . . 694Running trace interactively. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695Running trace asynchronously. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695Running trace an entire system for 10 seconds. . . . . . . . . . . . . . . . . . 696Tracing to a specific log file . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696Tracing a command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696Tracing using one set of buffers per CPU . . . . . . . . . . . . . . . . . . . . . . 696

8.9.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 697Checking return times from trace. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 697Sequential Reads and Writes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701

8.10 trcnm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7028.10.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 702



8.11 trcrpt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7048.11.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708Information on measurement and sampling. . . . . . . . . . . . . . . . . . . . . 708

8.11.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708Combining trace buffers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709xvi AIX 5L Performance Tools Handbook

Chapter 9. APIs for performance monitoring . . . . . . . . . . . . . . . . . . . . . . 7119.1 Perfstat API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712

9.1.1 Compiling and linking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7129.1.2 Subroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712

perfstat_cpu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713perfstat_cpu_total . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716perfstat_memory_total . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719perfstat_disk. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721perfstat_disk_total . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724perfstat_netinterface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725perfstat_netinterface_total . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729

9.1.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731Makefile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735

9.2 System Performance Measurement Interface (SPMI) . . . . . . . . . . . . 7369.2.1 Compiling and linking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7379.2.2 SPMI data organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7379.2.3 Subroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738

SpmiInit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739SpmiCreateStatSet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740SpmiPathGetCx . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740SpmiPathAddSetStat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741SpmiFirstVals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741SpmiGetValue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742SpmiNextVals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742SpmiFreeStatSet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743SpmiExit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743

9.2.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743Hard coded metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744Reading metrics from file . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749Traversing and displaying the SPMI hierarchy . . . . . . . . . . . . . . . . . . 754Makefile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757

9.3 Performance Monitor (PM) API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7589.3.1 Performance Monitor data access . . . . . . . . . . . . . . . . . . . . . . . . . 7599.3.2 Compiling and linking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7609.3.3 Subroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7619.3.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 761

9.4 Resource Monitoring and Control (RMC) . . . . . . . . . . . . . . . . . . . . . 7669.4.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767

Resource Monitoring and Control Commands . . . . . . . . . . . . . . . . . . . 767Event Response Resource Manager commands . . . . . . . . . . . . . . . . 767


How to verify that the RMC is active . . . . . . . . . . . . . . . . . . . . . . . . . . 770How to examine resource classes and resources . . . . . . . . . . . . . . . . 771 Contents xvii

How to write an event response script . . . . . . . . . . . . . . . . . . . . . . . . . 774How to create a condition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777How to create a response to a condition event . . . . . . . . . . . . . . . . . . 778How to associate a response with a condition . . . . . . . . . . . . . . . . . . . 778How to activate monitoring of a condition . . . . . . . . . . . . . . . . . . . . . . 779How will the condition/response event generation be done. . . . . . . . . 781How to stop monitoring a condition . . . . . . . . . . . . . . . . . . . . . . . . . . . 782How to remove a response definition. . . . . . . . . . . . . . . . . . . . . . . . . . 782How to remove a condition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783

9.5 Miscellaneous performance monitoring subroutines . . . . . . . . . . . . . 7839.5.1 Compiling and linking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7839.5.2 Subroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783

sys_parm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784vmgetinfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787swapqry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791rstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792getprocs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794wlm_get_info . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797wlm_get_bio_stats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799

9.5.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802

Chapter 10. WLM performance tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807WLM Tools and their purposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 808

10.1 wlmstat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80810.1.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809



10.2 wlmmon / wlmperf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81810.2.1 Syntax xmwlm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 818

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81810.2.2 Syntax xmtrend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81910.2.3 Information about the xmwlm and xmtrend daemons . . . . . . . . . . 820

Starting the daemons. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82010.2.4 Information on measurement and sampling . . . . . . . . . . . . . . . . . 82210.2.5 Exploring the graphical windows. . . . . . . . . . . . . . . . . . . . . . . . . . 822

The WLM_Console menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824The Select menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829

Chapter 11. Performance Toolbox Version 3 for AIX . . . . . . . . . . . . . . . . 839Additional tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839xviii AIX 5L Performance Tools Handbook

11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84111.2 xmperf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 842

11.2.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 842Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 843Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 845

11.2.2 Information on measurement and sampling . . . . . . . . . . . . . . . . . 845Display requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 846Starting xmperf. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 846

11.2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85311.3 3D monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860

11.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 861


11.4 jazizo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86911.4.1 Syntax xmtrend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86911.4.2 Syntax jazizo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870

Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87011.4.3 Information on measurement and sampling . . . . . . . . . . . . . . . . . 870

Exploring the jazizo windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871

Appendix A. Source code examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 885perfstat_dude.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886spmi_dude.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895spmi_data.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899spmi_file.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905spmi_traverse.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908dudestat.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911cwhet.c . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914

Appendix B. Trace hooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921AIX 5L trace hooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 922

Related publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929

Other resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929Referenced Web sites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 930How to get IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 931

IBM Redbooks collections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 931 Contents xix

Special notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933

Abbreviations and acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 935

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 939xx AIX 5L Performance Tools Handbook

Figures

1-1 Physical Partition mapping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233-1 Sequential read-ahead. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2077-1 Schematic flow during TCP open. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5877-2 Schematic flow during TCP close . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5898-1 Lock states. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6678-2 The trace facility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69310-1 Initial screen when wlmperf and wlmmon are started . . . . . . . . . . . . . 82310-2 The WLM_Console tab down menu. . . . . . . . . . . . . . . . . . . . . . . . . . . 82410-3 The open log option from the tab down bar . . . . . . . . . . . . . . . . . . . . . 82510-4 The WLM table visual report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82610-5 The CPU, memory and disk I/O tab down menu . . . . . . . . . . . . . . . . . 82610-6 The bar-graph style visual report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82810-7 The order of the snapshot visual report colored bulbs . . . . . . . . . . . . . 82810-8 The snapshot visual report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82910-9 The select tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82910-10 The time window for setting trend periods . . . . . . . . . . . . . . . . . . . . . . 83010-11 The table visual report with trend values shown . . . . . . . . . . . . . . . . . 83110-12 The bar graph style report showing a trend . . . . . . . . . . . . . . . . . . . . . 83210-13 The snapshot visual report showing the trend . . . . . . . . . . . . . . . . . . . 83310-14 Advanced option under the Selected tab down menu . . . . . . . . . . . . . 83410-15 The Advanced Menu options shown in graphical form . . . . . . . . . . . . 83510-16 The class/tier option from the selected tab down menu. . . . . . . . . . . . 83710-17 The snapshot report showing only the Red WLM class. . . . . . . . . . . . 83711-1 The initial xmperf window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84611-2 The mini monitor window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84711-3 Aged data moved to the left . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84811-4 The utilities tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84911-5 The analysis tab down menus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85011-6 The controls tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85011-7 The Recording tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85011-8 The console recording options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85111-9 Cautionary window when recording an instrument . . . . . . . . . . . . . . . 85111-10 The Console Recording tab down menus End Recording option . . . . 85111-11 Options under the initial xmperf window File tab down menu . . . . . . . 85211-12 The Select Play-back File window . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85211-13 The Play-Back window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85311-14 Naming the user defined console . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85411-15 Edit the console window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854 Copyright IBM Corp. 2001 xxi

11-16 Dynamic Data Supplier Statistics window . . . . . . . . . . . . . . . . . . . . . . 85511-17 The Change Properties of a Value window . . . . . . . . . . . . . . . . . . . . . 85611-18 The final console monitoring CPU idle time . . . . . . . . . . . . . . . . . . . . . 85711-19 The Edit Console tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85811-20 The Modify Instrument menu options. . . . . . . . . . . . . . . . . . . . . . . . . . 85811-21 The Style and Stacking menu option . . . . . . . . . . . . . . . . . . . . . . . . . . 85911-22 Menu options from the Edit Value tab down display . . . . . . . . . . . . . . 85911-23 An example of a CPU usage instrument . . . . . . . . . . . . . . . . . . . . . . . 86011-24 Initial 3dmon screen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86411-25 3D window from 3dmon showing the statistic of a host . . . . . . . . . . . . 86511-26 CPU statistics displayed by 3dmon after modifying 3dmon.cf . . . . . . . 86711-27 3dmon graph showing disk activity for multiple hosts . . . . . . . . . . . . . 86811-28 The jazizo opening window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87211-29 The File tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87211-30 The Open Recording File window in jazizo . . . . . . . . . . . . . . . . . . . . . 87311-31 Metric Selection window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87411-32 The metric selection window showing metric selections . . . . . . . . . . . 87511-33 The Time Selection window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87611-34 The stop and start hour tab down menus . . . . . . . . . . . . . . . . . . . . . . 87611-35 Adjusting the month in the jazizo Time Selection window . . . . . . . . . . 87711-36 Adjusting the day in the jazizo Time Selection window . . . . . . . . . . . . 87811-37 The jazizo window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87911-38 The jazizo Edit tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87911-39 The Graph Selection window of the jazizo program . . . . . . . . . . . . . . 88011-40 The trend of the metric can be displayed by jazizo . . . . . . . . . . . . . . . 88111-41 The View tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88111-42 The Report tab down menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88211-43 Tabular statistical output that can be obtained from jazizo . . . . . . . . . 88211-44 The File tab down menu when closing jazizo . . . . . . . . . . . . . . . . . . . 883xxii AIX 5L Performance Tools Handbook

Tables

1-1 Terms used in describing disk device block operations. . . . . . . . . . . . . 181-2 Latencies for disk access times. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191-3 TCP/IP layers and protocol examples . . . . . . . . . . . . . . . . . . . . . . . . . . 321-4 Network tunables minimum values for best performance . . . . . . . . . . . 341-5 Other basic network tunables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352-1 Commands/tools, pathnames and filesets . . . . . . . . . . . . . . . . . . . . . . . 442-2 Performance tools by resource matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 473-1 Current effective priority calculated where -r is four. . . . . . . . . . . . . . . 1533-2 Current effective priority calculated where -r is 16. . . . . . . . . . . . . . . . 1543-3 The CPU decay factor using the default schedtune -d value of 16 . . . 1553-4 The CPU decay factor using a schedtune -d value of 31. . . . . . . . . . . 1553-5 Machine faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1703-6 Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1717-1 ipfilter header types and options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4817-2 ipreport source tag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4837-3 grep -v ^# /etc/protocols. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4967-4 Selection from /etc/services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4977-5 Suggested minimum buffer and MTU sizes for adapters. . . . . . . . . . . 5687-6 grep -v ^# /etc/protocols. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5787-7 Selection from /etc/services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5787-8 Some ICMP message types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5798-1 Minimum trace hooks required for curt . . . . . . . . . . . . . . . . . . . . . . . . 6188-2 Trace hooks required for splat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6569-1 Interface types from if_types.h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7289-2 Column explanation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74810-1 Output of wlnstat -v . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813 Copyright IBM Corp. 2001 xxiii

xxiv AIX 5L Performance Tools Handbook

Preface

This redbook takes an insightful look at the performance monitoring and tuning tools that are provided with AIX 5L. It discusses the usage of the tools as well as the interpretation of the results by using a large number of examples.

This redbook is meant as a reference for system administrators and AIX technical support professionals so they can use the performance tools in an efficient manner and interpret the outputs when analyzing an AIX systems performance.

Chapter 1, Introduction to AIX performance monitoring and tuning on page 1 and Chapter 2, Getting started on page 43 introduce the reader to the process of AIX performance analysis. The individual performance tools discussed in this book are mainly organized into chapters according to the resources that they provide statistics for:

Tools that show statistics for multiple resources can be found in Chapter 3, Multi resource monitoring and tuning tools on page 57.

Tools that are used to monitor the CPU resource are located in Chapter 4, CPU performance tools on page 221.

Tools that provide statistics on system memory are discussed in Chapter 5, Memory performance tools on page 301.

Disk I/O performance can be monitored with the tools introduced in Chapter 6, Disk I/O performance tools on page 387.

The network monitoring tools are contained in Chapter 7, Network performance tools on page 457.

Explanations of AIX trace and trace related tools are located in Chapter 8, Trace tools on page 615. Trace tools can usually be used to monitor all system resources.

Chapter 9, APIs for performance monitoring on page 711 explains how to use the various performance APIs that are available for AIX.

Workload Manager (WLM) performance monitoring tools can be found in Chapter 10, WLM performance tools on page 807. These tools also provide statistics on multiple resources, but they only gather information when AIX WLM is turned on.

The book is concluded with an overview of the AIX Performance Toolbox in Chapter 11, Performance Toolbox Version 3 for AIX on page 839. Copyright IBM Corp. 2001 xxv

The team that wrote this redbookThis redbook was produced by a team of specialists from around the world working at the International Technical Support Organization, Austin Center.

Diana Gfroerer is an International Technical Support Specialist for IBM ^ pSeries and AIX Performance at the International Technical Support Organization, Austin Center. She writes extensively and teaches IBM classes worldwide on all areas of AIX, with a focus on performance and tuning. Before joining the ITSO in 1999, Diana Gfroerer worked in AIX pre-sales Technical Support in Munich, Germany, and led the Region Central, EMEA, and World Wide Technical Skill Communities for AIX and PC Interoperability.

Thomas Braunbeck is a Support Professional in Germany. He has 12 years of experience in AIX and seven years of experience in PSSP and related software. He holds a degree in Computer Science.

Stuart Lane is an RS/6000 IT Specialist in South Africa. He has three years experience with AIX and the RS/6000. His areas of expertise include RS/6000 systems, RS/6000 SP systems, and SCO Unixware.

Bjorn Roden is an AIX expert from Sweden working as a technical manager and chief programmer for the largest IBM Business Partner in Sweden (Pulsen Systems). He has 11 years of experience with AIX and SP. He is currently certified as AIX Advanced Technical Expert, Mid-Range Storage Technical Specialist, SP Specialist, HACMP Specialist, TSM Specialist, and Webserver Specialist.

Nigel Trickett is a Software Support Specialist at IBM New Zealand. He has worked with Unix since 1984 and has had several roles since then, including hardware and software support and systems administration. He joined IBM in 1995. Nigel Trickett's primary responsibilities are to resolve performance issues with AIX and to analyze system dumps. He also works on many types of software issues. Nigel holds a New Zealand Certificate of Computer Technology.

Thanks to the following people for their invaluable contributions to this project:

International Technical Support Organization, Austin CenterRichard Cutler, Budi Darmawan, Ernest A. Keenan

IBM AustinMatt Accapadi, Larry Brenner, Bill Britton, William Brown, Dean Burdick, Saravanan Devendran, Herman Dierks, Loel Graber, Randy Heisch, Somasundaram Krishnasamy, Bruce Mealey, Augie Mena III, Greg R. xxvi AIX 5L Performance Tools Handbook

Mewhinney, Dirk Michel, Stephen Nasypany, Jane Ouyang, Carl Ponder, Anthony Ramirez, Ruben Ramirez, Jim Shaffer, Dave Sheffield, Luc Smolders, Bill Topliss, Vasu Vallabhaneni, Venkat Venkatsubra, Paul Wadehra, Brian Waldecker

IBM IndiaVivek H. M., Subhrata Parichha, Amar A. Shah

IBM IsraelGadi Haber

IBM PoughkeepsieJoseph Chaky, Michael Schmidt

Special noticeThis publication is intended to help system administrators and AIX technical support professionals to use and interpret the AIX 5L performance tools. The information in this publication is not intended as the specification of any programming interfaces that are provided by AIX 5L. See the PUBLICATIONS section of the IBM Programming Announcement for AIX 5L for more information about what publications are considered to be product documentation.

IBM trademarksThe following terms are trademarks of the International Business Machines Corporation in the United States and/or other countries:

3890AIX 5LATCTDB2e (logo) ESCONNotesPALPowerPC 604PTXRedbooks Logo RS/6000SP

AIXAS/400BalanceCurrentDominoEarlyIBM NwaysPowerPCpSeriesRedbooksRISC System/6000SequentXT Preface xxvii

Comments welcomeYour comments are important to us!

We want our IBM Redbooks to be as helpful as possible. Send us your comments about this or other Redbooks in one of the following ways:

Use the online Contact us review redbook form found at:

ibm.com/redbooks

Send your comments in an Internet note to:

[email protected]

Mail your comments to the address on page ii.xxviii AIX 5L Performance Tools Handbook

http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/contacts.html

Chapter 1. Introduction to AIX performance monitorin

aix 5l performance tools handbook

Documents