infrastructure & governance exadata setup & installation x2-2 quarter rack image version :...

Infrastructure & Governance

Exadata Setup &

Installation

X2-2 quarter rackimage version : 11.2.3.3.0Oracle Database : 11.2.0.4

ver.1.2



1. Oracle OneCommand Utility 소개• Oracle OneCommand 는 Exadata machine 를 구성하기 위해 사용되는 유틸리티로 설치과 환경 구성을 위해 사용되는 각종 Script 과 명령어 들의 집합이라고 이해하면 된다 .

• 실제 구성작업에 사용되는 Onecommand 의 실행방법은 아래와 같다 .

1.1 번 DB node 에 root 로 로그인2.cd /opt/oracle.SupportTools/onecommand 3.Release 버전별 수행되는 명령어가 조금씩 상이하다 .

■ For Oracle Database 11g Release 2 (11.2.0.2) ./deploy112.sh -l ■ For Oracle Database 11g Release 2 (11.2.0.3) Patch 16921136 까지 ./deploy11203.sh –l ■ For Oracle Database 11g Release 2 (11.2.0.3) Patch 17256841 부터 ~ 현재 ./install.sh –l

참고 : Exadata 와 관련된 Guide 문서 ( Exadata Database Machine Owner's Guide, Exadata Storage Server Software User's Guide 등 ) 는 Onecommand 를 다운받아 압축을 해제후 config 폴더안에 E13877_01.zip 라는 문서번호로 압축되어 있다 . http://dosc.oracle.com Document Library 를 통해 Download 못함


- Exadata 의 Base Document (MOS ID 888828.1)



* 최신버전의 Onecommand 보다 한단계 아래버전 사용 권장 (Bug 등 ) !!


2. Exadata Deployment Assistant

Exadata Deployment Assistant 는 Exadata Rack Configuration file 을 generate 하기 위한 Tool 이며 Deplymenent Assistant 를 통해 입력된 정보는 Onecommand 와 함께 자동화되어 Configuration file 을 생성해 낸다 .

이 또한 Onecommand 의 패치 버전별로 수행되는 방법이 상이하다 .

■ 기존방식 Onecommand Patch 16921136 까지 (Excel) Excel sheet 를 이용하여 직접 Oracle Exadata Database Machine Configurator 를 작성하여 파일 생성

■ 최근 방식 Onecommand Patch 17256841 부터 ~ 현재 (Java-Based) ./config.sh or config.cmd

참고 : Deploynet Assistant 는 Windows 용 Onecommand 를 Down 받아 사용하는 것이 편리하다 .

Microsoft Office Excel 97-2003 ¿öÅ©½ÃÆ®


1. Welcome


2. Customer Details


3. Hardware Selection


4. Define Customer Networks


5. Client Ethenet Network


6. InfiniBand Network


7. Backup Network (X4-2 의 경우 active-active 로 backup 구성 )


8. Identify Computer node OS


9. Review and Edit Management and Private Networks


10. Define Clusters


11. Cluster1


12. Revie and Edit SCAN, Client, VIP and optional Backup networks


13. Cell Alerting


14. Oracle Config.Manager


15. Auto Service Request


16. Grid Control Agent


17. generate


- generate 된 File List (Windows 에서 작업한 경우 파일을 FTP로 전송 )


- gtplus-gt-InstallationTemplate.html

Tip : 해당파일의 하단을 참고하여 /etc/hosts 파일에 Network 정보 입력 (Copy&Paste)


Exadata Database

Installation




■ 사전작업 : Reclaiming Disk Space - OS 선택후 다른 OS 에서 사용하고 있는 미사용영역 free 작업 진행 ( 또한 exadata image upgrade or re-image 후 필요한 작업이다 ) - 구성확인 /opt/oracle.SupportTools/reclaimdisks.sh -check Linux RAID 1

Solaris RAID 1

Before


■ 사전작업 : Reclaiming Disk Space

- 작업후 RAID 5 로 변경됨 /opt/oracle.SupportTools/reclaimdisks.sh -free -reclaim Linux RAID 5

After


■ 사전 작업 : Reclaiming Disk Space

☞ Rebooting 후 Console 에서 진행사항 확인

☞ 소요시간 : 1 시간 30 분


■ 사전 작업 : Applyconfig.sh 적용 (reclaim 작업을 선행하여야 실행 가능 )

- 초기 Default IP 등으로 작업하였을 경우 , 실제 사이트의 Network 정보로 Update 하기위 한 경우 등 사용한다 .

cd /opt/oracle.SupportTools/firstconf# ./applyconfig.sh -preconf /opt/oracle.SupportTools/onecommand/gtplus-gt-preconf_rack_0.csv -dbm-node-ips quarter

- applyconfig.sh 를 실행하면 DB node 와 Cell node 에 Network 환경적용을 수행하고 모든 서버를 REBOOT 시킨다 .


■ 작업전 /opt/oracle.SupportTools/onecommand/linux-x64/WorkDir 위치에 설치이미지 FTP Upload (Image version 에 맞추어 특정 버전을 요구하므로 반드시 README.txt 을 숙지하도록 한다 )

1. Oracle Database 11g Release 2 (11.2.0.4) Patch Set 3p13390677_112040_PLATFORM_1of7.zipp13390677_112040_PLATFORM_2of7.zipp13390677_112040_PLATFORM_3of7.zip

2. 패치 17904156: QUARTERLY DATABASE PATCH FOR EXADATA (JAN2014 - 11.2.0.4.3)p17904156_112040_Linux-x86-64.zip

3. OPatch release 11.2.0.3.5 or laterp6880880_112000_Linux-x86-64.zip

4. 패치 18035057: THIS IS ONECOMMAND TRACKING BUG FOR JANUARY BP/PSUp18035057_112331_Linux-x86-64.zip


■ 작업전 Onecommand 내의 README.txt 를 반드시 읽어보고 작업하도 록 한다 . ☞ 각 단계를 진행하기 전에 각 단계가 끝날 떄 마다 출력을 검토하면서 , 한번에 한 단계식 실행할 것을 권장 !! 해당 단계가 실패한 이유를 알아내기 위해 로그파일을 검토하는 것이 중요 .

- 성공 or 실패의 경우 /onecommand/linux-64/log 에서 Step 별로 로그 확인가능 - error 발생의 경우 /opt/oracle.SupportTools/onecommand/linux-x64/WorkDir/Diag-140311_172552.zip 생성


■ 작업전 Onecommand 내의 README.txt 를 반드시 읽어보고 작업하도록 한다 . cd /opt/oracle.SupportTools/onecommand/linux-x64


Step 1. Validate Configuration File (undo 불가 )

☞ 노드검증을 통해 Network 구성확인 및 설치 미디어확인 , 파라미터와 deployment 파일을 확인


Step 2. Setup Required Files

☞ 설치 미디어 압축해제 (/opt/oracle.SupportTools/onecommand/Software)


Step 3. Create Users

☞ 오라클 계정과 그룹생성


Step 4. Setup Cell Connectivity

☞ cellip.ora , cellinit.ora 파일 생성


Step 5. Verify Infiniband and Calibrate Cells

☞ CellCLI calibrate 명령으로 셀 디스크를 확인 ( 셀 디스크의 성능 특성을 테스트함 )


Step 6. Create Cell Disks

☞ Cell Disk 생성


Step 7. Create Grid Disks

☞ Grid Disk 생성


Step 8. Install Cluster Software

☞ Grid Infrastructure 의 Silent 설치


Step 9. Initialize Cluster Software

☞ post-installation 을 위한 root.sh 를 수행 , OCR/VOTING Disk 생성 후 클러스터 실행


Step 10. Install Database Software

☞ Database Software 의 Silent 설치


Step 11. Relink Database with RDS

☞ Interconnect 를 위한 RDS 프로토롤 구성


Step 12. Create ASM Diskgroups

☞ asmca 를 실행하여 ASM 디스크 그룹을 생성 (DATA, RECO 등 )


Step 13. Create Databases

☞ dbca 실행으로 Database 생성


Step 14. Apply Security Fixes (undo 불가 )

☞ 보안픽스를 적용 (MGMT_VIEW,DIP 같은 계정을 DROP 등 ) 후 CRS 재기동


Step 15. Create Installation Summary

☞ Install Report 파일 생성


Step 16. Resecure Machine (Optional)

☞ Exadata 의 환경을 안전하게 보호 (root 의 ssh key 제거 및 password aging)


Step 16 을 수행했을 경우 Reboot


Exadata OS Backup &

Recovery




■ Exadata DB 서버 OS 백업 및 복구 개요

전제 조건 – Exadata DB 서버의 eth0~eth3 으로 접속 가능한 NFS 가 필요함 . – ILOM 웹 UI 에 접속이 가능하여야 함 . 스냅샷 기반 백업 수행 Restore system from NFS backup archive 옵션 또는 Interactive Diagnostics Shell 로 복구 수행


■ Default 파티션에 대한 스냅샷 기반 백업 1. 백업파일를 저장하기 위한 NFS 마운트 수행 mkdir -p /root/tar mount -t nfs -o ro,intr,soft,proto=tcp,nolock ip_address:/nfs_location/

/root/tar

2. root_snap 스냅샷 생성 lvcreate -L1G -s -n root_snap /dev/VGExaDb/LVDbSys1 mkdir /root/mnt mount /dev/VGExaDb/root_snap /root/mnt -t ext3

3. u01_snap 스냅샷 생성 lvcreate -L5G -s -n u01_snap /dev/VGExaDb/LVDbOra1 mkdir -p /root/mnt/u01 mount /dev/VGExaDb/u01_snap /root/mnt/u01 -t ext3

4. 백업 파일 생성 cd /root/mnt tar -pjcvf /root/tar/mybackup.tar.bz2 * /boot --exclude \ tar/mybackup.tar.bz2 > /tmp/backup_tar.bz2.stdout 2> /tmp/backup_tar.bz2.stderr bzip2(.bz2) 만 가능하며 , 18GB 에 대해 6.8GB 로 압축되고 50 분 소요됨 .

5. 스냅샷 삭제 및 NFS Umount umount /root/mnt/u01, umount /root/mnt /bin/rm -rf /root/mnt lvremove /dev/VGExaDb/root_snap , lvremove /dev/VGExaDb/u01_snap umount /root/tar


■ Default 파티션에 대한 복구

1. ILOM 의 가상 CD-ROM 으로 부팅

1) /opt/oracle.SupportTools/diagnostics.iso 파일을 PC 에 복사 2) 웹브라우져에서 http://ILOM_IPAddress 로그인 후 Remote Control tab > Remote Console >

Devices > CD-ROM image > 복사한 diagnostic.iso 파일 선택 3) Remote Control tab > Host Control > CDROM 선택 및 Save 클릭

2. Restore system from NFS backup archive Choose from following by typing letter in '()': (e)nter interactive diagnostics shell. Must use credentials from Oracle support to login (reboot or power cycle to exit the shell), (r)estore system from NFS backup archive,

Select: r Are you sure (y/n) [n]: y

3. Enter path to NFS backup archive Enter path to the backup file on the NFS server in format: <ip_address_of_the_NFS_share>:/<path>/<archive_file> For example, 10.10.10.10:/export/operating_system.tar.bz2

NFS line: ip_address:/nfs_location/mybackup.tar.bz2 IP Address of this host: DB_Server_IPAddress Netmask of this host: DB_Server_Netmask Default gateway: DB_Server_DefaultGateway The backup file could be created either from LVM or non-LVM based compute node versions

below 11.2.1.3.1 and 11.2.2.1.0 or higher do not support LVM based partitioning use LVM based scheme(y/n): y

4. ILOM 의 CD-ROM image 체크해제 및 reboot


■ 커스터마이징된 파티션에 대한 스냅샷 기반 백업

1. root_snap 및 u01_snap 스냅샷 생성 (Default 파티션에 대한 백업 참조 )

2. u02_snap 스냅샷 생성

lvcreate -L5G -s -n u02_snap /dev/VGExaDb/LVDbOra2 mkdir -p /root/mnt/u02 mount /dev/VGExaDb/u02_snap /root/mnt/u02 -t ext3

3. gzip(.gz) 백업 파일 생성 cd /root/mnt tar -pzcvf /root/tar/mybackup.tar.gz * /boot --exclude \ tar/mybackup.tar.gz > /tmp/backup_tar.stdout 2> /tmp/backup_tar.stderr gzip(.gz) : 18GB 에 대해 7.4GB 로 압축되고 20 분 소요

4. 스냅샷 삭제 (Default 파티션에 대한 백업 참조 ) lvremove /dev/VGExaDb/u02_snap


■ 커스터마이징된 파티션에 대한 복구

1. ILOM 의 가상 CD-ROM 으로 부팅 (Default 파티션에 대한 백업 참조 )

2 . Restore system from NFS backup archive Choose from following by typing letter in '()': (e)nter interactive diagnostics shell. Must use credentials from Oracle support to login (reboot

or power cycle to exit the shell), (r)estore system from NFS backup archive, Select: e localhost login: root Password: -sh-3.1#

3. Boot 파티션 생성 umount /mnt/cell fdisk /dev/sda 1) Enter d to remove the partitions that will be recreated. 2) Enter n to create a new partition. 3) Enter 1 for the partition number. 4) Enter 1 for the first cylinder 5) Enter 15 for the last cylinder. 6) Enter t, then 83 to select the type of Linux. The t toggles the partition number, and 83

selects the type of Linux. 7) Enter a to set the bootable flag for the boot partition.



4. Second primary partition 생성 1) Enter n to create a new partition. 2) Enter 2 for the partition number. 3) Enter 16 for the first cylinder 4) Press Enter to select the default for the last cylinder. 5) Enter t, and then 8e to select LVM. 6) Enter p to print the new partition information. 7) Enter w to write the information to disk.

5. Logical Volume 재구성 1) Physical volume 및 Volume group 생성 lvm pvcreate /dev/sda2 lvm vgcreate VGExaDb /dev/sda2 2) Default Logical volume 생성 lvm lvcreate -n LVDbSys1 -L30G VGExaDb mkfs.ext3 /dev/VGExaDb/LVDbSys1 e2label /dev/VGExaDb/LVDbSys1 DBSYS

lvm lvcreate -n LVDbSwap1 -L24G VGExaDb mkswap -L SWAP /dev/VGExaDb/LVDbSwap1 lvm lvcreate -n LVDbOra1 -L100G VGExaDb mkfs.ext3 /dev/VGExaDb/LVDbOra1 e2label /dev/VGExaDb/LVDbOra1 DBORA



3) 커스터마이징된 Logical volume 생성 lvm lvcreate -n LVDbOra2 -L100G VGExaDb mkfs.ext3 /dev/VGExaDb/LVDbOra2 e2label /dev/VGExaDb/LVDbOra2 DBORA2

6. Logical Volume 마운트 1)Default Logical volume 마운트 mount /dev/VGExaDb/LVDbSys1 /mnt -t ext3 mkdir /mnt/u01 /mnt/boot mount /dev/VGExaDb/LVDbOra1 /mnt/u01 -t ext3 mount /dev/sda1 /mnt/boot -t ext3

2) 커스터마이징된 Logical volume 마운트 mkdir /mnt/u02 mount /dev/VGExaDb/LVDbOra2 /mnt/u02 -t ext3

7. NFS 마운트 ifconfig eth1 DB_Server_IPAddress netmask DB_Server_Netmask up route add -net 0.0.0.0 netmask 0.0.0.0 gw DB_Server_DefaultGateway mkdir -p /root/mnt mount -t nfs -o ro,intr,soft,proto=tcp,nolock ip_address:/nfs_location /root/mnt



8. 복구 수행 tar -pzxvf /root/mnt/mybackup.tar.gz -C /mnt

9. 마운트 해제 및 /boot 마운트 cd / umount /mnt/u01 umount /mnt/u02 umount /mnt/boot umount /mnt mkdir /boot mount /dev/sda1 /boot -t ext3

10. boot loader 재구성 및 Reboot grub find /I_am_hd_boot (1) root (hd0,0) setup (hd0) quit


Exadata Cell Re-image




■ 이미지 파일 다운로드 (http:/edelivery.oracle.com

1. 해당버전의 이미지 파일을 다운로드한다 .


■ Cell Image 생성

1. 이미지를 임의 디렉토리에 업로드 한다 .

2. 압축해제한다 .tar -pxvf cellImageMaker_11.2.1.3.1_LINUX.X64_100818.1-1.x86_64.tar

3. 압축해제한 디렉토리에 /dl180 디렉토리가 생성된다 .

• Cell node image extracts to dl180 (X4275)• DB node image extracts to dl360 (X4170)

4. USB(Size 4G 이상 ) 를 Cell Node 의 USB port 에 삽입한다 (/dev/sdb1 으로 인식되며 format 된다 .)

5. makeImageMedia.sh 실행예 )makeImageMedia.sh –preconf /opt/oracle.SupportTools/onecommand/ preconf-11-2-1-1-0.csv -nodisktests


■ makeImageMedia.sh 실행

makeImageMedia.sh 실행


■ Cell node Re-image

1. 이미지가 완성되면 재구성하려는 Cell node 에 USB 를 삽입하고 Reboot 을 한다 .

2. 리부팅후 초기화면에서 F2 를 누르고 BIOS 셋업 화면을 선택한다 .



3. Boot from USB 를 선택하고 저장한후 재부팅한다 .

-> Rescue mode 의 암호 입력요청시 : sos1exadata

4. USB 로 부팅하고 Prompt 가 나타나면 물음에 순차적으로 R, Y, Y 를 입력한다 .



5. 자동으로 Reimage 작업을 수행하며 리부팅을 진행한다 .

6. 자동으로 applyconf 를 수행하고 과정의 맨 마지막에 시스템 POWER-OFF 메시지가 나온다 .

7. 서버 전면의 POWER 버튼을 5 초간 누르고 OFF 된것을 확인후 , 한번 더 눌러서버를 기동한다 . ( 이미지 생성시 preconf.csv 파일을 지정했으면 Re-Image 후 applyconf 를 수행하여 IP 설정을 할 필요없다 )

Infrastructure & GovernanceInfrastructure & Governance

infrastructure & governance exadata setup & installation x2-2 quarter rack image version :...

Documents