物理化学理论模拟与并行计算 -...

2010-3-14 1/114物理化学理论模拟与并行计算

物理化学理论模拟与并行计算

技术支持中心占杰


Contents

2. 高性能计算的并行体系

3. 高性能集群作业调度

4. Gaussian应用示例

5. Materials Studio应用示例

6. VASP应用示例

1. 物理化学领域理论计算概述


Contents





6. VASP应用示例



“进入21世纪以来，计算方法与分子模拟、虚拟实

验，已经继实验方法、理论方法之后，成为第三个

重要的科学方法，对未来科学与技术的发展，将起

着越来越重要的作用。”

——徐光宪院士


Computational R&D is growing in relative importance

20301995

1995:10 % modeling90 % experiment

2002

2002: 20 % modeling80 % experiment

2030:50 % modeling50 % experiment


计算机迅速发展大型量子化学软件包

模型化学

对化学体系或过程简化或理想化

便于计算和预测化学结构，性质和功能

气态分子：0K气体状态；溶剂效应：连续可极化模型

液体和固体：大晶胞的周期结构

物理化学领域的理论计算


模型化学

量子化学方法(QM)

<500

电子。准确, 化学键

分子力学方法(MM)

~1万—100万

原子。粗略, 只有结构

二者杂化方法(QM/MM)

（内层用量子化学方法，外层用分子力学方法）

理论化学计算的两种基本方法


物理化学研究的对象及其理论描述

分子团簇晶胞原子

原子核

核外电子

内层电子

价层电子

原子芯

（经典力学）

（量子力学）


计算方法

• 分子力学: MM • 半经验方法: MNDO、CNDO …• 从头计算方法(ab initio methods): HF、 post-SCF

( MP2、CI、CCSD、CASSCF…)• 密度泛函理论: DFT• 量子力学与分子力学结合: QM/MM；ּ ּ ּ


• 量子化学是关于分子中电子性质的理论

• 只有它才能研究化学键的生成和断裂

• 量子化学的发展主线价键理论（Pauling，1954）分子轨道理论（Mulliken，1966）前线轨道理论,HOMO+LUMO(Fukui，1981)Woodward-Hoffman规则(Hoffmann, 1981)实用阶段(Pople, 1998, Gaussian程序)

(Kohn, 1998, 密度泛函理论)

量子力学方法


– HF (Hartree-Fock方法, 默认)

– B3LYP (用B3LYP杂化泛函做DFT计算)

– MPx (在HF计算结果的基础上做MPx微扰校正，x=2、3、4、5)

– CCD (双取代耦合簇方法)

– CCSD (单、双取代耦合簇方法)

– CID (双取代组态相互作用)

– CISD (单、双取代组态相互作用)

– AM1 (AM1半经验算法)

– PM3 (PM3半经验算法，无需设定基组)

Gaussian软件提供的各种量化计算方法


量化计算方法的各级近似分类

零级一级高级组合

1. 波函数单Slater行列式

（稳定分子）多行列式CI, CASSCF

2. Hamilton量 Hatree-Fock (RHF, UHF)

MP2, MP4,CCSD, …

3. DFT 局域密度近似(LDA)

GGA (B3LYP,BLYP, PBE)

4. 基组(MO-LCAO) STO-3G 6-31G系列 Aug-cc-pVnZ

QCISDCASPT2


各种理论模拟方法的适用范围

大原子数可计算量

分子力学 2000 ~ 100万

500 ~ 2000

50 ~ 500

20 ~ 50

CCSD(T) 10 ~ 20 精确能量(弱作用)

< 10

半经验

粗略的几何结构

几何结构(有机分子)

能量(含过渡金属)

能量(弱, 氢键)

HF(DFT)

MP2

磁性(多个多重度)CASPT2


如何满足高精度计算的需求？—— 并行计算

从系统的角度：集成系统资源，以满足不断增长的对性能

和功能的要求

从应用的角度：适当分解应用，以实现更大规模或更细致

的计算

降低单个问题求解的时间.

增加问题求解规模.

提高吞吐率(多机同时执行多个串行程序).


Contents





6. VASP应用示例



并行计算?

资料来源:Tim Mattson Intel Co. Com. Science Lab.Rudolf Eigenmann Purdue Uni. School of Elec. and Comp. Eng.

分而治之!分而治之!


并行计算的实施

• 并行的硬件基础：SMP v.s. Cluster– SMP基于单节点

– Cluster由多个SMP节点组成

• 并行的软件基础：OpenMP v.s. MPI– OpenMP基于多线程概念，只能运行在单节点之内

– MPI基于多进程概念，既可在单节点内多CPU并行，又可实现跨节点并行


并行计算的硬件体系

• 并行计算机就是由多个处理单元组成的计算机系

统，这些处理单元相互通信和协作以快速、高效求解大型复杂问题。

处理单元有多少处理单元的功能有多强处理单元之间怎样连接处理单元的数据如何传递

各处理单元如何相互协作并行程序如何编写


对称多处理机系统(SMP)

• SMP–对称式共享存储:任意处理器可直

接访问任意内存地址,且访问延迟、带宽、机率都是等价的; 系统是对称的；

–微处理器: 一般少于64个;

–处理器不能太多, 总线和交叉开关的一旦作成难于扩展；

–例子: IBM R50, SGI Power Challenge, SUN Enterprise, 曙光一号;


机群系统(Cluster)

• Cluster–每个节点都是一个完整的计算机

–各个节点通过高性能网络相互连接

–网络接口和I/O总线松耦合连接

–每个节点有完整的操作系统

–曙光2000、 3000、4000, ASCI Blue Mountain


集群系统的体系结构


集群系统的物理架构


多线程库标准– Win32 API.– POSIX threads.

编译制导标准– OpenMP 可移植共享存储并行编程标准.

消息传递库标准– MPI– PVM

并行计算的软件体系


OpenMP并行编程模式

• 串行程序的循环语句前插入特定的制导语句，告知编译系统一些有助于对其进行并行的信息，以及/或是强制编译系统按照指定的方式将其并行化

主要应用与SMP构架

结合编译系统的自动并行化功能使用

某些自动化工具，可对程序结构及数据流分析，自动插入适当的OpenMP语句

优点：简单，不需对原算法/程序作大的改动，缺点：

只适合某些机型，且可扩展性不如消息传递

对某些具有强数据相关的过程需改变计算顺序，或修改算法


MPI并行编程模式

• Massage Passing Interface:是消息传递函数库的标准规范，支持Fortran和C

并行程序由一组独立的进程组成，相互通过发送消息实现数据交换

并行应用程序开发的底层编程方式之一，很多其他并行开发语言/工具将程序转化成消息传递类型实现。

优点：通用性好，基于MPI编写的程序可用于任何并行机；MPI已在IBM PC机上、MS Windows上、所有主要的Unix工作站上和所有主流的并行机上得到实现。使用MPI作消息传递的C或Fortran并行程序可不加改变地运行在IBM PC、MS Windows、Unix工作站、以及各种并行机上。

缺点：编制、调试困难，有时需对程序算法做大的改动


MPI:vasp, crystal, q-chem, molcas, molpro, adf, turbomol, amber,dalton, nwchem, mpqc, aces, ……

OpenMP+Linda: Gaussian, Jaguar

OpenMP与MPI阵营对比


并行计算的硬件需求

• CPU：速度快，单节点CPU数量多，相互之间并行效率高；

• 内存：越多越好，通常建议每个CPU核心配2G内存；

• 硬盘：涉及到缓存文件的读写，I/O速度越快越好；

• 网络：节点之间通信速度越高越好；


CPU：AMD六核皓龙™ 处理器-代号 “Istanbul”

• 更多的功能– 适应大量的平台设计

• 工作应用优化– 优化CPU敏感型和内存/IO敏感型的应用

• 总体成本的优势– 一致，通用和设计、高效能帮助降低TCO(总

拥有成本）


AMD六核皓龙™ 处理器(“Istanbul”)

与四核AMD 皓龙™ 处理器 “上海”*相比，性能提升 30%

Series Model Cores Freq NB Wattage L2 Cache L3 Cache Production8000 8435 2.6GHz8000 8431 2.4GHz2000 2435 2.6GHz2000 2431 2.4GHz2000 2427 2.2GHz8000 8425 HE 2.1 GHz2000 2425 HE 2.1 GHz2000 2423 HE 2.0 GHz8000 8439 SE 2.8 GHz2000 2439 SE 2.8 GHz2000 2419EE 6 1.8GHz 2.0GHz TBD 512K/core 6MB Q3

May

Q3

Q3

2.2GHz 75W

2.2 GHz 55W

6 512K/core 6MB

6 512K/core 6MB

2.2 GHz 105W6 512K/core 6MB

*Based on internal testing at AMD performance labs as of 3/27/09. For configuration and performance information see slide 46.

• 真六核

• 全新的HyperTransport™ 超传输HT Assist

• 增强的超传输(HT3)带宽

• 更高性能的集成内存控制器

• 与四核相同的功耗/散热设计


“伊斯坦布尔”中的创新

特点描述好处

六核Socket F (1207) 支持

六核提升性能

HT Assist在多处理器系统减少侦听流量和更快地解

决侦听问题

提升超传输总线的效率

更高性能的超传输™ 3.0 技术大每个通道4.8GT/s 提升系统整体性能

APML 远程电源管理接口(RPMI) 远程监控和P状态的限制与控制降低处理器功耗

x8 ECC 支持 x4 和 x8 纠错出众的可靠性

继续支持即插升级 F (1207) 相同的功耗，六核投资保护


HT Assist 在4路和8路系统中通过减少缓存的侦听流量来显著提升系统性能

• 4路系统的内存带宽性能可以提升~60%(41.5GB/s 有 HT Assist vs. 25.5GB/s 没有HT Assist)1

HT Assist的重要性

对于缓存敏感型应用可以提升性能：

• 数据库

• 虚拟化

• HPC

Without HT Assist

L3

L3L3

L3

CPU 1 CPU 2

CPU 3 CPU 4

10 transactions

With HT Assist

L3

L3L3

L3

CPU 1 CPU 2

CPU 3 CPU 4

2 transactions

= 数据请求

= 数据回应

= 侦听请求

= 侦听回应

= L3 目录

= 读目录

1Based on measurements at AMD performance labs as of May 8, 2009. Please see backup slides 44-45 for configuration information.

Query Example

1


SPEC, SPECfp, SPECint, and SPECjbb are registered trademarks of the Standard Performance Evaluation Corporation. The performance results for Six-Core AMD Opteron™ processor Model 2435 and the SPECjbb result for Quad-Core AMD Opteron™ processor Model 2382 are based upon data submitted to Standard Performance Evaluation Corporation as of May 21, 2009. The other performance results stated below reflect results published on http://www.spec.org/ as of May 21, 2009. The server idle power results are based on measurements of server active idle power for 60 seconds at AMD performance labs as of May 21, 2009. The comparison presented below is based on the best performing two-socket servers using AMD Opteron™ processor Models 2218, 2382, and 2435. For the latest results, visit http://www.spec.org/. Please see backup slides for configuration information.

在近似的功耗范围内，实现更高性能

0%

100%

200%

300%

400%

500%

600%

700%

Dual-CoreAMD Opteron™ processor

Model 2218 (2.6GHz)

Quad-CoreAMD Opteron™ processor ("Shanghai")

Model 2382 (2.6GHz)

Six-CoreAMD Opteron™ processor ("Istanbul")

Model 2435 (2.6GHz)

Rela

tive P

erfo

rman

ce

SPECfp®_rate2006SPECint®_rate2006SPECjbb®2005Server Idle Power

3x core count>3x performance

Same power envelope

配置六核AMD 皓龙™ 处理器的两路服务器与配置双核、四核的AMD 皓龙™ 处理器的服务器在功耗近似的情况下，性能实现大幅度的提升

配置六核AMD 皓龙™ 处理器的两路服务器与配置双核、四核的AMD 皓龙™ 处理器的服务器在功耗近似的情况下，性能实现大幅度的提升

http://www.spec.org/



SPEC, SPECint, SPECjbb, and SPECfp are registered trademarks of the Standard Performance Evaluation Corporation. The results for Six-Core AMD OpteronTM processors are based upon data submitted to Standard Performance Evaluation Corporation as of May 26, 2009. The other results stated above reflect results published on http://www.spec.org/ as of May 26, 2009. STREAM results are based on measurements at AMD performance labs as of May 26, 2009. The comparisons presented above are based on the best performing four-socket servers using AMD Opteron™ processor Model 8435 and Intel Xeon processor Models E7450 and X7460. For the latest results, visit www.spec.org. Please see backup slides for configuration information.

出众的四路服务器性能

137%

137%

177%

467%

100%86%

89%

100%

0% 50% 100% 150% 200% 250% 300% 350% 400% 450% 500%

SPECint®_rate2006

SPECjbb®2005

SPECfp®_rate2006

STREAM (GB/s)

Four-Socket Server Performance Summary

Six-Core AMD Opteron™ processor ("Istanbul") Model 8435 (2.6GHz)Hex-Core Intel Xeon processor ("Dunnington") Model X7460 (2.66GHz / 130W TDP)Hex-Core Intel Xeon processor ("Dunnington") Model E7450 (2.4GHz / 90W TDP)

配置六核AMD 皓龙™ 处理器的服务器在多种应用中完胜配置六核Intel Xeon 处理器的服务器

配置六核AMD 皓龙™ 处理器的服务器在多种应用中完胜配置六核Intel Xeon 处理器的服务器




双路四核CPU并行速度对比

N-porc G03 Total CPU Time (s) 效率加速比

1 2736.5 1 1

2 2752.4 0.99 1.98

4 2899.5 0.94 3.76

8 3110.4 0.88 7.04

Test397 l502: #p rb3lyp/3-21g force test scf=novaracc


1 3712.4 1 1

2 3722.3 0.99 1.98

4 3844.3 0.97 3.88

8 3893.6 0.95 7.60

Xeon E5520 @ 2.27GHz

Opteron 2382 @ 2.6GHz


AMD双路六核CPU并行效率Test397 l502: #p rb3lyp/3-21g force test scf=novaraccOpteron 2431 @ 2.4GHz


1 2975.7 1 1

2 2997.9 0.99 1.98

3 3112.8 0.96 2.88

4 3178.7 0.94 3.76

6 3290.9 0.90 5.40

8 3437.7 0.87 6.96

10 3554.2 0.84 8.40

12 3711.6 0.80 9.60


6核 / 4核 = 1.43

AMD 双路六核CPU加速比

1

1.98

2.88

3.76

5.4

6.96

8.4

9.6

0

2

4

6

8

10

12

0 2 4 6 8 10 12

Number of CPU

1/T


网络：InfiniBand

•传统TCP／IP协议的多层次结构使得复杂的缓冲管理带来很大的网络延迟和操作系统的额外开销问题

•需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构

InfiniBand 应运而生


InfiniBand发展历程

1999首次提出 2004年调整定位

得到主流服务器生产链

上厂商的一致追捧，但

由于协议、软件支持、

初定位问题等，导致

应用受到限制，包括

Intel等厂商一度撤出投

资

调整定位于存储网络、

计算网络的应用，软件

方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转

换，InfiniBand又开始得

到欢迎


InfiniBand体系架构

InfiniBand标准定义了一套用

于系统通信的多种设备，包括

信道适配器、交换机和路由器

信道适配器用于同其它设备的

连接，包括主机信道适配器

（HCA）和目标信道适配器

（TCA）

交换机是 InfiniBand结构中的

基本组件

点到点的交换结构：解决了共

享总线、容错性和可扩展性问

题

具有物理层低功耗特点和箱外

带宽连接能力

CPU 链路

网络

链路

链路链路

链路

目标

TCA

交换机内存控制器

系统内存主

机内部互联

CPU

TCA 目标HCA

xCA

路由器

xCA

路由器

CPU

xCA= HCA 或TCA


高速度目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps。下一代采用QDR，带宽最高可达120Gbps

远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。

传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担

InfiniBand的特点

曙光曙光5000A5000A采用基于采用基于DDRDDR的的 InfinibandInfiniband计算网络，实现了节点间计算网络，实现了节点间20Gb/s20Gb/s的传输速的传输速度，达到当时业界快的小于度，达到当时业界快的小于1.3us1.3us延时，延时，LinpackLinpack测试并行效率高达测试并行效率高达77.35%77.35%。。

MPIMPI结合结合InfiniBandInfiniBand，有望实现高效率的多节点并行。，有望实现高效率的多节点并行。

应用软件对其支持越来越广泛，如应用软件对其支持越来越广泛，如VASPVASP软件在传统以太网上的并行上限设定为软件在传统以太网上的并行上限设定为1616个核心，改用个核心，改用InfiniBandInfiniBand可以实现更大规模的并行计算。可以实现更大规模的并行计算。


Contents





6. VASP应用示例



机群使用中的问题机群使用中的问题

• 机群结构的松散性

• 节点类型的差别

（CPU类型、内存大小、数量等）

• 系统资源丰富（节点/CPU）

• 用户不同类型的作业（串行/并行）

• 用户可以使用资源的限制


任务管理系统的功能任务管理系统的功能

• 单一系统映象– 机群松散的结构的整合

• 系统资源整合– 异构系统的整合

• 多用户的管理– 用户提交的任务的统一安排，避免冲突

• 用户权限的管理– 非授权用户的控制


作业管理系统的组成作业管理系统的组成

• 资源管理器：管理集群的硬件资源及认证信息等

• 队列管理器：管理当前所有已提交但还未完成的作业

• 调度器：为作业分配资源


作业管理系统的结构作业管理系统的结构

2010-3-14 46/114物理化学理论模拟与并行计算2010年3月 46/58

PBSPBS的技术特色的技术特色

• 力求控制对批处理的初始化和调度执行，允许作业在不同主机间的路由。

• 独立的调度模块存有各个可用的排队作业、运行作业和系统资源使用信息，并且允许系统管理员定义资源和每个作业可使用的数量。

• 在作业调度策略上，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL、C三种过程语言和调度类，并定义了一些调度需要的函数和完整的API，方便实现新的调度策略。

• 提供文件传送，File Stage-in 和Stage-out。• 满足POSIX1003.2d 标准，支持作业依赖，和完整的安全认证。

• 提供用户映射功能，使PBS 能用于用户不一致的系统中。


PBSPBS的结构的结构


PBS PBS 的组成的组成

• PBS基本组件

– pbs command:用于提交、监视、修改和删除作业

– pbs server: 提供基本的批处理服务，例如接收/创建一个批处理作业，管理维护作业队列，管理输

出结果等。

– pbs mom:是一个守护进程，从pbs server处接收

作业后放入其执行队列中等待执行。

– scheduler(maui): 对用户提交的作业进行调度


1. 准备：编写描述改作业的脚本，包括作业名，需要的资源等。

2. 提交：使用qsub命令将该作业提交给PBS服务器

3. 排队：服务器将该任务排入适当的队列4. 调度：服务器检查各工作节点的状态是否符合该作业的

要求，并进行调度。5. 执行：当条件满足时，作业被发给相应的执行服务器执

行。程序运行时执行服务器会收集程序的标准输出和标准错误流，等程序结束时，将这些信息返回给用户。

6. 查询和调整：当作业在运行时，用户可以使用qstat进行状态查询。用户发现作业提交错误时，可以使用qdel删除正在运行的作业。

7. 查看结果：使用文本编辑软件vi或者系统命令cat, less等查看输出及错误信息显示。

PBSPBS的使用步骤的使用步骤


PBS PBS 的基本命令的基本命令

在PBS系统中，用户使用qsub 命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，作业脚本使用如下格式提交到PBS系统运行：

[zhaocs@node1 ~]$ qsub <PBS作业脚本>


qsubqsub运行参数运行参数

运行参数说明

-a <作业开始运行的时间> 向PBS系统指定作业运行的开始时间。作业运行时间格式为： [[[[CC]YY]MM]DD]hhmm[.SS]

-A <用户名> 使用不同的用户来提交作业，缺省使用当前用户名

-o <标准输出文件的路径>-e <标准错误输出的路径>

该参数指定标准错误输出的位置，缺省的情况下，PBS系统把标准输出和标准错误输出放在用户qsub命令提交作业的目录下。标准错误输出：<作业名>.o<作业号>标准错误输出：<作业名>.e<作业号>路径使用如下格式标准： [<节点名>:]<路径名>

-N <作业名> 指定提交的作业名

-q <目标队列> 指定作业提交的目标队列，其中目标队列可以是目标队列、目标节点名或者是目标节点上的队列。如果目标队列是一个路由队列，那么服务器可能把作业路由到新的队列中。如果该参数没有指定，命令qsub会把作

业脚本提交到缺省的队列中。

-l <申请资源列表> 该参数指定作业脚本申请的PBS系统资源列表。

申请资源列表使用如下格式：<资源名>[=[<数量>]][,资源名[=[<数量>]]， …..]

例如作业希望申请在双路节点上申请4个CPU资源的情况，

则可以在脚本中如下：#PBS –l nodes=2:ppn=2


• qsub -l nodes=12

• qsub -l nodes=1:ppn=4

• qsub -l nodes=4:ppn=2

• qsub -l nodes=2:server+14

• qsub -l nodes=server:ib+3:bigmem:ib

• qsub -l nodes=node01+node02+node03

• qsub -l nodes=2:blue:ppn=2+red:ppn=3+b1014

• qsub -l mem=200mb /home/script.sh

• qsub -l nodes=node01,mem=200mb /home/script.sh

• qsub -l other=matlab /home/user/script.sh

qsubqsub ––l: l: 申请资源申请资源$TORQUEHOME/server_priv/nodes

node01 bigmem dualcore

node02 np=4 bigmem matlab

……


利用队列分组管理资源利用队列分组管理资源

• $TORQUE_HOME/server_priv/nodes:

node01 np=16 chem

node02 np=16 chem

node03 np=8 rfpa

node04 np=8 rfpa

……qmgr -c “set queue chem resources_default.neednodes=chem”

qmgr -c “set queue rfpa resources_default.neednodes=rfpa”


PBSPBS的环境变量的环境变量

变量名说明

登陆SHELL继承来的变量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。

$PBS_O_HOST qsub提交的节点名称

$PBS_O_QUEUE qsub提交的作业的最初队列名称

$PBS_O_WORKDIR qsub提交的作业的绝对路径

$PBS_JOBID 作业被PBS系统指定的作业号

$PBS_JOBNAME 用户指定的作业名，可以在作业提交的时候用qsub –N <作业名>指定，或者在PBS脚本中加入#PBS –N <作业名>。

$PBS_NODEFILE PBS系统指定的作业运行的节点名。该变量在并行机和机群中使用。当在PBS脚本中用#PBS –l nodes=2:ppn=2指定程序运行的节点数时，可以使用$PBS_NODEFILE在脚本中引用PBS系统指定的作业

运行的节点名。比如：#PBS –l nodes=2:ppn=2mpirun –np 4 –machinefile $PBS_NODEFILE <程序名>

$PBS_QUEUE PBS脚本在执行时的队列名


• 注释,以“#”开头

• PBS指令,以“#PBS”开头

• SHELL命令

PBS PBS 作业脚本作业脚本

#PBS –N vasp.Hg#PBS –l nodes=8:ppn=2#PBS –q @node1

echo "This jobs is "$PBS_JOBID@$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp


PBS PBS 作业脚本举例作业脚本举例

# 这是一个串行作业脚本的例子#PBS –N Loop.out#PBS –l nodes=1:ppn=1

cd /public/home/zhaocs/test/./a.out > $HOME/result/a.result

# 这是一个并行作业脚本的例子#PBS –N vasp.Hg#PBS –l nodes=8:ppn=2#PBS –q @node1

echo "This jobs is "$PBS_JOBID@$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp


GaussianGaussian--PBSPBS作业示例作业示例

#! /bin/sh#PBS -N g03job#PBS -l nodes=1:ppn=16export GAUSS_SCRDIR=/tmpexport g03root=/public/src/gaussian. $g03root/g03/bsd/g03.profilecd /public/home/weily/g03jobfor COM in `ls -D|grep “.gjf"`doJOBNAME=`basename “$COM” .gjf`STARTTIME=`date`STIME=`date +%s`/public/src/gaussian/g03/g03 < $COM > "$JOBNAME.log"echo >>"$JOBNAME.log"echo g03 job started: $STARTTIME >>"$JOBNAME.log"echo g03 job finished: `date` >>"$JOBNAME.log"let ETIME=`date +%s`-$STIMEecho Elapsed time: $ETIME >>"$JOBNAME.log"done


一个较复杂的一个较复杂的PBSPBS作业脚本作业脚本

#!/bin/bash#PBS -N jobname#PBS -l nodes=4:ppn=2cat `echo $PBS_NODEFILE` > $HOME/$PBS_JOBID.nodesfor node in `cat $HOME/$PBS_JOBID.nodes`

dorsh $node mkdir /tmp/$PBS_JOBIDrsh $node cp -rf $PBS_O_WORKDIR/* /tmp/$PBS_JOBID/

done

cd /tmp/$PBS_JOBIDmpirun -np 8 -machinefile $PBS_NODEFILE $HOME/bin/vaspcp -rf /tmp/$PBS_JOBID/* $PBS_O_WORKDIR/

for node in `cat $HOME/$PBS_JOBID.nodes`do

rsh $node rm -rf /tmp/$PBS_JOBIDdone

rm $HOME/$PBS_JOBID.nodes


查询作业运行的位置查询作业运行的位置

[zhaocs@node1 ~]$ pbsnode -an

[zhaocs@node1 ~]$ qstat –r

查询作业命令 qstat [参数]，其中参数可为:-q 列出系统队列信息

-Q：列出队列的一些限制信息

-an：列出队列中的所有作业

-r：列出正在运行的作业

-f jobid：列出指定作业的信息

-Qf queue：列出指定队列的所有信息

-B：列出PBS服务器的相关信息


查询和取消作业查询和取消作业

[dawning@node1 ~]$ qstatJob id Name User Time Use S Queue---------------- ---------------- ---------------- -------- - -----93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default

[zhaocs@node1 ~]$ qdel 93.node1

• 作业删除命令：qdel 作业号

• 注意事项

1、非root用户只能查看、删除自己提交的作业

2、在提交作业时一定要根据自己的使用的机器数估算内存，把其写进

作业提交脚本里。

3、默认设置root用户无法提交作业


• 提交作业

实例演示

• 查询作业(1)


实例演示

• 查询作业(2)

• 查询作业(3)


• 删除作业

实例演示


Contents





6. VASP应用示例



G03与GaussView

• 1. G03输入文件的结构– 系统参数（计算机软、硬件设置）

– 理论等级及基组

– 分子信息（电荷,多重度和原子坐标）

– 附加信息

• 2. GaussView与G03W图形界面– 构建分子模型

– 设置计算参数

– 分析计算结果


G03输入文件的结构


示例：水分子的构型优化


软、硬件参数设置

• %chk=aa.chk.chk文件包含了所有计算结果, 是GaussView分析结果的主要文件

• %rwf=aa,2000MB,bb,2000MB…….rwf文件是主要读写文件, 随体系增大, 32位机上单个不能超过2GB,

可以分割为2000MB文件, 总体不能超过16GB。

• %mem=600MBPC机上，WinXP系统总内存减去400MB；Linux系统减200MB

• %nproc=2 指定并行计算使用的cpu数


任务类型、理论方法及基组

• 任务类型单点能计算(sp)，几何优化(opt)，频率(freq)，反应过渡态(irc)

• 理论方法HF，MP2， B3LYP，CCSD(T)，CASSCF

• 基组STO-3g， 6-31G(d,p)，6-31++G(d,p)，LanL2dz，

Aug-cc-pVTZ，…


建立分子模型的步骤

1. 简化体系，找出活性中心: 配位中心, 反应中心

2. 划定感兴趣的区域: 主要配体及官能团

3. 根据化学知识进行剪切断键,用类似原子或官能团补全: 用氢原子代替甲基等

4. 对削减太多的模型, 至少建立两个层级的模型, 互相比较结果以确定能反映本质的小模型

5. 利用小模型进行详细研究, 解释实验结果和现象: 结构稳定性, 稳构型等


分子结构的来源

1. 单晶结构，cif格式

2. 蛋白质数据库，pdb格式

3. 其它理论模拟的结果如文献的support information

4. 手动构建ChemDraw(2D) -> Chem3D(mol) -> GaussView


分子的稳定构型

• 理论计算的第一步一般是先优化结构，得到目标模型的稳定结构(理论上)！

• 确定分子的稳定结构就是找到分子的极小能量点, 比较不同构形的能量差，确定稳定构形。结构决定性能！

• 对于较大的分子, 起始构型对终的构型影响是很大的, 比如此分子存在两个可能的稳定构型, 对应于势能面上的两个极小点

极小点小点


基组选用的原则

• 初步寻找分子结构用小基组, 然后再用大基组进一

步计算

• 一般必须包含极化基组，这相当于中等基组

• 氢键、大π键或共轭相互作用，应该包含弥散基组

• 为了提高速度，可以对中心及其附近使用精度高的基组，而外围用精度低的基组以降低计算量


计算过渡态注意事项

• 寻找过渡态需要的时间，比寻找分子稳定结构要多很多

• 过渡态必须进行频率验证，确保振动频率中有且仅有一个简正振动频率为虚数。

• 一般过渡态都涉及到键的断裂与生成，因此即使是自旋多重度为1的体系，也应该用非限制性的理论方法来做。

• 设想一个键的均裂反应，原来成对的两个电子在反应过

程中是要分别属于两个自由基的，不会占据同一个空间轨道了。


技巧及建议

• 计算机配置：每个CPU配1GB或2GB内存

• 大计算量好在Linux系统下进行

• Gaussian03可以直接多CPU并行(单节点), 但是必须采用Linux系统才能实现跨节点并行。

• 大体系几何优化先用小基组进行优化，再用大基组进行

• 尽可能构造小的模型进行计算


GaussView图形界面


任务类型


方法与基组


理论方法


选择基组


自旋多重态


系统参数设置


打开G03计算的输出文件(.log 或 .out)

GaussView查看结果


Summary

计算结果概要


Surfaces

显示分子的三维数据


Surfaces

显示分子轨道


Vibrations

显示拟合的谱图


Gaussian练习：乙烯分子的最优构象与垂直激发


• 几何优化做的工作就是寻找极小值，而这个极小值，就是分子的稳定的几何形态。对于所有的极小值和鞍点，其能量的一阶导数，也就是梯度，都是零，这样的点被称为稳定点。所有的成功的优化都在寻找稳定点，尽管找到的并不一定就是所预期的点。

• 几何优化由初始构型开始，计算能量和梯度，然后决定下一步的方向和步长，其方向总是向能量下降快的方向进行。大多数的优化也计算能量的二阶导数，来修正力矩阵，从而表明在该点的曲度。

• 收敛标准：当一阶导数为零的时候优化结束，但实际计算上，当变化很小，小于某个量的时候，就可以认为得到优化结构。G03默认的条

件是：

– 力的大值必须小于0.00045

– 均方根小于0.0003

– 为下一步所做的取代计算为小于0.0018

– 其均方根小于0.0012

1. 乙烯分子的优构象



菜单：Calculate -> Gaussian Calculation Setup设置计算任务类型为optimization


设置计算对象为基态，使用自旋限制的HF，基组为6-31G(d)



提交计算：

保存Gaussian计算脚本；

上传文件：

qsub提交到作业调度系统；

检查计算过程是否正常；

下载计算结果；

1. 乙烯分子的优构象#! /bin/sh#PBS -N g03job#PBS -l nodes=1:ppn=8export GAUSS_SCRDIR=/tmpexport g03root=/public/software/qchem. $g03root/g03/bsd/g03.profilecd $PBS_O_WORKDIRfor COM in `ls -D|grep “.gjf"`doJOBNAME=`basename “$COM” .gjf`STARTTIME=`date`STIME=`date +%s`/public/software/qchem/g03/g03 < $COM > "$JOBNAME.log"echo >>"$JOBNAME.log"echo g03 job started: $STARTTIME >>"$JOBNAME.log"echo g03 job finished: `date` >>"$JOBNAME.log"let ETIME=`date +%s`-$STIMEecho Elapsed time: $ETIME >>"$JOBNAME.log"done



打开log文件，显示原子电荷，菜单：Results -> Charge Distribution



找到chk文件，并用GV打开，查看轨道形状；菜单：Results -> Surfaces and Contours



显示HOMO轨道



显示LUMO轨道


2. 乙烯分子的垂直激发

设置计算类型为Energy (单点能)



设置计算方法为CIS ，基组添加弥散函数，考虑单重态和三重态


提交计算：

保存Gaussian计算脚本；

上传文件：

qsub提交到作业调度系统；

检查计算过程是否正常；

下载计算结果；

#! /bin/sh#PBS -N g03job#PBS -l nodes=1:ppn=8export GAUSS_SCRDIR=/tmpexport g03root=/public/software/qchem. $g03root/g03/bsd/g03.profilecd $PBS_O_WORKDIRfor COM in `ls -D|grep “.gjf"`doJOBNAME=`basename “$COM” .gjf`STARTTIME=`date`STIME=`date +%s`/public/software/qchem/g03/g03 < $COM > "$JOBNAME.log"echo >>"$JOBNAME.log"echo g03 job started: $STARTTIME >>"$JOBNAME.log"echo g03 job finished: `date` >>"$JOBNAME.log"let ETIME=`date +%s`-$STIMEecho Elapsed time: $ETIME >>"$JOBNAME.log"done



• 计算结果

跃迁 1 2 3 4对称性 3B1u 3B3u 1B3u 1B1u能量 3.78 7.43 7.83 7.98实验值 4.36 7.66 6.98 7.15




GV打开log文件，显示拟合的UV-VIZ谱图，菜单：Results -> UV-VIZ


Contents





6. VASP应用示例



#!/bin/sh# Parallel Environment Setting for Materials Studio 4.4

export MS_INSTALL_ROOT=/public/software/qchemexport MS_LP_PATH =$MS_INSTALL_ROOT/dmol3/LicensePackexport LD_LIBRARY_PATH=$MS_LP_PATH/lib:$LD_LIBRARY_PATH

export DMOL_TMP=/tmpexport TMPDIR=$DMOL_TMPexport DMOL3_DATA=$MS_INSTALL_ROOT/dmol3/dataexport PSPOT_DIR=$MS_INSTALL_ROOT/castep/Potentials

source $MS_INSTALL_ROOT/dmol3/LicensePack/etc/lp_profilesource /public/software/mpi/hpmpi/hp_mpi-env.sh

设置Materials Studio环境变量

cat /public/software/qchem/dmol3/ms-env.sh


#! /bin/sh#PBS -N dmol3-job#PBS -l nodes=1:ppn=8

cd $PBS_O_WORKDIRsource /public/software/qchem/dmol3/ms-env.sh

mpirun -np 8 -prot -ibv -cpu_bind=v \/public/software/qchem/dmol3/dmol3_mpi.exe h2o

提交Dmol3任务

Dmol3输入输出文件

h2o.input : 计算方法与基组

h2o.car : 分子三维结构

h2o.outmol : 输出结果


#! /bin/sh#PBS -N castep-job#PBS -l nodes=1:ppn=8

cd $PBS_O_WORKDIRsource /public/software/qchem/dmol3/ms-env.sh

mpirun -np 8 -prot -ibv -cpu_bind=v \/public/software/qchem/castep/castepexe_mpi.exe Pb

提交Castep任务

Castep输入输出文件

Pb.param : 计算类型、方法

Pb.cell : 晶体结构、K点、赝势

Pb.castep : 输出结果


Contents





6. VASP应用示例



#! /bin/sh#PBS -N vasp-job#PBS -l nodes=1:ppn=8#PBS -j oe

cd $PBS_O_WORKDIRNP=`cat $PBS_NODEFILE|wc -l`source /public/software/mpi/openmpi1.4-pgi.sh

mpirun -np 8 -np $NP -machinefile $PBS_NODEFILE \--mca btl “self,openib” /public/software/qchem/vasp/vasp-openmpi-pgf90

提交VASP任务

VASP输入输出文件

INCAR KPOINTS POSCAR POTCAR

OUTCAR DOSCAR CHGCAR WAVECAR …


Contents





6. VASP应用示例



谢谢！[email protected]

物理化学理论模拟与并行计算 -...

Documents