中海集装箱天津有限公司塘沽片区虚拟化实施 报告
TRANSCRIPT
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
中海集装箱天津有限公司
塘沽片区虚拟化实施报告
中海信息系统有限公司
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 1页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
2011年 7月 4日
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 2页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
目录1. 概述..................................................................................................................................................................3
1.1. 项目概述..................................................................................................................................................3
1.2. 报告导读..................................................................................................................................................3
2. 项目背景..........................................................................................................................................................4
2.1. 中海集运天津公司塘沽片区信息系统环境简介..................................................................................4
3. 详细实施过程..................................................................................................................................................5
3.1. 一、EQUALLOGIC的初始化..................................................................................................................5
3.2. 二、EQUALLOGIC的配置......................................................................................................................7
3.3. 三、VMWARE连接 EQ的配置...........................................................................................................11
3.4. 四、格式化,创建相应的VMFS........................................................................................................16
3.5. 五、配置 ESX主机实现HA................................................................................................................21
3.5.1创建数据中心........................................................................................................................................213.5.2数据中心添加 ESX主机.......................................................................................................................213.5.3创建主机群集........................................................................................................................................22
4. 服务器检查报告............................................................................................................................................29
5. 数据库部署报告............................................................................................................................................30
6 备份策略..............................................................................................................................................................32
7 CARGO程序维护...............................................................................................................................................33
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 3页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
1.概述
1.1.项目概述
本项目是由天津集运在塘沽片区投资内贸 CARGO系统的一期新硬件设备
平台。由DELL公司及中海信息在一周时间内共同完成服务器部署、数据库迁
移等工作。天津集运塘沽片区的 CARGO系统已从物理迁移到、一个具有高度
扩充能力,并且带有良性资源循环的架构体系。
1.2.报告导读
本方案主要由以下部分组成:
1、 概述
2、 项目背景
3、 详细实施过程
4、 服务器检查报告
5、 数据库部署报告
6、 备份策略
7、 程序维护
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 4页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
2.项目背景
2.1.中海集运天津公司塘沽片区信息系统环境简介
中国海运集装箱天津运输有限公司之前 CARGO业务系统部署在 5台 2003年左右采
购的DELL服务器上。其中 3台服务器采用 LINUX操作系统, 分别部署了内贸、箱管
(网上订舱)、JBOSS应用服务器等。另外还有 2台DELL服务器左右内贸单证、及箱管
应用服务器。所有业务数据均保存在本地硬盘中,数据安全与运算性能的降低,以及随
之带来的高昂的维修和维护成本等风险。天津集运公司于 2010年通过采购计划,购买
了 2台DELL R910服务器及一台 EQLOGIC存储,以及 2台千兆交换机。
至此,塘沽片区在进行虚拟化改造后,完成了如下目标:
PC服务器整合,基本将 5台业务系统主机和应用服务器整合到 2台物理服务器
上,充分利用高性能服务器的资源。
数据安全保护,将操作系统和业务数据都部署在 SAN环境中,并另外定期做数
据备份,保护数据安全。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 5页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
简化服务器管理,能通过集中的管理端来快速解决问题,良好的业务架构和规
划使得服务器的管理更细致。
备份管理,能按时通过数据库备份脚本来备份数据库备份文件,在初次安装时
备份虚拟服务器镜像封装文件。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 6页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.详细实施过程
3.1.一、EqualLogic的初始化
1.启动初始化软件
点击”开始”.”程序”,双击”EqualLogic”.”Remote Setup Wizard”,如图:
2.初始化软件会自动扫描到存储设备的 Seril Number等相关信息。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 7页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.设置 EQ参数
4.设定新的GROUP名称.IP.密码以及Membership password等。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 8页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
5.完成 EQ的初始化。
6.初始化完成,成功创建Group。
3.2.二、EqualLogic的配置
1.在客户端用 IE登录 EQ(需要 J2RE 1.6),在地址栏输入 EQ 的 groupIP即可,出现如图界面,
输入 grpadmin及 password
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 9页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
2.时区的配置,方便在以后管理中查看事件日志。
3.Member网卡的 IP配置。输入 IP.Netmask.Gateway。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 10页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
4.Volume的划分。
(1)右键单击”Volume”.”Create Volume”。输入Volume name,单击”Next”,继续。
(2)输入Volume Size,这里采用精简模式。单击”Next”,继续。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 11页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
(3)这里先选择“No access”允许不同的 initiators用不同的 IQN来连接存储。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 12页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
(4)Volume的建立完成。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 13页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.3.三、VMware连接 EQ的配置
为 iscsi存储添加独立的 vSwitch,通过 ssh远程登录到 ESX 主机中,使用命令行来添加,命令:
esxcfg-vswitch --add vSwitch1
将 vSwitch的MTU值调整为:9000,命令:esxcfg-vswitch -m 9000 vSwitch1
将用于传输 iscsi的 vmnic4.vmnic5添加到 vSwitch1当中。命令:esxcfg-vswitch -L vmnic4
vSwitch1.esxcfg-vswitch -L vmnic5 vSwitch1 如图:
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 14页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
configure the IP Address, Subnet Mask and enable Jumbo Frame supportfor the new VMkernel Port
iSCSI1.iSCSI2.iSCSI3.iSCSI4。Comand:
esxcfg-vswitch -A iSCSI1 vSwitch1esxcfg-vswitch -A iSCSI2 vSwitch1esxcfg-vswitch -A iSCSI3 vSwitch1esxcfg-vswitch -A iSCSI4 vSwitch1
5.create 5 more VMkernel Ports named iSCSI2, iSCSI3, iSCSI4, iSCSI5 and iSCSI6.Then configure the IP Addresses, subnet masks and enable Jumbo Frames.esxcfg-vmknic -a -i 192.168.100.210 -n 255.255.255.128 -m 9000 iSCSI1esxcfg-vmknic -a -i 192.168.100.211 -n 255.255.255.128 -m 9000 iSCSI2esxcfg-vmknic -a -i 192.168.100.212 -n 255.255.255.128 -m 9000 iSCSI3esxcfg-vmknic -a -i 192.168.100.213 -n 255.255.255.128 -m 9000 iSCSI4
6.verify the configuration enter the following command:[root@localhost ~]# esxcfg-vswitch -lSwitch Name Num Ports Used Ports Configured Ports MTU Uplinks vSwitch0 128 3 128 1500 vmnic0 PortGroup Name VLAN ID Used Ports Uplinks
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 15页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
VM Network 0 0 vmnic0 Service Console 0 1 vmnic0 Switch Name Num Ports Used Ports Configured Ports MTU Uplinks vSwitch1 128 7 128 9000 vmnic4,vmnic5PortGroup Name VLAN ID Used Ports Uplinks iSCSI4 0 1 vmnic4,vmnic5 iSCSI3 0 1 vmnic4,vmnic5 iSCSI2 0 1 vmnic4,vmnic5 iSCSI1 0 1 vmnic4,vmnic57.Bindingvmnics to VMkernel Ports
esxcfg-vswitch –p iSCSI1 –N vmnic4 vSwitch1esxcfg-vswitch –p iSCSI2 –N vmnic4 vSwitch1esxcfg-vswitch –p iSCSI3 –N vmnic5 vSwitch1esxcfg-vswitch –p iSCSI4 –N vmnic5 vSwitch1
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 16页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
8.开启iscsi软件适配器 esxcfg-swiscsi -e
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 17页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
9.discover all SCSI devices,including the iSCSI software adapter
esxcfg-scsidevs –a
10.map each VMkernel Port to the iSCSISoftware Initiator. This is done through the CLI by typing the following commandesxcliswiscsinic add -n vmk1 -d vmhba37esxcliswiscsinic add -n vmk0 -d vmhba37esxcliswiscsinic add -n vmk2 -d vmhba37esxcliswiscsinic add -n vmk3 -d vmhba37
11.添加存储的Group IP
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 18页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
12.在EQ中,修改Volume的ACL,添加ESX主机的IQN:iqn.1998-01.com.vmware:localhost-
29530a95,重新扫描软件适配器。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 19页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
13.查看多路径效果,方式为循环。这里Multpath为4条。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 20页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.4.四、格式化,创建相应的VMFS
1.选择”存储器”,添加”存储器”。
2.选择”磁盘/LUN”,单击”Next”
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 21页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.选择其中一个LUN。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 22页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
4.输入datastore的名称,这里为:vdisk1.vdisk2。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 23页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
5.选择最大的文件大小,2T。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 24页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
6.添加完成。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 25页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
7.同样的方法为另一台ESX主机vcscl2重新扫描存储适配器当中的软件iscsi适配器,添加之前已经格
式化完毕并可以使用的存储器。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 26页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.5.五、配置 ESX主机实现HA
3.5.1创建数据中心
3.5.1打开VMware Client,输入Vcenter的管理员账号和密码,登录到Vcenter当中。
3.5.2单击”新建数据中心”
3.5.3这里输入数据中心名称为 CSCLTG
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 27页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.5.2数据中心添加 ESX主机
3.5.2单击”添加主机”,打开添加主机向导,输入 ESX主机的 IP地址、账号、密码。
3.5.3添加完成之后可以看到树结构,2台 ESX主机为:10.16.34.3、10.16.34.4
3.5.3创建主机群集
3.5.3右键单击数据中心,选择新建群集
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 28页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.5.4输入群集名称这里为:esx-ha,这里暂时不勾选打开VMware HA 和DRS
3.5.5保持默认,禁用EVC功能,处理器型号可能在其提供的CPU 功能方面不同,在虚拟机中运行
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 29页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
的应用程序可以利用这些功能。因此,无法使用VMotion® 在具有不同功能集的处理器上运行的系
统之间迁移虚拟机。在某些情况下,通过将增强型VMotion
兼容性 (EVC) 用于支持此功能的处理器,可以避免此限制,因为这里的两台ESX主机CPU配置是一
样的,所以不需要开启EVC功能。
3.5.4此时群集建完之后是一个空的群集,我们需要将 2台 ESX主机添加到群集当中来
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 30页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.5.5单击”添加主机”
3.5.6编辑群集,打开 VMware HA功能,因为这里的 ESX主机版本为标准版,不含有 DRS功能,
所以这里不勾选VMware DRS,单击”确定”。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 31页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.5.7这里会有黄色警示灯,因为群集创建过程正在向各个 ESX主机安装配置HA代理。
3.5.8群集配置完成之后,状态恢复正常。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 32页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3.5.9虚拟机选项,这里保持默认即可。
3.5.10启用虚拟机监控功能,敏感度调为低。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 33页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 34页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
4.服务器检查报告
ESX服务器 日志检查 空间检查 说明
10.16.34.3正常
10.16.34.4正常
Vcenter 服务器
Vcenter系统日
志 警报 任务与事件 HA的状态
10.16.34.21正常 正常 正常 无切换
虚拟服务器 日志检查 空间检查 说明
10.16.34.10正常 正常
Vcscltg_Appeds
10.16.34.22正常 正常
Vcscltg_Appems
10.16.34.25正常 正常
Vcscltg_edsdbserver (RED HAT)
10.16.34.23正常 正常
Vcscltg_emsdbserver (RED HAT)
10.16.34.26正常 正常
Vcscltg_JBOSS (RED HAT)
其他服务器 日志检查 空间检查 说明
10.16.34.9正常 正常 单证应用
10.16.34.15正常 正常 单证应用
10.16.34.16正常 正常 外贸 CARGO应用
10.16.34.24正常 正常 内贸应用
10.16.34.28正常 正常 数据库冷备机
10.16.34.1正常 正常 域控DNS
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 35页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
5.数据库部署报告
数据库维护
SID EDSDB SCHEMA EDS
项目 情况 说明
检查表空间 新创建 见右表
缓冲命中率 正常
alert_log*正常
listener_log正常
表数据字典统计分析时间6/30/2011
索引数据字典统计分析时间6/30/2011
说明: 参数调整 Shard Pool Size 500MB Open cursors 1000 Buffer Cahche Size 500MB processes 600 Java Pool Size 100MB sessions 600 Large Pool Size 100MB catpatch.sql YES PGA Size 500MB
archive文件存放位置/oradata/archive
init文件存放位置/oradata/init/pfile
trace文件存放位置/oradata/trace
control文件存放位置/oradata/EDSDB
DATA文件存放位置/oradata/EDSDB
检查人: 周巳佳 检查时间:7/1/2011
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 36页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
数据库维护
SID EDSECDB SCHEMA EMS EDS
项目 情况 说明
检查表空间 新创建 见右表
缓冲命中率 正常
alert_log*正常
listener_log正常
表数据字典统计分析时间6/30/2011
索引数据字典统计分析时间6/30/2011
说明: 参数调整 Shard Pool Size 500MB Open cursors 1000 Buffer Cahche Size 600MB processes 600 Java Pool Size 64MB sessions 600 Large Pool Size 100MB catpatch.sql YES PGA Size 400MB
archive文件存放位置/oradata/archive
init文件存放位置/oradata/init/pfile
trace文件存放位置/oradata/trace
control文件存放位置/oradata/EDSECDB
DATA文件存放位置/oradata/EDSECDB
检查人: 周巳佳 检查时间:7/1/2011
表空间 EDS:
TABLESPACE_NAMEtotal_size(MB) used_size(MB) free_size(MB) USED_RATE
1 EXAMPLE 138 137.562 0.438 99.59%2 SYSTEM 440 434.062 5.938 98.65%
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 37页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
3 XDB 47 44.375 2.625 94.67%4 CWMLITE 20 17.562 2.438 87.81%5 USERS 20460 14548.625 5911.375 71.11%6 DRSYS 20 9.687 10.313 48.44%7 ODM 20 9.375 10.625 46.88%
8 INDX 4092 1209.375 2882.625 29.55%9 UNDOTBS1 2048 22.375 2025.625 1.09%
10 TOOLS 10 0.062 9.938 0.62%
表空间 EMS_EDSEC
TABLESPACE_NAMEtotal_size(MB) used_size(MB) free_size(MB) USED_RATE
1 EXAMPLE 138 137.562 0.438 99.59%2 SYSTEM 440 432.062 7.938 98.20%3 XDB 47 44.375 2.625 94.67%4 CWMLITE 20 17.562 2.438 87.81%5 USERS 8184 5195.312 2988.688 63.48%6 DRSYS 20 9.687 10.313 48.44%7 ODM 20 9.375 10.625 46.88%
8 INDX 4092 1552.875 2539.125 37.95%9 UNDOTBS1 2048 33.375 2014.625 1.63%
10 TOOLS 10 0.062 9.938 0.62%
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 38页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
6 备份策略
备份检查维护
级别 策略 说明
存储卷 ESX 快照 每 3小时 全部恢复存储卷到 3小时前
数据库导出 导出DMP文件 每天 12小时 每天 1点定时导出
虚拟机快照 快照 6月 29日
可恢复单台虚拟机到操作
系统安装完毕状态
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 39页 共 40页
中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
7 CARGO程序维护
在服务器虚拟化工作完成好之后,需要在新的服务器虚拟机环境中部署程序并进行测
试,主要工作如下:
1. 配置内贸,箱管的APP应用服务以及关联服务器,并进行内贸和箱管程序的测试。
2. 重新安装并配置内贸网上 JBOSS,并进行内贸网上平台功能的测试。
3. 与内贸,外贸以及箱管的操作人员一起针对系统存在的问题进行开会讨论,并予以
解答,同时对需要系统调整的问题做好记录,需要做进一步的分析后再进行解决。
4. 对箱管门禁程序刷卡时拆分费用功能进行了程序的调整,并部署给操作人员进行测
试。
5. 对箱管自动审核机自动接受进口的 EIR功能进行了程序调整,并部署给操作人员进
行测试。
6. 针对箱管操作人员反馈的箱管动态导入存在的问题,进行了程序的调整。
7. 按照用户的格式要求,对于内贸的提单打印模板进行了调整。
8. 对内贸客户资料的结算单位选项进行了批量更新。
地址:上海市虹口区东大名路 700号 8楼 邮编:200080电话:8621-65966830,65966836 传真:8621-65966837
第 40页 共 40页