openstack network planning
DESCRIPTION
Session about OpenStack Network Planning by Yong Peng in the 2012 OpenStack APAC ConferenceTRANSCRIPT
目 录挑战和选择
Vlan 规划
IP 地址规划
PubYun 参与 openstack
亚马逊 aws 的规模
数据来源： http://venturebeat.com/2010/08/03/amazon-web-services-generating-an-estimated-500m-in-revenue-thanks-in-part-to-growth-of-social-games/
2011 年 aws 营收 $1.2billion
2012 第一季度 $500million
2012 年 aws 预计 $2billion
亚马逊 aws 的规模
数据中心 机架数量 服务器数量US East (Virginia) 5030 321920
US West (Oregon) 41 2624
US West (N. California)
630 40320
EU West (Ireland) 814 52096
AP Northeast (Japan) 314 20096
AP Southeast (Singapore)
246 15744
SA East (Sao Paulo) 26 1600
Total 7100 45440
亚马逊 aws 的规模
分析来源： http://huanliu.wordpress.com/2012/03/13/amazon-data-center-size/
高密度，系统规模，故障是高概率事件 廉价 PC ，通用硬件 网络复杂，互联复杂 业务连续性 数据可靠性 灾难恢复 安全防护（ DDOS ， ARP ，挂马） 用户应用水平低，认知度低 政策要求（备案） Openstack 有待成熟（功能、可靠性、文档、社
区）
挑战
DevOPs Linux 操作系统 Python 语言 , 开发工具 虚拟化技术 (KVM, XEN…) 网络技术（交换、路由、 SDN… ） 运维技术（部署、监控、报警… ) 开源技术 + 社区支持 + 自我支持
挑战—知识要求
System Provisioning （ crowbar, orchestra)
Application Deployment (chef, puppet,juju)
Monitoring&Alerting(Ganglia, nagios, zabbix)
configuration management(git)
挑战和选择—运维技术
跟踪和储备最新技术、最新版本
生产机保守，采用稳定版本，不做小白兔
网络结构、 openstack 版本
选择 - 策略
物理机管理地址 物理机 IPMI 虚拟机静态地址 虚拟机浮动地址 存储 设备互联 设备管理 管理、运维网络 hosting
网络承载业务
DNS 服务器 DHCP 服务器 NTP 时间服务器 PXE 网络安装 Chef 服务器 Git 服务器 打包、软件库服务器 操作系统镜像和补丁服务器 监控、报警服务器 数据备份服务器
公共业务
VPN备用线路接入，线路拥塞时的备用通道
IDC 办公
管理业务
电源管理（开机、关机、重启）
远程安装操作系统
远程控制台
硬件资源监控（温度、硬件告警）
IPMI
有弹性，可扩展考虑未来的扩容。进行地址块预留和块内地址预留 可汇总，便于路由按照区域划分网段，在区域的边缘，得到一个简单的前缀 便于维护，便于识别地址段应该有一定的规律和特征 , 看到 IP 就知道用途 安全不同业务，采用策略，互相隔离 承载各种业务
唯一性，全网可达
网络规划原则
Openstack 网络管理器： flatdhcp + multi-host
三层划分核心层，汇聚层，接入层
VLAN 规划 +IP 地址规划
网络方案选择
网络高可靠性 - Multi-host
网络高可靠性 - Multi-host
每个计算节点安装三个服务nova-compute ， nova-network ， nova-api
Nova.conf 开启选项：multi_host=Trueenabled_apis=metadata
VLAN 划分
VLAN 用途2-299 管理网段1000-1499 物理机1500-1999 IPMI
2000-2499 虚拟机浮动地址2500-2999 虚拟机固定地址
VLAN 划分
VLAN 用途10 VPN
11 IDC 办公网20 公共服务100-199 设备互联200-299 设备管理
IP 地址选择
物理机 172.16.0.0/12 1 个 B为分配单位，给数据中心。
虚拟机 10.0.0.0/8 给数据中心分配 16 个 B 。每个数据中心有多个单元，每个单元 32 个 C
浮动地址 公网地址（电信、 cnnic 分配）
IP 地址分配 - 物理机管理 每个数据中心占用一个 B ，比如
172.16.0.0/16 172.16.0.0/18 64 个 C ，每个 openstack
cell 一个 C 172.16.64.0/19 32 个 C ，保留 172.16.96.0/20 16 个 C,hosting 172.16.112.0/20 16 个 C ，管理 172.16.128.0/17 128 个 C ， ipmi
IP 地址分配 - 一个 cell
用途 IP 地址 VLAN
物理机 172.16.0.0/24 1000
物理机 IPMI 172.16.128.0/24
1500
云主机固定 IP 10.0.0.0/19 2500
云主机浮动 IP 2000
IP 地址分配 - 一个 cell
云主机固定 IP 分配
考虑效率、安全， 32 个 C ，共 8192 个 IP ，划分成 8 个或者 16 个网段，每个网段最多 1024或者 512 个 IP
安全策略
管理网段，物理机地址，物理机 ipmi 地址全通
云主机静态地址和上述地址隔离
