Обзор подходов ibm к построению динамической...
TRANSCRIPT
© 2009 IBM Corporation
Департамент корпоративных систем IBM
“Банковские системы и сети”, Ялта, 15 июня 2009
Сергей Каплун,ведущий специалист ДепартаментаКорпоративных Систем,IBM Украина[email protected]Алексей Богачев,Руководитель Департамента Программного Обеспечения[email protected]
«Обзор подходов IBM к построению динамической инфраструктуры обработки информации»
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Эволюция центров обработки данных
“В истории уже все было, но народы и правительства никогда не делали выводов и не извлекали для себя уроков, которые им следовало бы извлечь из истории”. Георг Вильгельм Фридрих Гегель (1770-1831)
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Законы диалектики, проявляющиеся в разных областях.РадиоэлектроникаДетекторный приемник (кристаллический полупроводник) ->
(отрицание) Электронная лампа –>
(второе отрицание) Транзистор, Микросхемы
Авиация
Воздушный винт (движитель первых летательных аппаратов) ->
(отрицание) Турбореактивный двигатель
(второе отрицание) Винтовентилятор
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Парус: от “Виктории” Магеллана до ....
Космос 1
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Layer 2 Switches
SSL Appliances
Caching Appliances
Storage Fibre
Switches
Storage Fibre
Switches
SSL Appliances
Caching Appliances
ЦОД сегодня
FileServers
WebServers
SecurityGateway
WebSphere Application
Servers
NetworkServers
ApplicationServers
SecurityServers
ApplicationServers
SAN
Layer 4-7 Switches
Public Internet/Intranet Clients
Routers (Layer 3
Switches)
Firewalls
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Структура затрат на содержание центров обработки
SOURCE: IDC, ‘Worldwide Server Power and Cooling Expense 2006-2010,’ Document #203598, Sept. 2006
При сохранении текущей тенденции, стоимость сервера окажется соизмеримой со стоимостью на электроснабжение и охлаждение.
На основании прогноза IDC в 2010 , стоимость электроэнергии на питание и охлаждение увеличится на 54%.
IT руководители определяют электроснабжение как одну из основных проблем
$0
$50
$100
$150
$200
$250
$300
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
Installed Base(M Units)
Spending(US$B)
Затраты на новое оборудованиеЗатраты на управление и администрирование x8Затраты на электроэнергию и охлаждение x4
05101520253035404550
Today, 50 cents are spent on energy for every dollar of hardware
By 2010 Energy = 71% of annum IT spend,
92% of IT Week respondents said IT Director was not liable for the utility bill
Economist – Average energy costs to rise further 35% to meet 550 ppb CO2
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Как используется электроэнергия в ЦОД?
Memory; 11%
Fans; 9%
Processor
30%
HVAC,UPS 40%
IT power
60%
Используется
20%= 3,6% всего
Простаивает 80%
+1 Вт полезного использования5 Вт для питания процессора16 Вт для питания сервера27 Вт центра обработки
0
20
40
60
80
100
Центр обработки Сервер
Server Loads
X1,7 x3 x5
Planar; 4%PCI; 3%
Drives; 6%Standby; 2%
DC/DC losses; 10%
AC/DC losses; 25%
1 Вт электроэнергии
Typical Utilization Mainframe 80 – 90%Unix 10 – 20% Wintel 5 – 12%
Коэффициент полезного действия
1/27=3.7%
Паровая машина 8-12%, современная паровая турбина 45-47 %, газотурбинная установка + регенератор 55-60%
Based on IBM Server Consolidation Engagements
http://www.expert.ru/printissues/expert/2007/09/dvigatelnaya_istoriya/
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Технология Типичное время доступа Человеческий м-таб Приблиз.емкость Применение
РегистрПроцессора
100 пикосекунд (100 e-12) 0.1 сек 64 × 64 бит Часть процессора
Интегр.Кэш
L1: ~1, L2-L3: 5-10 наносекунд (10 e -9)
10 сек Часть МБ до нескольких МБ
Часть процессора
Память DDR3 ~10-60 наносекунд (60 e -9) ~1-5 мин Десятки – сотни ГБ
Магистраль сервера
Сеть Infiniband 8-10 микросекунд (10 e -6) ~3 часа Десятки Гб/сек
Магистраль/сеть
Сеть Ethernet(10 Гб/сек)
100 микросекунд (100 e -6) ~30 часов <= 10 Гб/сек Сеть
Диск ~6 миллисекунд (6 e -3) ~70 дней Сотни ГБ Сеть
Свет 1 метр в оптоволокне
~ 4000 пикосекунд (4000 e-12) ~4 сек“Difficile est proprie communia dicere” Quintus Horatius Flaccus
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Почему нужно менять подходы ?
85% простоиВ распределенных системах доступные вычислительные ресурсы используются всего на 15%
Поставщики продуктов потребления теряют около $40 миллиардов ежегодно (или 3.5% выручки) из-за неэффективности управления поставками.
33% потребителей прерывают отношения с поставщиками услуг из-за выявленных проблем в безопасности информационных систем.
33%
$40 000 000 000
Взрывообразный рост обрабатываемых данных приводит к 54% росту объема систем хранения ежегодно.
в 1,5 раза в год
70¢ на $170% затрат на поддержку IT инфраструктуры а не ее развитие.
Может в консерватории что-то исправить? (с) М.М.Жванецкий.
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Энергоэффективные аппаратные средства и
сопровождающая инфраструктура
Защищенность и устойчивость к изменяющимся условиям
Управление сервисами в соответствии с требованиями бизнеса
Виртуализация вычислительных
ресурсов
Архитектура построения систем обработки информации
Подходы IBM к построению центров обработки данных – целостный и интегрированный
взгляд
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Построение современных ЦОД – Стадии адаптации
Эффективностьи упрощение
Ускорение развертывания новых
приложений и сервисов
Быстрая реакция наизменяющиесятребования,сокращение
издержек
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Физическая консолидация и оптимизация Виртуализация ресурсов серверов и систем хранения Управление системами, сетевым оборудованием,
инфраструктурой
Simplified – Эффективность использования и упрощение инфраструктуры
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Shared – Ускорение развертывания новых приложений и сервисов Виртуализированные пулы ресурсов - “ensembles” Интегрированное управление IT сервисами Проектирование с учетом экологических требований
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Dynamic – Быстрая реакция на изменяющиеся условия, сокращение стоимости IT Виртуализация IT сервисов – “clouds” Управление сервисами как частью бизнеса Сервис-ориентированная архитектура управления сервисами Основа для интеграции в реальном времени транзакций,
информации и аналитики
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Динамическая инфраструктураService Management
Virtualization
Energy Efficiency
Business Resiliency
Security
Information Infrastructure
Обеспечение прозрачности, управляемость и автоматизацию бизнес-процессов как сервисов.
Максимизация ценности критических компонентов бизнеса и IT инфраструктуры на протяжении их жизненного цикла с использованием систем управления основными средствами.
Передовые подходы к виртуализации и консолидации вычислительных ресурсов, направленные на сокращение затрат, повышение эффективности использования и внедрения новых сервисов.
Сокращение энергозатрат и повышение энергоэффективности.
Поддержка непрерывности функционирования бизнеса и IT инфраструктуры и быстрая адаптируемость к изменяющимся условиям.
Соответствие требованиям законодательства, адекватная оценка рисков и эффективное противодействие атакам на безопасность.
Основа высоконадежного, устойчивого к внешним и внутренним воздействиям, доступа к информации, обеспечивающая надежное, долговременное, эффективное хранение и исключающая потерю жизненно важных данных
Asset Management
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Архитектура Dynamic Infrastructure®
DEVELOPERS OPERATORSCORE ENTERPRISE ADMINISTRATION
SERVICE REQUESTORS
SERVICE MANAGEMENT
APPLICATION ARCHITECTURE
SERVERS STORAGE NETWORK
VIRTUAL IT INFRASTRUCTURE
SERVERS STORAGE NETWORK FACILITIES
PHYSICAL IT INFRASTRUCTURE
END USERS
END USERS
RESILIEN
CE
BUSINESS INFRASTRUCTURE
END USERSSERVICE
CREATORS
INFORMATION INFRASTRUCTURE
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Как IBM определяет SOA Сервис ориентированная архитектура – это каркас для интеграции
бизнес-процессов и поддерживающей их IT-инфраструктуры в форме безопасных, стандартизированных компонентов – служб, которые могут использоваться многократно и комбинироваться для адаптации к изменению приоритетов в бизнесе
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Scal
e U
p /
Scal
e U
p / К
онсо
лиди
рова
нная
пла
тфор
ма
Конс
олид
иров
анна
я пл
атф
орм
а
Scale Out / Scale Out / Распределенная платформаРаспределенная платформа
System ZPower Systems
SystemX3950m2
(16 sockets)
ClustersLinuxAIX5LHPCParallel Sysplex
BladeCenter™
x3250
High DensityHigh DensityRack MountRack Mount
Enterprise SMPEnterprise SMP
PartitioningVirtualization
Rapid DeploymentSwitch Integration
Вертикальная и горизонтальная масштабируемость
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
00:00 02:00 04:00 06:00 08:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 24:00
01:00 03:00 05:00 07:00 09:00 11:00 13:00 15:00 17:00 19:00 21:00 23:00
Про
цент
исп
ольз
ован
ия
проц
ессо
ров
Core system
Infrastructure
ERP/CRM
Web Services
4 от
дель
ных
серв
ера
или
фик
сиро
ванн
ых
разд
ела
• Компоненты ПО интегрированы с точки зрения реализуемой бизнес-логики, а не с точки зрения создаваемой нагрузки
• Компоненты размещаются на отдельных серверах или разделах сервера
• Серверы и программное обеспечение IBM позволяют комбинировать разнородную нагрузку, сохраняя изолированность приложений в рамках отдельных экземпляров ОС
Композитный профиль нагрузки
00:0
001
:00
02:0
003
:00
04:0
005
:00
06:0
007
:00
08:0
009
:00
10:0
011
:00
12:0
013
:00
14:0
015
:00
16:0
017
:00
18:0
019
:00
20:0
021
:00
22:0
023
:00
24:0
00
20
40
60
80
100
Про
цент
исп
ольз
ован
ия
проц
ессо
ров
Core system
Infrastructure
Web Services
Пики нагрузки со стороны компонентов ПО не совпадают во времени - композитная нагрузка носит более равномерный характер и требует избыточных вычислительных ресурсов, используемых компонентами по мере потребности
ERP/CRM
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
IBM : 42 летняя история виртуализации
IBM develops Hypervisor that would
become VM on the
mainframe
IBM announces
first machines to do Physical Partitioning
IBM announces
LPAR on the mainframe
POWER LPAR design
begins
1967 1973 1987
IBM introduces LPAR in POWER4
based systems with
AIX / Linux
Advanced POWER
Virtualization ships
200420011997
Timeline reference http://www.levenez.com/unix/history.html#01Client quote source: rku.it case study published at http://www.ibm.com/software/success/cssdb.nsf/CS/JSTS-6KXPPG?OpenDocument&Site=eserverpseries
“In our opinion, they [IBM POWER servers] bring mainframe-quality virtualization capabilities to the world of AIX.”- Ulrich Klenke, CIO, rku.it
January 2006
PowerVM on IBM Power Systems servers
IBMannouncesPowerVM™
2008
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
IBM : 42 летняя история виртуализации
AIX
POWER™Based-Server
POWERHypervisor
Linux iz/OS™
PR/SMHypervisor
Linux z/VM
z/990Server
POWER Systems: Наследование технологий
System z для AIX,Linux, I
System z: “ Золотой стандарт” виртуализации,
надежности и доступности
Начиная с 1988 г Начиная с 2001 г
Технология, проверенная временем
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Hypervisor Firmware/Softwareвыполняется сервером
Hypervisor software выполняется операционной системойIBM System z™ PR/SM and zVM™
IBM PowerVM EditionsHP vPartitionsVMware ESX ServerSun Logical Domains (T2000)
HP Integrity VMSolaris ContainersIBM AIX® V6.1 Workload Partitions
IBM S/370 SI->PP & PP->SI, Sun DomainsHP nPartitions
Физические разделы
Adjustablepartitions
PartitionController
...
SMP Server
OS
Apps
OS
Apps
Hypervisor
SMP Server
...OS
Apps
OS
Apps
Host OS
SMP Server
Hypervisor
...OS
Apps
OS
Apps
Hardware Partitioning Hypervisor: Type 1 Hypervisor: Type 2
Какая бывает виртуализация?
“Я пришел к тебе с приветом, я прочел твои тетради: в прошлом веке неким Фетом был ты жутко обокраден”Игорь Губерман (1931-)
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Networks and network storage
Unassigned on demandresources
Hypervisor
ServiceProcessor
ProcessorsMemory
IBM ipartitions
HardwareManagement
Console(HMC)
LinuxPartitions
Expansion slots
AIX V5.3 partitions
Virtual Storage
VirtualI/O
Server
Local devices and storage
Workload management and provisioning
Virtual NetworksVirtual Processors
Архитектура POWER Virtualization
AIX V6 partitions
VEnetVSCSIIVM**
LinuxKernelsAIX Kernels
Virtual Network / Storage
SLIC
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Комбинирование емкости систем хранения из дисковых систем разных производителей
Применение механизмов репликации данных в пуле систем хранения
Централизованное управление пулом ресурсов
Измения в системах хранения без прекращения доступа к приложениям
VirtualDisk
VirtualDisk
VirtualDisk
VirtualDisk
SAN
SAN Volume Controller
Advanced Copy Services
Storage PoolHP
EMCDS4000
DS8000HDS
Виртуализация систем хранения - SAN Volume Controller
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
MasterDataMgmt
Enterprise Service Hub Service Registry& Repository
EnterpriseService Bus
Service Mgmt& Invocation
BusinessPartner
ServicesReal
Campaign Mgr3rd Party
Products/Svcs
CustomerRelationship
Mgmt
RelationshipManagement
DecisionSupport
Marketing
CaseManagement
Banking& Credit
Operations
LoanOrigination
CorporateBanking
RetailBanking
GeneralLedger
Credit Cards
Payments
BusinessMgmt
Resource
Fraud
Product
Risk
Debt
RegulatoryProcess Manager
Process Models
SalesProcesses
MarketingProcesses
ServiceProcesses
ComplianceProcesses
Business Processes
Governance & Monitoring
3rd partyData
FicoCreditScores
DemographicData
CustomerInsight
& Analytics
CustomerAnalytics
BusinessInsight
Search &DiscoveryAnalytics
Threat &Fraud
Analytics
Data Integration/Information Services
InformationFoundation
Unstructured
Data
Core Systems
Ban
king
In
dust
ryM
odel
s
ContentMgmt
Systems
DocumentMgmt
Systems
Customer Account Product
BankingData
WarehouseDataMarts
Rapid Development & Integration
Multi-ChannelIntegration
ElectronicSignature
UtilitySystems
Enterprise Service Bus Service Registry& Repository
ExternalServices Gateway
Service Mgmt& Invocation
BusinessPartner
ServicesReal
Campaign Mgr3rd Party
Products/Svcs
CustomerRelationship
Mgmt
RelationshipManagement
DecisionSupport
Marketing
CaseManagement
Banking& Credit
Operations
LoanOrigination
CorporateBanking
RetailBanking
GeneralLedger
Credit Cards
Payments
BusinessMgmt
Resource
Fraud
Product
Risk
Debt
RegulatoryProcess Manager
Process Models
SalesProcesses
MarketingProcesses
ServiceProcesses
ComplianceProcesses
Business Processes
Security, Management & Governance
3rd partyData
FICOCreditScores
DemographicData
CustomerInsight
& Analytics
CustomerAnalytics
BusinessInsight
Search &DiscoveryAnalytics
Threat &Fraud
Analytics
Banking EnterpriseInformationSystems
ContentMgmt
Systems
DocumentMgmt
Systems
Rapid Development & Integration
FormsMgmt
Data Warehousing
Call Centers
Internet
Relationship Managers /
Agents
ChannelsBranches
Mobile Banking
ATMs
RulesEngine
Pres
enta
tion
/ Int
erac
tion
Serv
ices
ThinClient
RichClient
Ente
rpris
e A
cces
s Se
rvic
es
Banking CC&I Reference Architecture
25
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
MasterDataMgmt
Enterprise Service Hub Service Registry& Repository
EnterpriseService Bus
Service Mgmt& Invocation
BusinessPartner
ServicesReal
Campaign Mgr3rd Party
Products/Svcs
CustomerRelationship
Mgmt
RelationshipManagement
DecisionSupport
Marketing
CaseManagement
Banking& Credit
Operations
LoanOrigination
CorporateBanking
RetailBanking
GeneralLedger
Credit Cards
Payments
BusinessMgmt
Resource
Fraud
Product
Risk
Debt
RegulatoryProcess Manager
Process Models
SalesProcesses
MarketingProcesses
ServiceProcesses
ComplianceProcesses
Business Processes
Governance & Monitoring
3rd partyData
FicoCreditScores
DemographicData
CustomerInsight
& Analytics
CustomerAnalytics
BusinessInsight
Search &DiscoveryAnalytics
Threat &Fraud
Analytics
Data Integration/Information
Services
InformationFoundation
Unstructured
Data
Core Systems
Ban
king
In
dust
ryM
odel
s
ContentMgmt
Systems
DocumentMgmt
Systems
Customer Account Product
BankingData
WarehouseDataMarts
Rapid Development & Integration
Multi-ChannelIntegration
ElectronicSignature
UtilitySystems
Enterprise Service Bus Service Registry& Repository
ExternalServices Gateway
Service Mgmt& Invocation
BusinessPartner
ServicesReal
Campaign Mgr3rd Party
Products/Svcs
CustomerRelationship
Mgmt
RelationshipManagement
DecisionSupport
Marketing
CaseManagement
Banking& Credit
Operations
LoanOrigination
CorporateBanking
RetailBanking
GeneralLedger
Credit Cards
Payments
BusinessMgmt
Resource
Fraud
Product
Risk
Debt
RegulatoryProcess Manager
Process Models
SalesProcesses
MarketingProcesses
ServiceProcesses
ComplianceProcesses
Business Processes
Security, Management & Governance
3rd partyData
FICOCreditScores
DemographicData
CustomerInsight
& Analytics
CustomerAnalytics
BusinessInsight
Search &DiscoveryAnalytics
Threat &Fraud
Analytics
Banking EnterpriseInformationSystems
ContentMgmt
Systems
DocumentMgmt
Systems
Rapid Development & Integration
Customer
FormsMgmt
Data Warehousing
Call Centers
Internet
Relationship Managers /
Agents
ChannelsBranches
Mobile Banking
ATMs
RulesEngine
Pres
enta
tion
/ Int
erac
tion
Serv
ices
ThinClient
RichClient
Ente
rpris
e A
cces
s Se
rvic
es
26
RulesEngine Business Rules
ContentMgmt
SystemsIBM Enterprise
Content Management
Information Management
IBM InfoSphereMDM Server
Information Management
Master Data Management
RetailBanking
Banking Systems(simulated)
LoanOrigination
Loan Systems(simulated)
Process Models IBM Information
Framework
Information Management
Enterprise Service Bus Enterprise
Service BusService Registry
& RepositoryBusiness Services
Fabric
Rapid Development & IntegrationBusiness Modeler Integration DeveloperSoftware Architect
Application Developer
Process Manager
ProcessServer
FileNet P8Process Engine
Ente
rpris
e A
cces
s Se
rvic
es
Pres
enta
tion
/ Int
erac
tion
Serv
ices
ThinClient
RichClient
Port
alSa
met
ime
FormsMgmt Lotus Forms
Business Process ManagementBusiness Monitor
ElectronicSignature ApproveIt Web Server
DocumentCapture Encapture
Banking CC&I Reference Architecture … with Product Overlays
Департамент корпоративных систем
I
“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation
Динамическая инфраструктура…
…набор связанных инициатив IBM, составляющих ДНК,необходимой для процветающей “умной” планеты.
© 2009 IBM Corporation
Департамент корпоративных систем IBM
“Банковские системы и сети”, Ялта, 15 июня 2009
Спасибо за внимание!
Сергей Каплун,ведущий специалист Департамента Корпоративных Систем,IBM Украина[email protected]Киев, ул. Глыбочицкая 4, Артем бизнес-центр
…В мире, где энтропия в целом стремится к возрастанию, существуют местные и временные островки уменьшающейся энтропии, и наличие этих островков дает возможность некоторым из нас доказывать наличие прогресса. (Норберт Винер “Кибернетика и общество”. 1950г.)
Мы плывем вверх по течению, борясь с огромным потоком дезорганизованности, который в соответствии со вторым законом термодинамики,стремится все свести к тепловой смерти - всеобщему равновесию и одинаковости. … В этом мире наша первая обязанность состоит в том, чтобы устраивать произвольные островки порядка и системы (Норберт Винер. “Я – математик”. 1950г.)