azadonsky exalogic

Exalogic – быстрее быстрого

Алексей Задонский Ведущий технический специалист

30.10.2014

Copyright © 2014, Oracle and/or its affiliates. All rights reserved.

О чём пойдёт речь

Что такое Exalogic и из чего состоит

Консолидация приложений на Exalogic

Exalogic как «облако в коробке»

Примеры внедрений

Exalogic как инженерная система

Что такое Oracle Exalogic

Это - сверхбыстрая инженерная система для работы Java-приложений на платформах Linux или Solaris

Шина Exabus и Exalogic Elastic Cloud Software: o Имеет сверхбыструю пропускную способность без обычных узких мест

(значительно меньшие задержки, разгрузка процессоров и т.д.) o Улучшает масштабируемость o На Exalogic в среднем примерно в 2-3 раза требуется в меньше

вычислительных ресурсов (ядер), чем в обычных серверах

Упрощение развертывания приложений и уменьшение сложности обслуживания, облачные технологии (CDN, OpenStack)

Увеличение надежности и доступности приложений

Виртуализация, балансировка нагрузки, программно-аппаратная изолированность приложений и решение вопросов безопасности

Встроенная управляемость комплекса от диска до приложения

В итоге – высочайшая производительность, надежность, гибкость управления и невысокая общая стоимость владения системой

В чем смысл создания инженерных систем Помимо производительности, управляемости и стоимости владения

С приобретением Sun, Oracle получил возможность создавать комплексы HW+SW, работающее исключительно эффективно.

«Железо» и «Программное обеспечение» проектируются, тестируются, отлаживаются совместно

Можно добиться высочайшей производительности, если знаешь какое ПО будет работать на каком «железе»

Меньше вероятность сюрпризов от несовместимости компонентов

Заказчики экономят время на том, что не подгоняют компоненты систем друг к другу (у заказчика может и не быть специалистов достаточной квалификации для подгонки)

Экономия времени на развертывании

Единая точка поддержки

Самые популярные EXA-системы: Exadata – сверхбыстрая база данных Exalogic – сверхбыстрая платформа сервера приложений SuperCluster

Конфигурация Exalogic

Система хранения Дисковые накопители и диски SSD - Sun ZS3-ES Network Attached

Storage (80 TB SAS disk, 6.4 TB read cache, 292 GB write cache)

Система ввода-вывода - I/O Конвергентная сетевая инфраструктура на базе QDR InfiniBand (40

Гбит/сек, latency 1.7 0микросекунд) и Ethernet для соединения внутренних и внешних ресурсов.

Вычислительная мощность 4, 8, 16 или 30 аппаратных серверов на базе Intel Xeon Ivy Bridge 2.7

GHz.На каждом узле 256-512 Gb RAM, SSD 800 Gb, OS или множество виртуальных серверов

Мощность аппаратной платформы Exalogic X4-2

Масштабируемость Exalogic

Eighth Rack Quarter Rack Half Rack Full Rack Multi-rack

4 узла 96 ядер 1 ТB RAM 80 ТB SSD

8 узлов 192 ядра 2 ТB RAM 80 ТB SSD

16 узлов 386 ядер 4 TB RAM 80 ТB SSD

30 узлов 720 ядер 7.5 GB RAM 80 ТB SSD

240 узлов 5760 ядер 60 TB RAM 640 TB SSD

1/8 Rack 1/4 Rack 1/2 Rack Full Rack Multi-Rack

Надежность архитектуры Exalogic Fault Tolerance

Dual Power Distribution Units (1+1)

Dual power supplies in each component (1+1)

N+1 cooling (fan) strategy

Redundant IB switches (1+1)

Dual HCA ports in every component (bonded, 1+1)

Redundant storage heads (1+1)

All SSD and HDD RAID 1+

99.999%

Compute Nodes

InfiniBand Gateways

Management Switch

Compute Nodes

InfiniBand Spine Switch

Exalogic Rack

Storage System

Internet/Extranet (via Global LB)

Катастрофоустойчивость аппаратной архитектуры

Compute Nodes

InfiniBand Gateways

Storage System

Management Switch

Compute Nodes

InfiniBand Spine Switch

Exalogic Production Site

10GbE

Gb

E

Management Network

Exalogic DR

10GbE G

bE

DR Link A

DR Link B

Service Network

Программная архитектура максимальной доступности

Решение на всех уровнях от базы данных до приложений

Интегрируемость

Гибкость

Active-Active Active-Passive

Disaster-Recovery

Доступность

Высокий уровень доступности для приложений и Middleware

Grid Federation

Active Data Guard/ GoldenGate

Storage Replication

Global Load Balancer

MW Tx Log

Local Load Balancer

Site A

WebLogic

FMW & Java Apps

WebLogic

FMW & Java Apps

Oracle RAC

Coherence

Grid

Coherence

Grid

Coherence

Grid

MW Tx Log

Local Load Balancer

Site B

WebLogic

FMW & Java Apps

WebLogic

FMW & Java Apps

Oracle RAC

Coherence

Grid

Coherence

Grid

Coherence

Grid

Цель архитектуры максимальной доступности – достичь оптимальной высокой доступности на основе WebLogic, Fusion Middleware при низкой цене с учетом уровней

Middleware и базы данных

Exalogic – программная конфигурация

Exalogic Elastic Cloud System Software – Основа платформы

www.oracle.com/us/products/middleware/exalogic

Некоторые важные компоненты Oracle Elastic Cloud Exabus – коммуникационная структура (драйвера, прошивки, API) на базе Oracle

InfiniBand с эмуляцией Ethernet. Высочайшая производительность и оптимизация обычных узких мест.

Гипервизор Oracle VM первого типа с минимальными накладными расходами и высокой производительностью (>99%)

Traffic Director – контроллер трафика для сложных форм управления трафика. Высокая безопасность и производительность (в 3.5 быстрее и на 28% лучше утилизирует CPU, чем Apache).

Exalogic control – управление и мониторинг аппаратного обеспечения и системного ПО. Управляет ресурсами, учетными записями пользователей (GUI, командная строка, API).

Операционные системы – Oracle Linux, Solaris. ПО для управления системой хранения. Позволяет, в частности, делать

клонирование, моментальные снимки, аварийное восстановление.

Exabus – высокоскоростная коммуникационная шина

Application Buffer

Copy TCP IP Transport

Kernel

Application Buffer

Стандартный I/O

Application Application

Exabus

20% Buffer Copies 40% Transport Processing

40 % Kernel Context Switches

Zero Buffer Copy Direct Memory Access

Kernel Bypass

Application Application

4х выше пропускная способность, 6х ниже задержки

Exabus: Оптимизация сетевого ввода-вывода I/O

Exabus: Оптимизация сетевого ввода-вывода I/O

WebLogic Server

1.5K 1.5K

Standard WebLogic with standard read write IO

10Gb/s Ethernet with 1.5K Maximum Transmission (MTU)Size

WebLogic Server

Read/write collections of 4K chunks

…

4K 4K 4K 4K

64K 128K

40Gb/s Infiniband with 64K MTU for IPoIB or >=32K MTU for SDP

…

WebLogic on Exalogic withScatter/Gather IO

Read/write 4K standalone chunks 4K 4K 4K 4K

Standard WebLogic WebLogic Server on Exalogic

Сбор пакетов в наборы (chunks) для пересылки Увеличение размера MTU Увеличение пропускной способности и уменьшение задержек

1.5K

Стандартное межпроцессорное взаимодействие (IPC)

Один мультиплексор – много блокировок

Маленькие пакеты (1.5K) требуют больше ресурсов и замедляют обмен по сети

TCP/IP over Ethernet Sin

gle

Mu

xer

Sin

gle

Mu

xer

Много маленький сообщений Медленная сеть

Standard Inter-process Communication

Exabus: Оптимизированное взаимодействие процессов по InfiniBand

Параллельный мультиплексор уменьшает количество блокировок на очереди – параллельность и быстрая передача данных

Пакеты большего размера (64K для IPoIB и >=32K для SDP) уменьшают вычислительные затраты на передачу данных

SDP over InfiniBand P

aral

lel M

uxe

r

Par

alle

l Mu

xer

Быстрая сеть, меньше сообщений

Inter-process Communication

HTTP Client

Exabus: Оптимизация обработки web-запросов для Weblogic

Оптимизированный пул тредов улучшает масштабируемость приложений, делающих HTTP вызовы к другим сервисам (Web Services/SOA applications) что существенно сокращает загрузку ЦПУ (с 82% до 8%)*

Client Applications

Обычный сервер

Создание нового треда на каждый

запрос

Server Applications

Server Applications

HTTP Client

Client Applications

Exalogic

Пул тредов для повторного использования

Server Applications

Server Applications

*Для портального приложения делающего SOAP-запросы – 10 портлетов на странице

Стандартное железо

EL 2.х

2X

Web запросов

в сек

Exalogic/WebLogic и Exadata – специальные оптимизации

Оптимизированный Socket Direct Protocol (SDP) для JDBC и обмена данными Для соединений JDBC/OCI – новый специальный высокоскоростной протокол

Exadirect Secure Work Manager и оптимизация ввода/вывода

o Векторный ввод/вывод o Оптимизироанный self tuning thread pool

Active GridLink для Real Application Cluster (load balancing and failover)

Примерно в 5 раз выше производительность

960 Gigabits/second

Exalogic Exadata

WebLogic – лидирующий сервер приложений

Сервер приложений WebLogic – стратегическая платформа Oracle

Стратегическая платформа для всех приложений Oracle и Fusion Middleware

# 1 сервер в мире по доле рынка, производительности, инновациям и по скорости роста

Высочайшая производительность. Много лет возглавляет мировые рекорды производительности (в четырех категориях SPECjAppServer2004 для одно/двух/многопроцессорных серверов).

Высочайшая степень масштабируемости (близкая к линейному) Защита от перегрузок, обработка ошибок

Встроенная балансировка нагрузки

Поддержка целостности транзакций

Rolling upgrades (обновление по узлам кластера) Production redeployment (одновременная работа новой и старой

версии приложений) Dynamic configuration changes (изменения без рестарта)

Быстродействие, масштабируемость, надежность, управляемость

Внедрение: Консолидация

Самая большая eCommerce компания Японии

Быстрый рост бизнес (в 10х раз за 2010 год) привел к необходимости искать новые решения – более гибкие и масштабируемые

Использовалось >100 доменов WebLogic на 370 физических серверах

Всё было консолидировано на 2х ½ racks of Exalogic + Coherence, Enterprise Manager

o 800 процессоров WebLogic o 300 процессоров Coherence

Выгоды от Enterprise Manager – лёгкое внедрение, управление и мониторинг

Годовая экономия от перехода - $160M

Увеличение масштабируемости – на 280% лучше производительность на процессорное ядро, чем предыдущая конфигурация

Лучшая гибкость – легко конвертировать разработку/тестирование в промышленную зону (особенно важно для периодов высокой нагрузки)

Case

Study

Coherence – данные, кэширование и аналитика в

оперативной памяти

Coherence In Memory Data Grid Зачем это нужно

Производительность приложений Прямой доступ из оперативной памяти –

информация более близка к приложениям

Масштабируемость приложений

Уменьшение нагрузки на базы за счет кеширования в памяти

Надежность работы приложений

За счет надежного распределенного кэша

Coherence In Memory Data Grid

Приложения Приложения

Примеры использования технологии Кому это нужно

Кэширование o Клиентские приложения запрашивают и работают с

данными в памяти, а не на серверах хранения

Аналитика o Клиентские приложения запрашивают данные из памяти

(есть язык CohQL похожий на SQL) и моделируют в памяти

Вычисления o Приложения производят вычисления (бизнес-логику и

транзакции) в распределенной памяти

События o Приложения производят действия основываясь на

событиях в распределенной памяти

Oracle Coherence Основные свойства и преимущества

Технология data fabric/grid для управления данными в распределенной сети без точки отказа (все узлы равноправны – без single points of failure) с единым представлением данных на узлах

Данные и индексы «поднимаются» в оперативную память с автоматическими транзакциями изменений в базу данных (с пониманием flash disks, SSD и обычных дисков)

Динамическое распределение данных по узлам и автоматическая балансировка нагрузки

При потере одного узла остальные перераспределяют его нагрузку

Поддержка различных запросов, которые параллельно обрабатываются узлами

Линейное масштабирование системы (внедрения до тысяч узлов)

Расширенная безопасность (авторизация, использование identity token)

Примеры: eCommerce на приложениях JEE Case

Study

Logical Reference Model

ZFS Storage

Exabus Network

Intel Xeon Compute

Oracle Linux / Solaris

Oracle Database

Oracle Virtual Machine

Oracle JVM

Oracle WebLogic Server

eCommerce Custom JEE Apps, ISV Apps (Hybris, BroadVision, etc.)

Oracle Coherence

Oracle Traffic Director

Exadata Exalogic

Amway • 10x SOA throughput, 3.5x faster response time

China Unicom • 10x performance, 1/14th energy, 1/8th floor space

Rakuten, Japan • 4x throughput, 11.5x consolidation (370 WLS servers to 32 Exalogic

nodes)

American Tire Distributors • Goals: Streamline eCommerce systems. EBS R12 upgrade. Greater agility,

scalability and processing power. • Solution: Exalogic (2x1/8), Exadata (2x1/2). EBS R12, SOA/Coherence, Hybris +

tc Servers on Exalogic. Replaced EMC, HP, Vmware. • Benefits: Standardize on Exa*. Improve Agility and Scalability. Streamline

Hybris-based eCommerce on Exalogic.

Overstock.com • Goals: Aggressive growth, overseas expansion. EBS R12 upgrade, decouple EBS

and eCommerce systems. HW refresh due (aging IBM pSeries). • Solution: Exalogic (1/8), Exadata (1/4), WLS Suite, WLS JMS, WLS Mgmt Pack • Benefits: Scalability for international expansion. IT resources freed up for value

adds. Leverage existing EBS licenses. Roadmap for eCommerce on Exa*

Примеры заказчиков

Tuxedo – лидер среди серверов приложений для C/C++/Cobol

Что такое Oracle Tuxedo

#1 сервер приложений для C/C++/COBOL (80% рынка)

Часто используется для миграции приложений с Mainframe на общепринятые технологии

Гибкая, линейно масштабируемая архитектура

Высокая производительность, низкие задержки

Интегрированное управление и мониторинг

Внедрение: Обработка транзакций

Global PAYplus company предлагающая ISV-приложения для массовой обработки транзакций и казначейства (от #1 банка Англии)

Имеет решения для JAVA и Tuxedo. Предлагает SaaS.

По сравнению с аналогичной платформой IBM достигнуто увеличение производительности в 6.25х раза

Конфигурация:

o JEE: ¼ rack EL + ¼ rack ED o Tuxedo: 1/8 rack EL + 1/8 rack ED

Производительность:

o JEE: достигнута производительность обработки массовых платежей 9.35 млн/час при baseline 6 млн/час

o JEE: достигнута производительность обработки отдельных платежей 5.7 млн/час при baseline 4 млн/час

o Tuxedo: производительность 14.5 млн транзакций за 56 мин (baseline 240 мин)

Линейная масштабируемость при снижении полной стоимости владения

Case

Study

Traffic Director – безопасный и производительный контроллер

трафика

Application Application Application

Exabus Fabric

Datacenter Service Network

Traffic Director

Traffic Director & Virtual Firewall Быстрый и масштабируемый балансировщик нагрузки 7-го уровня (request & content-based routing,

quality of service tuning)

Полная интеграция с Exabus (low latency - 3.5X выше пропускная способность и на 28% эффективнее использование CPU чем в Apache)

Множество декларативных правил для маршрутизации запросов, динамическая переконфигурация

Обеспечение высокой доступности (active-passive & active-active failover, Offline Health check)

Удобство администрирования (wizard-driven graphical interface)

Virtual Firewall реализован непосредственно на Exabus fabric маршрутизаторах o Устойчив ко всем известным уязвимостям IP-уровня o Устойчив к известным уязвимостям межсетевых экранов

Совместно с Traffic Director: полный Virtual Firewall для Exalogic

Traffic Director реализует: o Reverse proxy – маскирование имен серверов o Терминирование SSL 3.0, TLS 1.0 (VerySign, RSA,сертификаты до 4096 бит) o Мониторинг

Кэширует контент и сжимает трафик

Рекордная производительность

2.3X

3.1X

Производительность Elastic Cloud Software 2.0 (для X3-2)


EL 1.х EL 2.х

78.840

246.035

836.520

3.1X

10X

Web

3.1X


EL 1.х EL 2.х

401.070

1.237.462

1.979.940

3.1X

5X

JMS

запросов в сек

сообщений в сек

3.1X


EL 1.х EL 2.х

9.560

22.481

49.460

2.3X

5X

Enterprise Java

операций в сек

Для Exalogic X4-2 производительность web-приложений в 26 раз выше, чем реализация open source

Быстродействие приложений Oracle на Exalogic

200 ms

Высочайшая производительность, лучшее время отклика

Standard hardware Exalogic and Exadata

E-Business Suite Order to Cash

ATG Web Commerce

application

PeopleSoft

Self Service HRMS, FIN

Siebel UCM Customer Hub

3x better Response Time

3x better Scalability







JD Edwards Order Management



0.51 s

0.17 s

2s

0.7s

1.18 s

0.39 s

25 ms

2.23 s

0.74 s

Вр

емя

отк

ли

ка

Управляемость, консолидация и облачная архитектура

Управление системой Exalogic

Единый центр управления с помощью Oracle Enterprise Manager 12c

Система включает в себя:

o Развертывание приложений (включая прошивки, OS, Middeware, приложения)

o Тестирование (функциональное, нагрузочное, управление тестированием)

o Мониторинг (от диска до приложений, питание и температура, система хранения)

o Управление (диагностика, SLA-мониторинг, конфигурации и трассировка изменений, автоматизация обновлений OS, прошивки и т.д.)

o Поддержка (интеграция с MyOracleSupport, удаленное управление – по желанию заказчика, рекомендации по установке патчей)

EM 12с: Мониторинг и управление Exalogic из единого портала

Hardware

Monitoring Software

Monitoring

Cloud

Provisioning

WebLogic

Provisioning

Metering &

Chargeback

Облачный подход вместо традиционного

Традиционный подход (выполняет администратор)

Развертывание Platform-as-a-Service

(выполняет пользователь)

Выбрать и купить HW

Сконфигурировать HW

Установить и сконфигурировать ОС

Установить DB&FMW ПО

Сконфигурировать ПО и БД, патчировать

Добавить HW и все переконфигурировать при росте потребностей

Потребовать создать новую БД

Настроить увеличение конфигурации по

требованию

Self-Service Provisioning

ВСЕ !!!!

Middleware

OS/Machines

Database

Портал

Пользователь не знает об инфраструктуре

Databases

Что мы ждем от частного облака

Планирование и создание облачной инфраструктуры

Создание и каталогизация в библиотеку ПО шаблонов, сборок и процедур развертывания БД, создание пользователей сервиса

Мониторинг и управление облаком

Биллинг (внутренний/внешний)

Консолидация и пул ресурсов

Самообслуживание Мониторинг и биллинг

Доступность, масштабируемость,

эластичность

Exalogic Cloud control Oracle Exalogic – «облако в коробке»

Exalogic Control

Har

den

ed In

fin

iBan

d V

irtu

al N

etw

ork

Mgm

t

Nimbula Service Manager

Compute Management

IB Networking

Storage Control

Logging, audit, and metering

Authorization

Orchestration Control

IaaS

& A

dm

in A

PI/

CLI

Paa

S &

Ad

min

AP

I/C

LI

Service Registry

Service Deploy

Service Lifecycle

EM Agents

+

Datacenter Admin

Self-Service User Application Admin

Cloud Admin

Manage/Monitor Hardware Patch/Maintain Entire System

Deploy Service Instance Deploy Orchestration Instance Monitor Applications

Мониторинг от диска до приложения Application & Orchestration

Administration Private Cloud SSA

Exalogic Hardware

Setup Cloud Polices Manage/Monitor Cloud

Внедрение: Интернет-банк

Один из крупнейших частных банков в Тайване (147 филиалов в стране и 67 за рубежом, доход $1.8 млрд)

Нужен был ввод в действие интернет портала: быстро, с минимальными рисками и стоимостью

Самостоятельная разработка на WebLogic По сравнению с конкурирующим решениям (2 x Sun T5240

– то же самое число ядер серверов баз данных и приложений, то же число WebLogic):

oВ 7х раз меньше время отклика oВ 6х раз выше пропускная способность

Не потребовалось изменять существующий код

Увеличение общей производительности на ядро с уменьшением общей стоимости

Exalogic 1/8 Rack

CN01 CN02 CN03 CN04

Exalogic OVM Hypervisor

Ap

ache

H

TTP

D

Ap

ache

H

TTP

D

Production Servers

Web

Logic

Po

rtal

Web

Logic

Po

rtal

Co

heren

ce

Co

heren

ce

WebLogic Cluster

Coherence Cluster

Staging Server

Ap

ache

H

TTP

D /

Web

Logic P

ortal /

Co

heren

ce

Архитектура решения

Время отклика (ms) Пропускная способность

(запросы в сек)

Case

Study

Развертывание многослойных приложений Virtual Assembly Builder

Захват полной топологии приложения

Пакетирование в единую сборку

Реализация в один клик через Self-Service

Metadata

OVM

HTTP

OVM

HTTP

OVM

WLS

OVM

DB

Ora

cle

Ente

rpri

se M

anag

er

Загрузка в Software Library

Oracle Exalogic Elastic Cloud для ЦОД 21 века

Частное облако – централизованно управляемая, эластичная, автоматизируемая, надежная, простая в обслуживании инфраструктура, организующая «ресурсы по требованию»

Exalogic Elastic Cloud позволяет объединить виртуализацию с гипервизорами (без OS), виртуальные среды и IaaS-решения

Можно запускать как крупные приложения, так и множество мелких на одной платформе с высоким уровнем безопасности

Легкость использования оптимизированных шаблонов – Oracle VM Templates

Лучшая платформа для Oracle In-Memory Applications

Интеграция Exalogic с Nimbula Director – возможность использования OpenStack-совместимых API-интерфейсов

Поддержка OpenStack на уровне операционных систем

Внутреннее использование в Oracle: Self-Service Private IaaS for Dev/Test

Размер проекта: 2600+ physical servers with

over 10,000+ VMs 4,000+ developers submitting

45,000+ jobs

Результаты: Время ожидания

разработчиков уменьшилось с недель до <1 часа Число обслуживающих

специалистов уменьшилось с 12 до 1 Утилизация серверов стала

80+% в среднем, 90+% в пике На 75% меньше потребление

энергии и места

Case

Study

Другие примеры успешного использования Exalogic

Case

Study

100% uptime 100% virtualized 5x man hours saved

84Mx tx/min 5 months from initiation

to production

3.5M savings in TCO over prior P7 systems in 3 years

3x performance improvement 20% reduction in TCO

10x response time improvement 4x reduction in FTE’s

15X increased perf. 33% reduction in

development cycle

40 servers down to 1/2 rack Exalogic

Batch processing improved by 32x

3 year TCO savings of 70% Time to value in 10

months

100% uptime 100% virtualized 5x man hours saved

10x > performance in 1/8th the space 1/14th energy

14 to 4 FTEs 9 months to 4 month

upgrade of CC&B

75% reduction to market 90% reduction in

development time

900 legacy systems eliminated 40% reduction in IT spend

96% faster 71% time to value 20% increased revenue

6x more users 25x response times 65% reduction in IT spend

Cloning reduced from 22 hours to 1.5 hours

3 year TCO savings of $13M - against IBM - $9M versus $22M

Заключение

Краткие выводы

Exalogic – сверхбыстрая инженерная система для работы Java-приложений на платформах Linux или Solaris для собственных разработок и промышленных приложений

Exalogic – промышленная, недорогая, высоконадежная система на основе общепринятых компонент с практически безграничной масштабируемостью

Exalogic – для организаций это – «облако в коробке», позволяющее реализовать все наилучшие возможности этой передовой парадигмы: сервисная модель предоставления услуг, эластичность, простота управления и использования, автоматизация, использование шаблонов, масштабируемость

Все компоненты системы идеально подогнаны, оптимизированы для максимальной производительности от одного поставщика

Инженерные системы Oracle – идеальная платформа для ЦОД 21 века

Exalogic - Выгоды для бизнеса

Оптимизация программного обеспечения

Оптимизация аппаратного обеспечения

Преднастроенная работа программно-аппаратного

комплекса

Производительность

Встроенная безопасность

Высокая доступность

Высокая производительность

Автоматизация

Высокая плотность консолидации

Затраты по мере использования

Стандартизация, автоматизация

Затраты

Высокая доступность, качество сервиса, безопасность

Преднастроенная интеграция

Решение проблем у одного вендора

Риски

azadonsky exalogic

Technology