<Insert Picture Here>

ODI Suite – готовая интеграционная платформа

на базе СОА

Артем Воевода

Старший консультант

Oracle в Украине и Молдове

Компоненты интеграционной

платформы Oracle

Интеграция и управление процессамиПлатформа Oracle SOA

J2EE Application Server

Oracle AS, JBoss, WebLogic, WebSphereMessaging

Metadata

Repository

DATA SERVICES & CONNECTIVITY

Apps

AdaptersAdapters

Partners

B2BB2B

RFID

SESSES

DB Bulk

ODIODI

ETL

Multi

ProtocolRouting

XSLT

Transform

Enterprise Service BusEnterprise Service Bus

Native

BPEL

Business

Rules

Human

Workflow

BPEL Process ManagerBPEL Process Manager

ROUTING & ORCHESTRATION

Discovery

Policies

Management

Security

Web Services Web Services ManagerManager

RegistryRegistry

GOVERNANCEEvents AnalyticsBusiness

Monitoring

System

Monitoring

Enterprise Enterprise ManagerManager

BAMBAM BIBI

MANAGEMENT

&

MONITORING

App Dev

Framework

JDeveloperJDeveloper

Analyst

Tools

BPA SuiteBPA Suite

WebLogic SuiteКомпоненты

WebLogic Server and iAS

Applications

ADF Spring …

WebLogic Operations Control

POJO

Java EEWeb

ServicesTopLink

JRockit

WebLogic Real TimeJRockit JVM

Reliability, Availability, Scalability, Performance

JMSMessaging

De

ve

lop

men

t To

ols

JD

eve

lop

er

Ec

lipse

Clustering with Coherence EE Scale Out

Ma

na

ge

men

t

En

terp

ris

e M

an

ag

er

Dia

gn

osti

cs

Pack

WL

SM

an

ag

em

en

t

Oracle WebLogic ServerЛидер на рынке серверов приложений

• Лидер по доле рынка

• Последний отчёт Gartner ~1/3 доли рынка

• Уже 9 лет как позиционируется как “Лидер”

• Gartner Enterprise Application Server Magic

Quadrant

• #1 у разработчиков

• По опросу Evans Data Corporation

• Не имеющая себе равных управляемость

• У пользователей в промышленной эксплуатации

находятся тысячи систем

• Высокая производительность – различные

типы систем

• SPECjAppServer20041

1 SPECjAppServer is a trademark of the Standard Performance Evaluation Corp. (SPEC). For the latest SPECjAppServer2004 results visit http://www.spec.org/osg/jAppServer2004

Инфраструктура сервис в 11g

BusinessRules

BusinessRulesMediatorMediator

Управленияполитикамиr

Оптимизация

BPELBPEL HumanWorkflow

HumanWorkflow CEPCEP

Эволюция Service Bus

Oracle Service Bus

JCAСервисы/Сообщения API

РепозиторийРепозиторий

Oracle ESB10g

AquaLogicService Bus

3.x +

Возможности Oracle ESB:

• X-Reference

• Domain-Value Maps

• JCA Адаптеры

• Сенсоры

• XSLT инструменты

• Управления политикамибезопасности

Сервис сообщений

• Транспорт для Web сервисов• HTTP/SOAP

• WS-Security

• WS-Policy

• WS-Addressing

• WS-RM

• Традиционные сообщения• JMS

• MQ

• EJB/RMI

• Tuxedo

• FTP / SFTP

• SMTP

• File

• Native Database Lookup

• SDK• Для написания собственных компонент

• Взаимодействие• .NET, Tibco EMS, IBM MQ, IBM

WebSphere, Apache Axis, B2B Interchange, адаптеры iWay 5.5 Надёжная связь сервисов

различных стандартов

Services Transport Layer Transport SDK

Service ServiceService Service

Messaging

Оптимизированная система

безопасности• Безопасность на уровне

транспорта• Аутентификация на базе SSL

• Возможность использования пользовательских решений

• Безопасность сообщений• WS-Policy/WS-Security

• SAML, UserID/Password, X509

• Цифровая подпись и шифрование

• Возможность использования пользовательских решений

• Безопасность консоли• Поддержка Web Single-Sign-On

• Доступ на основе ролей

• Безопасность на основе политик

• WS-Security & WS-Policy

• Oracle Web Services Manager

Authentication Authorization Credential Mappers Audit

Transport Security WS-Security Console Security Policy

Common Security Services

Default Default

PKI

SAML

XACML Default

3rd Party 3rd Party

3rd Party

3rd Party

Поддерживает как встроенные

компоненты, так и легко

расширяется за счёт

партнёрских решений

Security

• Моделирование прохождения сообщений

• Графические инструменты

• Маршрутизация на основе контента

• Смешанный режим - Async/Sync, Pub/Sub

• Обработка исключений

• Обнаружение и Валидирование• Автоматический импорт и синхронизация

с UDDI реестром или репозиторием• Валидация целостности и разрешение

конфликтов перед развёртыванием

• Трансформация• XML и не-XML трансформация

• Xquery или XSLT

• Обратный вызов сервисов• Java (Plain Old Java Object)• Обратный вызов Web сервисов

• Консоль тестирования• Трассировка и поиск неисправностей

Богатая среда для

конфигурирования и

моделирования исключает

необходимость кодирования

Composition

Transformation Discovery/

Validation

Message

Flow

Modeling

Service

Call-

out

Test

Browser

Мощный интерфейс для моделирования

Встроенная система мониторинга

• Открытый интерфейс• API для расширения возможностей системы

мониторинга и уведомлений

• Аналитические панели• Ключевые KPI для обнаружения ошибок и

проблем с производительностью

• Суммарные агрегированные отчёты по работе ESB

• Мониторинг• Мониторинг и уведомления о проблеме как

на ноде, так и на всей ESB

• Уведомления на уровне приложений• Уведомления на основе операционных

метрик• Уведомления на базе канала сообщений

• Отчётность• Готовые отчёты

• Возможность построения собственных отчётов

• Открытые интерфейсы• JMX интерфейс для мониторинга

• SNMP для уведомлений

Обеспечивает качество сервисов

с встроенной системой

оптимизации и

производительности и

мониторинга and monitoring

ReportingSLAsMonitoring Dashboard Open Interfaces

Visibility

Оптимизированная производительность

и масштабирование

• Оптимизированная среда выполнения:

маршрутизация – 20M сообщений в

час

• Менее 3% накладных расходов для 2000

сервисов

• 60% улучшение в TPS во время

параллельного выполнения

• Поддержка больших сообщений: 500 MB

• Оптимизированный транспорт для

продуктов SOA Suite

• JVM развертывание

Архитектура Oracle BPEL Process

Manager• Plug-and-play

• Кросс-платформа

• Масштабируемость

J2EE application server

(Oracle AS, WebLogic, JBoss, WebSphere)

BPEL Process Manager

Core BPEL engine

WSDL binding Built-in integration services

File, FTP

Web service

Java, JMS, JCA

Database

XQuery XSLT User

tasks

JDeveloper,

Eclipse

Dehydration store

(Oracle DB)

Java/

J2EE

iWay

BPEL

Designer

Manage

BPEL

Console

BPEL

Develop

Deploy

Oracle Data Integrator

Интеграция данныхИнтеграция данных

Хранилищаданных

MDM SOA (Messaging)

Доступ к внешним данным

Миграция

Источники данныхИсточники данных

ERP

---------

---

------

CRM

- - -

Традиционные

источники данных

---------

---

------ ---

---------

------

Приложения

Информация, где и как она нужнаИнформация, где и как она нужна

АналитикаОценка эффективности

работы компанииБизнес мониторинг

Управление бизнес

процессами

Имеем…

Необходимо…

- - -- - -

- - -- - -

Синхронизацияданных

Зачем нужен Data Integrator?

Преимущества Oracle Data Integrator

• Перемещение и преобразование данных между

различными источниками в гетерогенной среде

1. Производительность: Гетерогенный “E-LT”

2. Гибкость: Активная интеграционная

платформа

3. Продуктивность: Декларативный дизайн

4. Горячее подключение: Модульная структура

Преимущества Ключевые особенности

Преимущества: E-LT архитектураВысокая производительность

«Обычная» ETL Архитектура

Extract LoadTransform

Архитектура нового поколения

“E-LT”“E-LT”LoadExtract

Transform Transform

Специализированный ETL

сервер• «Черный ящик»

• Слабая производительность

• Высокая цена

• Подход IBM и Informatica

Преобразования внутри СУБД• Использование современных

возможностей

• Эффективность

• Высокая производительность

Преимущества� Оптимальная производительность и

масштабируемость

� Легкость управления и низкая цена

1717

Преимущества: Интеграция в SOA архитектуру

• Небольшой Java агент

• >36MB памяти

• Работает на любой

платформе

• Готовые сервисы доступа к

данным

• Публикация в каталоге

сервисов (Service Registry)

• Легкое тестирование и

развертывание

• Готовые сервисы

преобразования данных

ODI Agent

Data Flow Conductor

Sources

CRM

Legacy

ERP

Custom

Database

Files /

XMLESB

Targets

Custom

DB

Apps

Data

Warehouse

Files /

XMLESB

Staging

Area

Any DB

Data

Data Access Service

Data Access Service

Transformation Service

Преимущества: Декларативный дизайнУскорение разработки интеграционных сценариев

Последовательный ETL дизайнОпределение ETL потока данных• Необходимо определить каждый шаг

сложной ETL логики• Традиционный подход требует

специализированных знаний в области ETL• Требует значительных усилий при

разработке и сопровождении

Декларативный дизайн на базе

шаблона• Сокращает кол-во необходимых шагов

• Автоматически генерирует поток данных

независимо от БД источника и получателя

Преимущества� Существенно снижает время обучения

� Сокращает время развертывания

� Снижает кол-во ошибок и время отладки

Декларативный дизайн ODI

Как: Встроенные шаблоны

Опред.

Чтовы хотите

Автоматически генерируется

инф. поток

11 22

Journalize

Read from CDC

Source

Load

From Sources to

Staging

Check

Constraints before

Load

Integrate

Transform and Move

to Targets

Service

Expose Data and

Transformation

Services

Reverse

Engineer Metadata

� Используется опыт лучших наработок

� Легко администрировать

Reverse

Journalize

Load

Check

IntegrateServices

CDC

Sources

Staging Tables

Error Tables

Target Tables

WSWS

WS

SAP/R3

Siebel

Log Miner

DB2 Journals

SQL Server Triggers

Oracle DBLink

DB2 Exp/Imp

JMS QueuesCheck MS

Excel

Check Sybase

Oracle SQL*Loader

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services

Готовые модули знаний

Преимущества

Преимущества: Модули знаний

(Knowledge Modules)

Готовые модули знаний

• Generic SQL DB

• Oracle DB 9i

• Oracle DB 10g

• Oracle DB 10g XE

• IBM DB2/400

• IBM DB2/UDB

• IBM Informix SE

• IBM LDAP Server

• MS SQL Server 2000

• MS SQL Server 2005

• MS SQL Server 2005 SE

• MS Office Access 2000

• MS Office Excel 2000

• MS Active Directory

• Sybase ASA 8.x & 9.x

• Sybase IQ 12.x

• Sonic MQ v7.0

• Teradata V2R5.x

• Teradata V2R6.x

• Netezza Performance Server 2.2.1

• Hyperion Essbase

• PostgresSQL 8.1

• MySQL 4.0

• MySQL 5.0

• Oracle BI Suite 10g

• Oracle BAM 10g

• Oracle Internet Directory 9i

• OpenLDAP 2.3

• Siebel CRM 7.8

• JD Edwards

• PeopleSoft

• Oracle EBusiness Suite

• Oracle AQ 10g

• Oracle SOA Suite

• Oracle ESB 10g

• SalesForce.com App Exchange

• Any JMS Standard Implementation

Out-of-Box

Knowledge

Modules

� Позволяет построить хранилища реального времени и хабы� Можно использовать в SOA

Oracle Data Integrator

Data-oriented Integration

Event ConductorEvent Conductor

Event-oriented

Integration

Service ConductorService Conductor

Service-oriented

Integration

Declarative Design

Metadata

Data ConductorData Conductor

Преимущества: Активная интеграция

• Переход от пакетной загрузки к хранилищам реального времени

• Единообразие инструмента

• Интеграция «на лету»

• Преимущества

Преимущества: Захват измененных

данных (CDC)• Публикация и подписка CDC

• Журналы БД

• Триггеры

• Решения третьей стороны

• Обеспечивает чтение данных из нескольких таблиц от одной транзакции

1. Определяется или генерируется мапирование данных

2. Выбираются данные только из журналов

3. Запуск журналов

CDC

Преимущества : Проверка

целостности данных• Экран целостности данных

• Аудит, очистка и повторное использование данных

1. Определение условий проверки целостности на уровне таблиц

2. Определение мапирования и проверки целостности для потока данных

3. Аудит, очистка или повторное использование отброшенных записей

MarisAlbert Fresh230Invalid City Reference

BostonJohn Doe022Duplicated Record

001

Id

John Doe

Name

New YorkDuplicated Record

CityMessage

24

Production Servers and Applications

ODI Production Runtime Environment

Runtime Repository

Runtime Repository

Return Codes

Code

Execution Logs

Execution

CRM

Legacy

ERP

Data Warehouse

Files / XML

ESB

ODI Admin Interfaces

AdministratorsAdministrators

OperatorsOperators

Topology/Security

Execution Log

ODI Agent

Data Flow Conductor

ODI Agent

Data Flow Conductor

Oracle Data Quality Servers

Global DataRouter

Transformer Parser PostalMatcher

RelationshipLinker

Batch Script Return Code

Incoming Data

Cleansed Data

Design-time Metadata

Design-time Metadata

Профилированиеданных

Генерирование DQ правил

11

Добавляем DQ вE-LT поток

33

Развертывание

44

Преимущества: Полный контроль над качеством данных

Разработано совместно с лидером рынка в области качества данных Trillium Software

22

ODI Design-Time Environment ODI Runtime Environment

User Interfaces

6 шагов к промышленному

применению1. Получение/Улучшение

метаданных

2. Определение преобразования

3. Редактирование потока данных

4. Генерация и развертывание потока данных

5. Мониторинг выполнения

6. Анализ происхождения данных

Разработка

Development Servers and Applications

Agent

Data Flow Conductor

CRM

Legacy

ERP

Data

Warehouse

Files / XML

User Interfaces

Administrators

Designers

ESB

Design-time RepositoriesDesign-time

Repositories

Выполнение

Production Servers and Applications

Agent

Data Flow Conductor

CRM

Legacy

ERP

Data

Warehouse

Files / XML

Operator

Metadata Navigator

ESB

Runtime Repository