informatica datawarehouse

Хранилища данных на базе платформы Informatica

www.pronet.ua

О фирме ProNET

15 лет на ИТ-рынке Украины

Законченные проекты, отмеченные

наградами и дипломами

Партнерские отношения с вендорами

Сертифицированные специалисты

Индивидуальный подход к Заказчику

Гибкая ценовая политика

Автоматизированное управление

обработкой сервисных заявок

Как принимаются решения?

Base: 675 US and European business executives and managers

Source: BusinessWeek Research Services

Интуитивные решения

Всегда

75% случаев

50% случаев

25% случаев

Никогда

Количество неверных

решений принятых

менеджерами по причине

некорректной информации

Интуитивные решения принимаются >60% менеджеров в >50% случаев

Доступность информации для принятия важных решений

Почти достаточно (но не всегда)

Слишком много

41% 22%

38%

Мало 77%

Знаете ли ВЫ что?

Знаете ли Вы что около 70-80% затрат при построении аналитической системы идет на интеграцию и очистку данных?

Задачи бизнеса

Повысить эффективность, оптимизация затраты

Повышение конкурентоспособности

Улучшение качества обслуживания клиентов

Выполнение требований регуляторов

Прогнозирование, аналитика данных

Использование всех данных для принятия

правильных решенийДанные (информация) – один из самых ценных активов любой организации, если они (она) доступны,

корректны, своевременны, достаточны и не противоречивы.

Основные проекты для задач бизнеса

Улучшение принятия решений и выполнениетребований регулирующих органов

Улучшение бизнеса

Повышение эффективностии снижениезатрат

Улучшениеобслуживания клиентови операционнойэффективности

Аутсорсингнеосновныхфункций

Повышениеэффективностисети партнеров

Поддержка слияний и поглощений

Бизнес-задачи

Управленческая и регуляторная

отчетность

Внедрение новых

приложений

Information Lifecycle

Management

Хабсправочных

данных

Управление бизнес-

процессами и интеграция

по требованию

Интеграция B2B

Консолидация приложений

ИТ-инициативы

Хранилища данных

Миграцияданных

Архивация и управление

тестовыми средами

УправлениеНСИ

Синхронизацияданных

Обмен данными B2B

Консолидацияданных

ИТ-проекты

Зачем строить хранилище данных?

В финансовом секторе возможны выделить основные виды задач, для которых требуется построение хранилищ данных:

Формировании отчетности о деятельности организации для ТОП-менеджеров, инвесторов, контролирующих органов, владельцев и т.п.

Оперативный анализ данных об активности клиентов, поступающие через различные контакт-центры (Call-центр, веб-портал и т.п.)

Обеспечение данными системы по управлению рисками

Обеспечение аудита и прозрачности данных в банке

Хранилище данных

Миграция данных

Архивация данных и

управление средами

Управление НСИ

Синхро-низацияданных

Обмен данными

B2B

Консолидацияданных

Обработкакомплексных

событий

Подход Informatica

Приложения Данные партнеров

SWIFT NACHA HIPAA …

Данные вне компании ФайлыБазы данных

Что такое Хранилище Данных?

Что такое Хранилище Данных?

Хранилище данных (Data Warehouse) — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации.

Представление данных в Хранилище Данных радикально отличается от представление в транзакционных системах

Хранилище данных не привносит новой информации и ограниченно данными операционных систем

Основные задачи ХД

Предоставление «правдивой» информации для принятия решений

Участие в процессе извлечения знаний «Данные->Информация -> Знания -> Полученные решения» (в соотв. с потребностями пользователя)

Доставка чистых консолидированных данных для отчетности и аналитики

Анализ данных из различных корпоративных систем

Формирование отчетности без понимания структур операционных систем

Доступность любых данных из любых систем для бизнес- пользователей

Минимальное влияние средств отчетности на системы-источники

Первый шаг – простая отчетность

Отчеты без агрегации

данных

Операционная система

Слабые возможности анализа данных, невозможность анализа консолидированных данных

Высокая стоимость и ресурсоемкость разработки, поддержки и сопровождения

Высокая нагрузка на операционные системы

Необходимость привлечения различных специалистов для разработки отчетов из разных систем

Несовпадение данных в отчетах

Рамки – Пользователь, сотрудники Департамента

Поддерживаемые приложения - Отчетность Гибкость – заранее определенный набор

данных ИТ-пользователи – программисты Бизнес-пользователи – небольшая группа

аналитиков

Следующий шаг – витрина данных

Операционная система

Витрина данных

Операционная система

Отдельная витрина для каждой бизнес-сущности

Различные варианты внедрений для разных витрин

Различные команды для разных систем-источников

Высокая стоимость внедрения

Рамки – задачи уровня Департаментов Бизнес-приложения - Отчетность Гибкость – Набор заранее предопределенных

данных ИТ-пользователи – ETL-разработчики, архитекторы Бизнес-пользователи – небольшой набор аналитиков

ХД – все данные организации в одном месте

Системы-источники

Операционная система

Операционная система

Операционная система

Оперативное хранилище

данных (ODS)

Оперативная отчетность

Центральное Хранилище

Данных

Анализ,отчеты

Отчеты

Витрины данных

Анализ, отчеты

Рамки проекта – Компания в целом Бизнес-приложения – Все типы,

включая BI, CRM, ERP, OLTP Гибкость – Независимость от типов

данных, СУБД, приложений Пользователи – Разработчики,

архитекторы, аналитики Бизнес-пользователи – Все

Преимущества ХД при построение отчетности

Корреляция информации из нескольких операционных систем

Постоянное наличие оперативных данных

Снижение нагрузки на операционные системы

Упрощение создания новых отчетов и модификации старых

Повышение качества данных, возможность очистки данных

Снижение трудоемкости разработки за счет бизнес-ориентированной структуры данных

Ускорение формирования отчетов за счет агрегации

Любой уровень детализации данных

Преимущества ХД при анализе данных

Корреляция информации из нескольких операционных систем

Постоянное наличие оперативных данных

Снижение нагрузки на операционные системы

Упрощение создания новых отчетов и модификации старых

Повышение качества данных, возможность очистки данных

Снижение трудоемкости разработки за счет бизнес-ориентированной структуры данных

Ускорение формирования отчетов за счет агрегации

Любой уровень детализации данных

Пример BI-решения

Analysis Services

Integration Services

Источникиданных

Загрузка данныхЗагрузка данных

Reporting Services

ПользовательКуб данныхХрани лище

Разработчик

отчетность

аналитика

СУБД

18

Платформа интеграции данных INFORMATICA?

Использование INFORMATICA PowerCenter

Системы,файлы

• Informatica PowerCenter обеспечивает начальную загрузку данных

• Informatica PowerCenter обеспечивает загрузку изменений и распространение мастер-

данных различными способами: пакетно, на основе сообщений, в реальном времени

• Informatica Data Quality очищает, стандартизирует, обогащает данные и ведет

мониторинг качества

• Identity Resolution (Identity Match Option) выявляет дубликаты и связывает сущности

Базы данных

Единый справочник клиентов

Подключение произвольных источников

СУБД

Источникданных

Lotus Notes

ORACLE E Business

SAP NetWeaver

SAS

MS SQL Server

MS Access

Книги Excel

MS SQL

MS SSAS

Oracle

Teradata

Sybase

Informix

DB2

Текстовые файлы

Технолог. стандарты

Неструктуриров. Данные

..более 100 разл. источников

ХД

Приклад.системы

Неструктурированные данные

Metadata Manager

Полная визуализация зависимостей

Обеспечение качества данных

Качество данных

1. Профилирование данных 2. Определение критериев качества данных

3. Проектирование и разработка и правил

качества

4. Внедрение сервисов качества данных

6. Мониторинг качества данных

5. Выявление исключений

2. Определение критериев качества данных

3. Проектирование и разработка и правил

качества

4. Внедрение сервисов качества данных

Разовые, периодические и онлайн-процессы по обеспечению качества данныхКлиенты, продукты и любые другие типы данныхКак отдельный проект или в составе любого интеграционного проектаЗначительные наработки правил для стран СНГ

Профилирование данных

• Определение параметров данных– Статистика по полям, форматам– Определение уникальности, полноты, дубликатов значений,

соответствия форматам и т.д.• Структурный и функциональный анализ

– Функциональные зависимости полей и записей– Расширенный анализ структур данных источников– Проверка целостности ссылочных данных

• Возможность просмотра результатов профилирования• Использование собственных функций для анализа данных

Приложения

Базы данных

Файлы

• Список проблем и недостатков исходных данных

• Анализ зависимостей

• Отчеты и заключения по качеству данных

• Метаданные• Данные

• Метаданные• Данные

Платформа Informatica

Informatica Data Quality

Обработка данных, требующих синтаксического разбора: Имена Адреса Телефоны Товарные номенклатуры Паспортные данные Налоговые номера Банковские реквизиты Любая другая информация

Стандартизация и проверка данных Сравнение и поиск дубликатов записей

вероятностными методами Мониторинг качества данных Визуальные средства Informatica Analyst

и Developer для создания процессов обеспечения и оценки качества данных

Sources

Runtime

DQ Dashboard

Business Applications

Designer

RealtimeSDK

IDQServer

Repository

Data Integration/ Quality Services

SAPSiebelOracle

InformaticaPowerCenter

Runtime

Informatica PowerCenter

Наглядность отображения процессов трансформации данных

Возможность проследить способ формирования каждого значения и влияния каждого из полей на результирующее значение

Informatica PowerCenter

Уменьшение нагрузки на систему-источник за счет проведения одновременной записи обработанных данных, в несколько таблиц-приемников

Параллелизация расчетов для увеличения производительности

Любые режимы работы процессов: по расписанию, по запросу, в реальном времени

Integration Service

Масштабируемость

Clie

ntAdministration Development Operations

Repository Service Repository

Provider Thread Consumer Thread

Параллелизация в памяти сервера Informatica PowerCenter

Partition Point

Transformation Threads

Увеличение производительности платформы PowerCenter путем распараллеливания процессов обработки данных различными методами

Динамическое и статическое распределение потоков на основе числа процессоров, серверов или особенностей источника данных

Эффективная работа с большими объемами данных

29

Почему платформа INFORMATICA?

INFORMATICA – лидер интеграции данных

Informatica – один из лидеров Квадранта Gartner в области интеграции данных

данных за 2011 год

Как один из наиболее общепризнанных поставщиков в области интеграции данных , Informatica продолжает увеличивать свое присутствие и сохранять позицию на рынке,  отражающуюся в отчетах в большей степени, чем у других вендоров

Платформа предлагает некую федерацию данных, которая сводит интеграцию данных и качество в единую архитектуру, что является технологическим трендом

Заказчики Informatica используют единую платформу для решений большего количества задач, чем заказчики конкурентов.

Клиенты Informatica продолжают выражать высокую степень удовлетворения работой по таким параметрам как скорость внедрения, производительность, техническая поддержка, доступность обучения.

31

Компании стран СНГ выбирают Informatica

Преимущества INFORMATICA

Мощная высокопроизводительная промышленная платформа масштаба предприятия для интеграции и обеспечения качества данных

Высокоэффективное решение любых задач обеспечения качества данных для любого типа проектов – от локальных систем до глобальных хранилищ данных

Обработка любых типов данных из любых систем на любых языках

Визуальность, прозрачность, самодокументирование

Успешный опыт применения в крупнейших мировых компаниях, а также в России и странах СНГ, быстрый time-to-market проектов

Развитые наработки и наличие обученных специалистов и команд внедрения

04073, г. Киев, ул. Марка Вовчка, 18А(+38) 044-390-09-11, 390-09-19

dep_itsm@pronet.uawww.pronet.ua

Спасибо за внимание!

Пожалуйста, задавайте вопросы

33