Download - Тема 3. Методи інтеграції даних
Консолідація даних - це збирання даних з територіально
віддалених або різноплатформенних джерел даних в
єдине сховище даних з метою їх подальшого
опрацювання та аналізу. Консолідовані дані необхідні
центральному керівництву для того, щоб здійснювати
глобальне керування бізнесом, впроваджувати єдину
політику у філіалах і здійснювати контроль над їх
діяльністю.
• вибір джерел даних;
• розробка стратегії консолідації;
• оцінка якості даних;
• збагачення;
• очистка;
• перенос в сховищі даних.
Федералізація даних забезпечує єдину віртуальнукартину одного або декількох первинних файлівданих. Якщо бізнес-застосування генерує запит доцієї віртуальної картини, то процесорфедералізації даних витягає дані з відповіднихпервинних сховищ даних, інтегрує їх так, щобвони відповідали віртуальній картині і вимогамзапиту, і відправляє результати застосуванню, відякого прийшов запит. За визначенням, процесфедералізації даних завжди полягає у витяганніданих з первинних систем на підставі зовнішніхвимог.
Федералізацію даних можливо використовувати втих випадках, коли вартість консолідації данихперевищує переваги для користувачів предметноїобласті, які вона надає. Оперативне опрацюваннязапитів і підготовка звітів могла б служитиприкладом подібної ситуації. Федералізація данихтакож, ймовірно, виявилася б корисною в тихвипадках, коли політика безпеки даних іліцензійні обмеження забороняють копіюванняданих первинних систем. Зазвичай в цюкатегорію потрапляють синдикати даних. Крімцього, федералізація могла б використовуватисяяк короткочасне рішення для інтеграції данихпісля придбання або злиття компаній.
Застосування розповсюдження даних здійснюють копіюванняданих з одного місця в інше. Ці застосування зазвичайпрацюють в оперативному режимі і здійснюють переміщенняданих до місць призначення, тобто залежать від певнихподій. Оновлення в первинній системі можуть передаватисяв кінцеву систему синхронно або асинхронно. Синхроннепередавання вимагає, щоб оновлення в обох системахвідбувалися під час однієї і тієї ж фізичної транзакції.Незалежно від використовуваного типу синхронізації, методрозповсюдження гарантує доставку даних в системупризначення. Така гарантія - це ключова ознакарозповсюдження даних. Більшість технологій синхронногорозповсюдження даних підтримують двосторонній обмінданими між первинними і кінцевими системами. Прикладамитехнологій, що підтримують розповсюдження даних, єінтеграція корпоративних застосувань (Enterprise applicationintegration, ЕАІ) і тиражування корпоративних даних(Enterprise data replication, EDR).
ЕАІ – це технологія, за допомогою якоїорганізація добивається централізації іоптимізації інтеграції корпоративнихзастосувань, зазвичай використовуючи ті абоінші форми технології оперативної доставкиінформації (push technology), яка керуєтьсязовнішніми подіями (event-driven). ЕАІ - цебагатогранна технологія для сховищ даних,яка охоплює всі рівні корпоративної системи -її архітектуру, апаратне і програмнезабезпечення і процеси.
• Інтеграція процесів бізнесу (Business Process
Integration, ВРІ)
• Інтеграція застосувань (Application Integration)
• Інтеграція даних (Data Integration).
Полягає в тому, що необхідні для виконаннятрансакції дані копіюють на той сервер, де їхоброблятимуть. Усі зміни, внесені іншимикористувачами протягом здійснення запиту, невпливають на його виконання, оскільки вонифіксуються в основних файлах і невідображаються в їх копіях. Такий механізм даєзмогу завершити трансакцію з ланцюжкомпошукових запитів будь-якої довжини, непорушивши логічної цілісності даних, а також єзасобом уникнення конфліктів під час роботи збазою даних.
Великою перевагою методу розповсюдження даних єте, що він може використовуватися для переміщенняданих в режимі реального часу або близькому донього. Інші переваги включають Гарантованудоставку даних і двостороннє розповсюдження даних.Доступність багатьох з цих зручностей залежить відконкретного продукту. Метод розповсюдження данихможе також використовуватися для урівноваженняробочого навантаження, творення резервних копій івідновлення даних, зокрема у разі надзвичайнихситуацій.
Практичне застосування цього методу відрізняєтьсядостатньо великою різноманітністю як в планіпродуктивності, так і щодо можливостейреструктуризації і очищення даних.
Методи, що використовуються застосуваннями
інтеграції даних, залежать як від потреб
бізнесу, так і від технологічних вимог.
Достатньо часто застосування інтеграції даних
використовує так званий гібридний підхід,
який включає декілька методів інтеграції.
Хороший приклад такого підходу - інтеграція
даних про клієнтів (customer data integration,
CDI), метою якої є забезпечення узгодженої
картини інформації про клієнтів.
Найпростіший підхід до CDI - це створення
консолідованого сховища даних про клієнтів, яке
містить дані, одержані з первинних систем.
Відставання інформації в консолідованому сховищі
залежатиме від режиму консолідації даних
(оперативний або пакетний) і від частоти оновлення
цієї інформації.
Інший підхід до CDI - це федералізація даних, коли
визначаються віртуальні бізнес-подання даних про
клієнтів в первинних системах. Ці подання
використовуються прикладними програмами для
доступу до поточної інформації про клієнтів в
первинних системах.
Гібридний підхід використовує як
консолідацію, так і федералізацію даних,
також може мати місце. Загальні дані про
клієнтів (ім’я, адреса та ін.) можуть бути
консолідовані в одному сховищі, а дані, які
відносяться до певного первинного
застосування (наприклад, замовлення), можуть
бути федералізовані.