انباره داده

امید میالنی فرد: ارائھ

2

سر فصل مطالبمقدمھ و معرفی انباره داده معماری انباره داده جمع آوری نیازمندی ھا طراحی انباره داده

3

انواع سسیستمھای کامپیوتری در سازمانھا سیستمھای عملیاتیOLTP سیستمھای اطالعاتیDSS, DW/BI, OLAP

OLTP: Online Transaction Processing OLAP: Online Analytic Processing DSS: Decision Support Systems BI: Business Intelligence

Make the Wheels of Business Turns Watching the Wheels of Business Turns

4

..داده ھا در ھمھ جا ھستندنمی توانم داده ھای مورد نیاز را پیدا کنم

اند پراکندهداده ھا در سطح شبکھ ھای زیادی دارند کھ تفاوت اندکی با ھم دارند نسخھ

نمی توانم داده ھای مورد نیاز را بھ دست آورم

خبرهبرای بھ دست آوردن داده ھا نیازمند یک ھستم

نمی توانم داده ھایی کھ پیدا کرده ام، درک کنم داده ھای موجود بسیار ضعیف انجام مستند سازی

شده است

نمی توانم داده ھایی کھ پیدا کرده ام استفاده کنم

از شکلی بھ شکل دیگر ھستند تبدیلداده ھا نیازمند

5

...از دید کاربران داده باید در سراسر سازمان یکپارچھ باشد داده خالصھ سازی شده ارزشی واقعی در سازمان دارد داده ھای تاریخی کلید فھم داده در طی زمان را در خود دارند

6

انباره داده چیست؟

منابع از که هایــی داده از یکپارچه و کامل یکـتا، مخزن یک

گرفته قرار نهایــی کاربر دسترس در شکلی به و شده گرفته گوناگون

نها بتواند که اندٓ مورد و کرده درک تجاری، ی زمینه یک در را ا

.دهد قرار استفاده

7

پیدایش .نامیده شد Information Warehouseتحقیقاتی انجام و IBM، توسط ۸۰اواسط دھھ

را Building the Datawarehouse، کتاب )DWپدر ( Inmon، ۸۰اواخر دھھ )Top-Downدیدگاه . (منتشر ساخت

Kimbal کتاب ۹۶در سالThe Data Warehouse Toolkit او . را منتشر کردرا ارائھ داد Dimensional Modelingیکی از اساسی ترین مفاھیم طراحی یعنی

)Bottom-Upدیدگاه . (نامیده می شود Cubeکھ اساس چیزی است کھ امروزه

8

انباره داده

خصوصیات اصلی: موضوع گرا جامع، یکپارچھ

زمان گراtime-varying فقط خواندنی non-volatile

و بیش از اینھا: منابع داخلی و خارجی با سیستمھای عملیاتی غیر یکپارچھ(جمع آوری داده از منابع مختلف( چرا؟(مجزا از تمام سامانھ ھای عملیاتی( داده ھای عملیاتی بھ قالب قابل استفاده در تصمیم گیری نگاشت می شوند: خالصھ سازی شده

9

معماری انباره داده

Data Warehouse Engine

Optimized Loader

Extraction Cleansing

Analyze Query

Metadata Repository

Relational Databases

Purchased Data

ERP Systems

Legacy Data

معماری انباره داده

Data Mart & Data Warehouse

11

بھ سوی دپارتمان ھا جریان DWداده ھا از . دارند DWکاربران دپارتمانھا انتظارات متفاوتی از کوچکتری است کھ مربوط بھ DWدر واقع Data Mart. می یابد تا نیازھای آنھا را برطرف سازد

یک دپارتمان می باشد

Departmentally Structured

Individually Structured

Data Warehouse Organizationally Structured

چرخھ عمر توسعھ ی سیستم انباره داده

12

رویکردھای تحلیل نیازمندی ھا

13

مستخرج از داده(Data Driven) مستخرج از کاربر(User Driven) مستخرج از ھدف(Goal Driven) ترکیبی

رویکردھای ترکیبی

14

(triple-driven)رویکرد استخراج از سھ گانھ بھ عنوان راھنمای مدیر پروژه برای تعیین اھداف تجاری goal-drivenاستفاده از

توسعھ ی استراتژی سازمان و شناسایی زمینھ ی اصلی کسب و کار )جھت رسیدن بھ اھداف(توسط مدیران ارشد (KPI)شناسایی شاخصھای کلیدی کارایی

و تحلیل آنھا برای ساخت شمای داده موضوع گرا توسط مدیر پایگاه داده DWھمزمان، شناسایی داده ھای مرتبط با استخراج نیازمندی ھا با مصاحبھ با کاربران نھایی و تحلیل گزارشات تجاری

ادغام اسناد حاصل از تمام این مراحل برای رسیدن بھ مدل منطقی

مدلسازی/ رویکردھای طراحی

15

نرمال سازی چند بعدی

16

.پیاده سازی می شود Top-Down، با روش )۹۰اوایل دھھ ( Bill Inmonارائھ شده توسط • )اطالعات کلیدی در جداول جداگانھ(3N داده ھای ذخیره شده در قالب نرمال نوع سوم • )ھر قطعھ کلیدی از اطالعات جداگانھ نگھداری می شود(شدیدا قابل گسترش است • JOINبھ صورت قابل مالحظھ ای بزرگ شده و کوئری زدن در آن مستلزم DWاندازه ی •

. کردن جداول زیادی خواھد بود، کلیدھای آن، روابط و جداول DWنرمال شده باید شمای DWبرای دسترسی بھ داده ھا در •

.موجود را شناخت

رویکرد نرمال سازی

17

جنبھ ھای مثبت و منفی رویکرد نرمال سازی :جنبھ ھای مثبت

3داده در قالب اتمیک رابطھ ایN است بھ راحتی با تغییرات منطبق می شود 3قالبN افزونگی داده را از بین می برد مستقل از برنامھ کاربردی است

:جنبھ ھای منفی 3انباره داده ھایN نمی توانند کوئری ھای کارا تولید کنند، برخی اوقات کند بوده و باید

توسط چندین کوئری اجرا شوند ابزارOLAP بر خالفOLTP برای باال بردن کارایی ترجیح می دھند با داده ھای غیر

.نرمال کار کنند از آنجا کھ بھ دلیل نرمال بودن داده ھا و نداشتن افزونگی تعداد بسیار زیادی جدول و رابطھ

ایجاد می شود، ممکن است این اطالعات روی سرورھای مجزا پخش شوند کھ تاثیر منفی در .کارایی کوئری ھا خواھد گذاشت

بیشتر برای پایگاه داده ھای غیرDW مناسب است.

18

.پیاده سازی می شود Bottom-Upارائھ شده و بیشتر با روش Kimballتوسط • .ابعاد، اطالعات مرجع برای واقعیتھا ھستند، واقعیتھا، اعداد موجود در داده ھای تراکنشی ھستند•چند بعدی، می تواند شامل یک جدول حاوی واقعیتھا و تعداد زیادی DWاطالعات ذخیره شده در یک •

.)بھ عنوان شمای ستاره ای نیز مورد اشاره قرار می گیرد. (ُبعد متصل باشداز آنجا کھ واقعیتھا و ابعاد از نظر درک کاربری آسان ھستند، مدیران و متخصصان کسب و کار •

.بدون دانش زیاد کامپیوتری ھم می توانند آنھا را بھ کار برند

(Dimensional)رویکرد ُبعدی

19

در رویکرد چند ُبعدی Schemaطراحی

انواعSchema ستاره ای صورت فلکیConstellation دانھ برفیSnowflake

20

Star Schema

یکfact table تک و برای ھر بعد یکdimension table

T i m e

p r o d

c u s t

c i t y

f a c t

date, custno, prodno, cityname, ...

21

Snowflake schema

نشان دادن سلسلھ مراتب بعدی بصورت مستقیم بھ وسیلھ جداول .نرمال شده

نگھداری و ذخیره سازی انبار آسان است. T i m e

p r o d

c u s t

c i t y

f a c t

date, custno, prodno, cityname, ...

r e g i o n

22

Fact Constellation

Fact Constellation چندین fact table کھ تعداد زیادیdimension

table را بھ اشتراک می گذارند. رزروکردن وپرداخت نھایی ممکن است تعداد زیادی

dimension tables را درصنعت ھتل بھ اشتراک گذارد

ھتل ھا

آژانس ھای مسافرتی

توسعھ

نوع اتاق مشتری

رزرو کردن

پرداخت نھایی

23

..سپاس از همراهی شما