big data بزرگ داده ها

Big Dataای بر مقدمه

دکتر خنجری :استاد

سعید حسنوند، امید سهرابی: ارائه دهندگان

www.company.com

فهرست مطالب

•Big Data؟چیست

Bigچرا• Data؟

Bigروی های پیشهچالش• Data

Bigی آینده• Data

NoSQLجنبش •

NoSQLانواع •

•MapReduce

•Hadoop

1

www.company.com

Big Data2چیست؟

لغوی معنای•

کالن داده•

های حجیمداده•

بزرگ داده•

تعریف•

!تعریف واحدی وجود ندارد•

هادو عنصر اصلی در تمامی تعریف•

هاوجوِد حجم زیادی از داده•

هاهای داده سنتی در مدیریت دادهناتوانِی پایگاه•

www.company.com

Big Data3چیست؟

هاویژگی•

Big Data

www.company.com

Big Data4چیست؟

(Volume)هاحجم داده•

های موجود، حدود حجم کل داده2003تا سال •اگزابایت بوده است5

اگزابایت 5حدود امروزه در هر دو روز،•شودداده تولید می

IBMگزارش•

اگزابایت داده در روز2.5تولید •

های موجود در دو درصد کل داده90تولید •سال اخیر

0.8 Zb 35.2 Zb 44رشدیبرابری

2009

2020

www.company.com

Big Data5چیست؟

(Volume)هاحجم داده•

های موجود، حدود حجم کل داده2003تا سال •اگزابایت بوده است5

اگزابایت 5حدود امروزه در هر دو روز،•شودداده تولید می

IBMگزارش•

اگزابایت داده در روز2.5تولید •

های موجود در دو درصد کل داده90تولید •سال اخیر

EXA

218

PETA

215

TERA

212

ZETTA

221

GIGA

29

2018

2015

2012

2003

www.company.com

Big Data6چیست؟

(Volume)حجم داده ها•

www.company.com

Big Data7چیست؟

هانمونه•

( 1392)فیسبوک•

بیش از یک میلیارد کاربر•

پتابایت داده300بیش از •

ترابایت داده در روز50اضافه شدِن بیش از •

درصد از کِل تصاویر دنیای مجازی 35بیش از •

(1390)گوگل•

بیش از صد پتابایت داده•

میلیارد صفحه وب1000بیش از –

وجو در روزمیلیارد جست7.2حدود •

www.company.com

Big Data8چیست؟

هانمونه•

( 1393)یوتیوب•

بیش از یک اگزابایت داده•

بازدیِد بیش از یک میلیارد کاربر در ماه•

درصد ترافیک خارج از آمریکا80•

اضافه شدن صد ساعت فیلم در دقیقه•

(1393)توییتر •

حدود یک میلیارد کاربر•

میلیارد توییت در سال124بیش از •

توییت در ثانیه4500حدود •

میلیون کاربر فعال در ماه271•

www.company.com

Big Data9چیست؟

هانمونه•

های حسگرشبکه•

های هواشناس یسازمان•

های پزشکیدستگاه•

بیوانفورماتیک•

های بزرگسازمان•

...و •

www.company.com

Big Data10چیست؟

هاویژگی•

Big Data

www.company.com

Big Data11چیست؟

(Variety)هاتنوع در داده•

(Structured)ساختارمندهایداده•

هایی که دارای ساختارِ مشخصی هستندداده•رشته ها–

اعداد–

تاریخ–

...و–

های موجود، درصد از کل داده20حدود •ساختارمند هستند

ایی رابطههای دادهاستفاده از پایگاه•

www.company.com

Big Data12چیست؟

(Variety)هاتنوع در داده•

(Structured)های ساختارمند داده•

(Semi-Structured)نیمه ساختارمندهای داده•

ساختاری سازگار و مشابه ندارند•–XML

–Tweets

–SGML

–Logs

...و –

عدم امکان استفاده از پایگاه های داده ی •ایرابطه

www.company.com

Big Data13چیست؟

(Variety)هاتنوع در داده•

(Structured)های ساختارمند داده•

(Semi-Structured)نیمه ساختارمند های داده•

(Unstructured)فاقد ساختار های داده•

فاقد هرگونه ساختاری هستند•...(فیلم، صوت و )ای های چند رسانهداده–

هاایمیل–

گزارشات–

هاارائه–

....و –

های موجوددرصد از کل داده90تا 70حدود •

www.company.com

Big Data14چیست؟

(Variety)تنوع در داده ها•

www.company.com

Big Data15چیست؟

هاویژگی•

Big Data

www.company.com

Big Data16چیست؟

(velocity)ها رشد سریع داده•

های جدیدهسرعت باال در تولیِد داد•

www.company.com

Big Data17چیست؟

(velocity)ها رشد سریع داده•

های جدیدسرعت باال در تولید داده•

سرعت باال در ایجاد پرس و جوها•

تجهیزات علمی های حسگرشبکه

www.company.com

Big Data18چیست؟

(complexity)پیچیدگی •

(Variability)تغییرپذیری •

...و •

Big Data

3V’s هاویژگی•

www.company.com

19؟Big Dataچرا

روز افزون ظرفیت ادوات ذخیره سازی رشد•

www.company.com

20؟Big Dataچرا

رشد روز افزون ظرفیت ادوات ذخیره سازی •

هاگیر قدرت پردازش ی سیستمافزایش چشم•

www.company.com

21؟Big Dataچرا

رشد روز افزون ظرفیت ادوات ذخیره سازی •

هاگیر قدرت پردازش ی سیستمافزایش چشم•

های موجودافزایش حجم داده•

www.company.com

Big Data22روی های پیشچالش

های سنتی تحلیل اطالعاتعدم کارایی روش•

تحلیل داده•

امنیت و حریم شخص ی•

مشکالت فنی و پردازش ی•

www.company.com

Big Data23ی آینده

•Big Data درGoogle Trend

www.company.com

Big Data24ی آینده

•Big Data درGoogle Trend

www.company.com

Big Data25ی آینده

ی گارتنراز نظر موسسهBig Dataجایگاه پژوهش ی •

www.company.com

وجود دارد ؟Big Dataچه تکنولوژی برای

استفاده از یک مدل بدون ساختار و توزیع شده

دلیل استفاده از این مدل

26

www.company.com

NoSQL27جنبش

تاریخچه

Not Only SQL

NoSQL بیان نمی کند کهSQLهیچگاه نباید استفاده شود ویا مرده است

Companyمثال هایی از پایگاه داده های غیر رابطه ای

LOGO28

www.company.com

NoSQL–Key Value29جنبش

– Keyذخیره سازی –1 Value:

مقدار–مجموعه ای از زوج های کلید : مدل داده ای •

Tokyo , Redis , Voldemort: مثال •

www.company.com

NoSQL–Column30جنبش

:ذخیره سازی ستون محور –2

ذخیره سازی ستون ها به جای سطرها: مدل داده ای •

Cassandra, HyperTable, HBase: مثال •

www.company.com

NoSQL–Document31جنبش

:ذخیره سازی سندگرا–3

مقدارها-مجموعه ای از مجموعه ی کلید : مدل داده ای •

CouchDB , MongoDB: مثال •

www.company.com

NoSQL–Graph32جنبش

:ذخیره سازی گراف –4

مقدار روی هرکدام–گره ها، ارتباط ها، کلید : مدل داده ای •

Sones, AllegroGraph , Neo4j: مثال •

Companyمثال هایی از پایگاه داده های غیر رابطه ای

LOGO33

www.company.com

NoSQL34مقایسه فریم ورک های

MySQL

MongoDB یا CouchDB

Neo4j

Map ReduceCompany

LOGO35

www.company.com

Hadoop36

Hadoop همان ،VMware هست اما در راهی متفاوت

Companyو ماشین مجازی Hadoopتفاوت

LOGO37

Hadoop

چند سرور فیزیکی . 1را می گیرد

آنها را با هم . 2ترکیب می کند

یک سرور بزرگ . 3مجازی ارائه می دهد

Vmware

یک سرور فیزیکی . 1می گیرد

آن را می شکند. 2چند سرور مجازی . 3

ارائه می دهد

www.company.com

38نتیجه گیری

NoSQLنمی توان با قاطعیت گفت که یک فریم ورک

مختص یک کار است

Companyمنابع

LOGO39

1 - http://www.economistinsights.com/sites/default/files/downloads/

EIU_SAS_BigData_4.pdf

2 - http://en.wikipedia.org/wiki/MapReduce

3 - http://en.wikipedia.org/wiki/NoSQL

4 - http://www.ibm.com/big-data/us/en/

5 - Marco Grobelink,Jozef stefan Institute,Big-Data Tutorial, 2013.

www.company.com

40پرسش و پاسخ