big data بزرگ داده ها
TRANSCRIPT
Big Dataای بر مقدمه
دکتر خنجری :استاد
سعید حسنوند، امید سهرابی: ارائه دهندگان
www.company.com
فهرست مطالب
•Big Data؟چیست
Bigچرا• Data؟
Bigروی های پیشهچالش• Data
Bigی آینده• Data
NoSQLجنبش •
NoSQLانواع •
•MapReduce
•Hadoop
1
www.company.com
Big Data2چیست؟
لغوی معنای•
کالن داده•
های حجیمداده•
بزرگ داده•
تعریف•
!تعریف واحدی وجود ندارد•
هادو عنصر اصلی در تمامی تعریف•
هاوجوِد حجم زیادی از داده•
هاهای داده سنتی در مدیریت دادهناتوانِی پایگاه•
www.company.com
Big Data3چیست؟
هاویژگی•
Big Data
www.company.com
Big Data4چیست؟
(Volume)هاحجم داده•
های موجود، حدود حجم کل داده2003تا سال •اگزابایت بوده است5
اگزابایت 5حدود امروزه در هر دو روز،•شودداده تولید می
IBMگزارش•
اگزابایت داده در روز2.5تولید •
های موجود در دو درصد کل داده90تولید •سال اخیر
0.8 Zb 35.2 Zb 44رشدیبرابری
2009
2020
www.company.com
Big Data5چیست؟
(Volume)هاحجم داده•
های موجود، حدود حجم کل داده2003تا سال •اگزابایت بوده است5
اگزابایت 5حدود امروزه در هر دو روز،•شودداده تولید می
IBMگزارش•
اگزابایت داده در روز2.5تولید •
های موجود در دو درصد کل داده90تولید •سال اخیر
EXA
218
PETA
215
TERA
212
ZETTA
221
GIGA
29
2018
2015
2012
2003
www.company.com
Big Data6چیست؟
(Volume)حجم داده ها•
www.company.com
Big Data7چیست؟
هانمونه•
( 1392)فیسبوک•
بیش از یک میلیارد کاربر•
پتابایت داده300بیش از •
ترابایت داده در روز50اضافه شدِن بیش از •
درصد از کِل تصاویر دنیای مجازی 35بیش از •
(1390)گوگل•
بیش از صد پتابایت داده•
میلیارد صفحه وب1000بیش از –
وجو در روزمیلیارد جست7.2حدود •
www.company.com
Big Data8چیست؟
هانمونه•
( 1393)یوتیوب•
بیش از یک اگزابایت داده•
بازدیِد بیش از یک میلیارد کاربر در ماه•
درصد ترافیک خارج از آمریکا80•
اضافه شدن صد ساعت فیلم در دقیقه•
(1393)توییتر •
حدود یک میلیارد کاربر•
میلیارد توییت در سال124بیش از •
توییت در ثانیه4500حدود •
میلیون کاربر فعال در ماه271•
www.company.com
Big Data9چیست؟
هانمونه•
های حسگرشبکه•
های هواشناس یسازمان•
های پزشکیدستگاه•
بیوانفورماتیک•
های بزرگسازمان•
...و •
www.company.com
Big Data10چیست؟
هاویژگی•
Big Data
www.company.com
Big Data11چیست؟
(Variety)هاتنوع در داده•
(Structured)ساختارمندهایداده•
هایی که دارای ساختارِ مشخصی هستندداده•رشته ها–
اعداد–
تاریخ–
...و–
های موجود، درصد از کل داده20حدود •ساختارمند هستند
ایی رابطههای دادهاستفاده از پایگاه•
www.company.com
Big Data12چیست؟
(Variety)هاتنوع در داده•
(Structured)های ساختارمند داده•
(Semi-Structured)نیمه ساختارمندهای داده•
ساختاری سازگار و مشابه ندارند•–XML
–Tweets
–SGML
–Logs
...و –
عدم امکان استفاده از پایگاه های داده ی •ایرابطه
www.company.com
Big Data13چیست؟
(Variety)هاتنوع در داده•
(Structured)های ساختارمند داده•
(Semi-Structured)نیمه ساختارمند های داده•
(Unstructured)فاقد ساختار های داده•
فاقد هرگونه ساختاری هستند•...(فیلم، صوت و )ای های چند رسانهداده–
هاایمیل–
گزارشات–
هاارائه–
....و –
های موجوددرصد از کل داده90تا 70حدود •
www.company.com
Big Data14چیست؟
(Variety)تنوع در داده ها•
www.company.com
Big Data15چیست؟
هاویژگی•
Big Data
www.company.com
Big Data16چیست؟
(velocity)ها رشد سریع داده•
های جدیدهسرعت باال در تولیِد داد•
www.company.com
Big Data17چیست؟
(velocity)ها رشد سریع داده•
های جدیدسرعت باال در تولید داده•
سرعت باال در ایجاد پرس و جوها•
تجهیزات علمی های حسگرشبکه
www.company.com
Big Data18چیست؟
(complexity)پیچیدگی •
(Variability)تغییرپذیری •
...و •
Big Data
3V’s هاویژگی•
www.company.com
19؟Big Dataچرا
روز افزون ظرفیت ادوات ذخیره سازی رشد•
www.company.com
20؟Big Dataچرا
رشد روز افزون ظرفیت ادوات ذخیره سازی •
هاگیر قدرت پردازش ی سیستمافزایش چشم•
www.company.com
21؟Big Dataچرا
رشد روز افزون ظرفیت ادوات ذخیره سازی •
هاگیر قدرت پردازش ی سیستمافزایش چشم•
های موجودافزایش حجم داده•
www.company.com
Big Data22روی های پیشچالش
های سنتی تحلیل اطالعاتعدم کارایی روش•
تحلیل داده•
امنیت و حریم شخص ی•
مشکالت فنی و پردازش ی•
www.company.com
Big Data23ی آینده
•Big Data درGoogle Trend
www.company.com
Big Data24ی آینده
•Big Data درGoogle Trend
www.company.com
Big Data25ی آینده
ی گارتنراز نظر موسسهBig Dataجایگاه پژوهش ی •
www.company.com
وجود دارد ؟Big Dataچه تکنولوژی برای
استفاده از یک مدل بدون ساختار و توزیع شده
دلیل استفاده از این مدل
26
www.company.com
NoSQL27جنبش
تاریخچه
Not Only SQL
NoSQL بیان نمی کند کهSQLهیچگاه نباید استفاده شود ویا مرده است
Companyمثال هایی از پایگاه داده های غیر رابطه ای
LOGO28
www.company.com
NoSQL–Key Value29جنبش
– Keyذخیره سازی –1 Value:
مقدار–مجموعه ای از زوج های کلید : مدل داده ای •
Tokyo , Redis , Voldemort: مثال •
www.company.com
NoSQL–Column30جنبش
:ذخیره سازی ستون محور –2
ذخیره سازی ستون ها به جای سطرها: مدل داده ای •
Cassandra, HyperTable, HBase: مثال •
www.company.com
NoSQL–Document31جنبش
:ذخیره سازی سندگرا–3
مقدارها-مجموعه ای از مجموعه ی کلید : مدل داده ای •
CouchDB , MongoDB: مثال •
www.company.com
NoSQL–Graph32جنبش
:ذخیره سازی گراف –4
مقدار روی هرکدام–گره ها، ارتباط ها، کلید : مدل داده ای •
Sones, AllegroGraph , Neo4j: مثال •
Companyمثال هایی از پایگاه داده های غیر رابطه ای
LOGO33
www.company.com
NoSQL34مقایسه فریم ورک های
MySQL
MongoDB یا CouchDB
Neo4j
Map ReduceCompany
LOGO35
www.company.com
Hadoop36
Hadoop همان ،VMware هست اما در راهی متفاوت
Companyو ماشین مجازی Hadoopتفاوت
LOGO37
Hadoop
چند سرور فیزیکی . 1را می گیرد
آنها را با هم . 2ترکیب می کند
یک سرور بزرگ . 3مجازی ارائه می دهد
Vmware
یک سرور فیزیکی . 1می گیرد
آن را می شکند. 2چند سرور مجازی . 3
ارائه می دهد
www.company.com
38نتیجه گیری
NoSQLنمی توان با قاطعیت گفت که یک فریم ورک
مختص یک کار است
Companyمنابع
LOGO39
1 - http://www.economistinsights.com/sites/default/files/downloads/
EIU_SAS_BigData_4.pdf
2 - http://en.wikipedia.org/wiki/MapReduce
3 - http://en.wikipedia.org/wiki/NoSQL
4 - http://www.ibm.com/big-data/us/en/
5 - Marco Grobelink,Jozef stefan Institute,Big-Data Tutorial, 2013.
www.company.com
40پرسش و پاسخ