giới thiệu cơ bản về big data và các ứng dụng thực tiễn
TRANSCRIPT
Nội dung chính
1. Các ứng dụng Big Data thực tiễn trên thế giới 2. Các lĩnh vực đang ứng dụng Big Data ở Việt
Nam 3. Các bài toán Big Data tiêu biểu ở Vietnam
a. Quản lý chăm sóc khách hàng (CRM)b. Tối ưu hoá trải nghiệm truyền hình Internet c. Quảng cáo trực tuyến AdsPlay.net
4. Giới thiệu về công việc và thị trường việc làm Big Data ở Việt Nam
5. Kiến thức nền tảng cho các bạn sinh viên
Các ứng dụng Big Data phổ biến trên thế giới1
Khối lượng dữ liệu cần xử lý
Nhu cầu cần tính toán nhanh dữ liệu cho các report cần real-time
Sự đa dạng về loại dữ liệu cần thống kê Social , Web, Video , Photo , Text , ...
Định nghĩa Big Data
Nguồn gốc Big Data
Google: Tìm kiếm thông tin
Facebook: Mạng xã hội 1. Sắp xếp các bài post 2. Gợi ý kết bạn, photo tagging 3. Phân tích xu hướng ‘Likes’ của user 4. Lưu trữ dữ liệu về hình ảnh, bài post, fan page và các thống kê
Uber: Giao thông thông minh
Các lĩnh vực đang ứng dụng Big Data 2
Big Data được ứng dụng ở những công ty nào tại Việt Nam ?Hầu hết các công ty về Tech đều có dữ liệu và có nhu cầu phân tích để tìm ra lợi thế cạnh tranh trong thời mọi thứ sẽ được số hóa (Digitization )
Phổ biến ở các ngành ở Vietnam ◦ Tài chính: Momo, BIDV ,... ◦ Viễn thông: Fpt Telecom, Viettel ◦ Digital Media: VnExpress , FptPlay, Zalo, YouNet ◦ E-commerce: Lazada, Tiki, Chotot ◦ Giao thông: Uber, Grab,..
Các ngành nghề có nhu cầu ứng dụng Big Data
Các bài toán Big Data tiêu biểu 3a. Quản lý chăm sóc khách hàng (CRM)b. Tối ưu hoá trải nghiệm truyền hình số c. Quảng cáo trực tuyến
Ứng dụng Big Data vào lĩnh vực chăm sóc khách hàng (CRM)
Phân tích mạng xã hội (Social Media Analytics )
Lưu trữ dữ liệu mạng xã hội với NoSQL (ArangoDB)
Sử dụng Big Data cho ứng dụng truyền hình Internet
Quảng cáo trực tuyến
Thống kế dịch vụ theo vị trí địa lý
Big Data trong lĩnh vực thiết kế giao diện (UI/UX)
Kiến trúc hệ thống tổng quát Big Data trong e-commerce (http://rrfxlab.com)
1) Data collector (I/O networking)● Netty
2) Data persistence (aka: data storage)● Kafka for distributed message queue(Apache Kafka)● NoSQL ● PostgreSQL
3) Data processing● Apache Hive ● Apache Spark for in-memory batch processing● RxJava + Akka for reactive processor (reactivex)
4) Data analysis● SQL
5) Data reporting● NodeJS ● real-time frontend report: NodeJs, SocketIO
Technology stack ( 5D model )
Giới thiệu về công việc và thị trường việc làm Big Data ở Việt Nam
4
Việc làm Big Data ở một vài công ty
Kiến thức nền tảng cho các bạn sinh viên5
Con đường kiến thức
1. Đam mê với dữ liệu2. Nắm vững kiến thức về cấu trúc dữ
liệu, lập trình và thống kê 3. Kỹ năng phân tích vấn đề phức tạp 4. Cơ sở dữ liệu: NoSQL và RDBMS 5. Kiến thức về lập trình mạng và lập
trình phân tán (Distributed Computing )
6. Linux 7. English
1) Hiểu vấn đề và bài toán2) Xây dựng hệ thống 3) Chạy test thử các use cases 4) Đo đạt 5) Rút ra các bài học 6) Trở về bước số 3
http://BigDataVietnam.org