giới thiệu cơ bản về big data và các ứng dụng thực tiễn
Post on 21-Apr-2017
417 Views
Preview:
TRANSCRIPT
Giới thiệu cơ bản về Big Data và các ứng dụng thực tiễn
Tổng hợp bởi Trieu Nguyen tantrieuf31@gmail.com
Nội dung chính
1. Các ứng dụng Big Data thực tiễn trên thế giới 2. Các lĩnh vực đang ứng dụng Big Data ở Việt
Nam 3. Các bài toán Big Data tiêu biểu ở Vietnam
a. Quản lý chăm sóc khách hàng (CRM)b. Tối ưu hoá trải nghiệm truyền hình Internet c. Quảng cáo trực tuyến AdsPlay.net
4. Giới thiệu về công việc và thị trường việc làm Big Data ở Việt Nam
5. Kiến thức nền tảng cho các bạn sinh viên
Khối lượng dữ liệu cần xử lý
Nhu cầu cần tính toán nhanh dữ liệu cho các report cần real-time
Sự đa dạng về loại dữ liệu cần thống kê Social , Web, Video , Photo , Text , ...
Định nghĩa Big Data
Facebook: Mạng xã hội 1. Sắp xếp các bài post 2. Gợi ý kết bạn, photo tagging 3. Phân tích xu hướng ‘Likes’ của user 4. Lưu trữ dữ liệu về hình ảnh, bài post, fan page và các thống kê
Big Data được ứng dụng ở những công ty nào tại Việt Nam ?Hầu hết các công ty về Tech đều có dữ liệu và có nhu cầu phân tích để tìm ra lợi thế cạnh tranh trong thời mọi thứ sẽ được số hóa (Digitization )
Phổ biến ở các ngành ở Vietnam ◦ Tài chính: Momo, BIDV ,... ◦ Viễn thông: Fpt Telecom, Viettel ◦ Digital Media: VnExpress , FptPlay, Zalo, YouNet ◦ E-commerce: Lazada, Tiki, Chotot ◦ Giao thông: Uber, Grab,..
Các bài toán Big Data tiêu biểu 3a. Quản lý chăm sóc khách hàng (CRM)b. Tối ưu hoá trải nghiệm truyền hình số c. Quảng cáo trực tuyến
1) Data collector (I/O networking)● Netty
2) Data persistence (aka: data storage)● Kafka for distributed message queue(Apache Kafka)● NoSQL ● PostgreSQL
3) Data processing● Apache Hive ● Apache Spark for in-memory batch processing● RxJava + Akka for reactive processor (reactivex)
4) Data analysis● SQL
5) Data reporting● NodeJS ● real-time frontend report: NodeJs, SocketIO
Technology stack ( 5D model )
Con đường kiến thức
1. Đam mê với dữ liệu2. Nắm vững kiến thức về cấu trúc dữ
liệu, lập trình và thống kê 3. Kỹ năng phân tích vấn đề phức tạp 4. Cơ sở dữ liệu: NoSQL và RDBMS 5. Kiến thức về lập trình mạng và lập
trình phân tán (Distributed Computing )
6. Linux 7. English
1) Hiểu vấn đề và bài toán2) Xây dựng hệ thống 3) Chạy test thử các use cases 4) Đo đạt 5) Rút ra các bài học 6) Trở về bước số 3
top related