phần 1 giới thiệu về công ty...

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH

BÁO CÁOTHỰC TẬP DOANH NGHIỆP

TÊN ĐỀ TÀI

Xây dựng hệ thống Social Listening (Facebook)

Sinh viên thực hiện : Phùng Minh HiếuLớp : 18IT5Giảng viên hướng dẫn : TS. Lý Quỳnh TrânĐơn vị thực tập : Công ty TNHH PexpleNgười hướng dẫn : Trần Xuân Vũ

Đà Nẵng, tháng 01 năm 2021

PHIẾU NHẬN XÉT CỦA ĐƠN VỊ THỰC TẬP(Bản phô-tô)

Xây dựng hệ thống Social listening (Facebook)

LỜI CẢM ƠNTrước tiên với tình cảm sâu sắc và chân thành nhất, cho phép em được bày tỏ

lòng biết ơn đến tất cả các cá nhân và tổ chức công ty TNHH Pexple đặc biệt là anh

Trần Xuân Vũ đã tạo điều kiện hỗ trợ, giúp đỡ em trong suốt quá trình thực tập và

nghiên cứu đề tài này. Trong suốt thời gian từ khi bắt đầu học tập tại công ty đến nay,

em đã nhận được rất nhiều sự quan tâm, giúp đỡ của quý Thầy Cô và bạn bè.

Với lòng biết ơn sâu sắc nhất, em xin gửi đến quý Thầy Cô ở Khoa Khoa học

máy tính, Đại học công nghệ thông tin và truyền thông Việt – Hàn đã truyền đạt

vốn kiến thức quý báu cho chúng em trong thời gian học tập tại trường. Nhờ có những

kiến thức, các định hướng nghiên cứu, hướng dẫn của các thầy cô nên đề tài thực tập

của em mới có thể hoàn thiện tốt.

Em cũng xin chân thành cảm ơn cô Lý Quỳnh Trân đã trực tiếp giúp đỡ, quan

tâm, hướng dẫn em hoàn thành tốt bài báo cáo này trong thời gian qua. Bài báo cáo

thực tập chỉ thực hiện trong khoảng thời gian gần 2 tháng. Bước đầu đi vào thực tế các

kiến thức và kinh nghiệm của em còn hạn chế, còn nhiều bỡ ngỡ nên không tránh khỏi

những thiếu sót, em rất mong nhận được những ý kiến đóng góp quý báu của quý Thầy

Cô để hoàn thành tốt hơn trong báo cáo này, làm chủ kiến thức của bản thân trong lĩnh

vực học tập và nghiên cứu, đây cũng là khoảng thời gian để những sinh viên như em

được hoàn thiện hơn về các kỹ năng, đồng thời có điều kiện bổ sung, nâng cao kiến

thức của mình.

Em xin chân thành cảm ơn!

Khoa Khoa học máy tính – Lớp: 18IT5 Phùng Minh Hiếu


MỞ ĐẦU

Sau thời gian thực tập và nghiên cứu tại công ty TNHH Pexple được sự

đồng ý của công ty và nhà trường em đã tìm hiểu và quan sát tình hình thực tế

tại công ty về cách hoạt động nội dung các công việc mục tiêu của công ty. Với

các quy trình làm việc và tham gia dự án bên công ty. Với sự giúp đỡ nhiệt tình

từ phía công ty và sự hướng dẫn của các thầy cô em đã hoàn thành đợt thực tâp

này. Do tính chất bảo mật thông tin của công ty nên một số kết quả triển khai,

mã nguồn không được đầy đủ mang tính chất nghiên cứu, học tập.

Sau đây em xin phép được báo cáo quá trình thực tập, các kết quả, các kiến

thức học tập được trong đợt thực tập.



MỤC LỤC

Trang

Phần 1 Giới thiệu về công ty Pexple.....................................................................51.1 Cơ quan thực tập....................................................................................................51.2 Giới thiệu chung.....................................................................................................51.3 Mục tiêu hoạt động................................................................................................51.4. Lĩnh vực hoạt động của công ty............................................................................51.5 Các sản phẩm, phương án, giải pháp...................................................................5

Phần 2 Giới thiệu về Influencer Marketing và vị trí của Social Listening............62.1 Lĩnh vực Influencer Marketing..............................................................................6

2.1.1 Influencer marketing là gì?..............................................................................62.1.2 Một số đặc điểm của Influencers.....................................................................7

2.2 Vị trí Social listening.............................................................................................72.2.1 Social listening là gì?.......................................................................................72.2.2 Thông tin có được từ các hệ thống social listening.........................................82.2.3 Tầm quan trọng của social listening................................................................9

Phần 3 Xây dựng hệ thống Social Listening.......................................................113.1 Quy trình phát triển, vòng đời của một phần mềm (SDLC)................................113.2 Xây dựng hệ thống Social listening.....................................................................14

3.2.1 Xác định các yêu cầu của hệ thống Social listening......................................143.2.2 Cấu trúc của hệ thống ở mức High Level (Architecture Design)..................153.2.3 Các phương pháp công nghệ thu thập dữ liệu...............................................173.3.4 Phân tích và nghiên cứu các dữ liệu thu thập................................................203.3.5 Story trong Sprint và phát triển: crawl dữ liệu từ Facebook........................22

Phần 4 Kiến nghị giải pháp và kết luận...............................................................26Phụ lục.................................................................................................................27Tài liệu tham khảo...............................................................................................28



DANH MỤC HÌNH

Hình 1. Vòng đời phát triển phần mềm SDLC..............................................................11Hình 2. Hệ thống Social Media.....................................................................................14Hình 3. Kiến trúc Kinh doanh xã hội..................................................................16Hình 4. Các thống kê trên trang Facebook....................................................................18Hình 5. Thời điểm thu thập trang..................................................................................18Hình 6. Thu thập theo trend và theo cơ chế lan tỏa.......................................................19Hình 7. Hệ thống thu thập dữ liệu.................................................................................20Hình 8. Phân tích ý kiến thảo luận trên Facebook.........................................................21Hình 9. Phân tích các ngân hàng được nhắc đến trong các bài viết trên Facebook......21Hình 10. Phân tích các ứng dụng tài chính được thảo luận nhiều nhất.........................21



Phần 1 Giới thiệu về công ty Pexple

1.1 Cơ quan thực tập

Tên cơ quan: Công ty TNHH Pexple

Địa chỉ: 190B Trần Quang Khải, Phường Tân Ðịnh, Quận 1, Thành phố Hồ Chí Minh.

Email: [email protected]

Website: pexple.com

1.2 Giới thiệu chung

Pexple là đại lý trong lĩnh vực Influencer Marketing. Công ty phối hợp cùng

khách hàng đảm nhận vai trò lên chiến lược, vận hành, quản lý các dự án liên quan đến

sử dụng hình ảnh của của những người có ảnh hưởng.

1.3 Mục tiêu hoạt động

Pexple cung cấp thương hiệu và nhận thức

1.4. Lĩnh vực hoạt động của công ty

Công ty hoạt động trong lĩnh vực Influencer Marketing Agency

1.5 Các sản phẩm, phương án, giải pháp

Social Listening, Digital Foundation.


mailto:[email protected]


Phần 2 Giới thiệu về Influencer Marketing và vị trí của Social Listening

2.1 Lĩnh vực Influencer Marketing

2.1.1 Influencer marketing là gì?

Influencer marketing đang là một trong những xu hướng truyền thông xã

hội được ưa chuộng nhất trong những năm gần đây. Thật ra đây là một dạng

“thấy người sang bắt quàng làm họ”, nhưng theo mối quan hệ đôi bên cùng có

lợi.

Influencer marketing, marketing người có tầm ảnh hưởng hoặc marketing

người có sức ảnh hưởng là một hình thức marketing qua mạng xã hội. Đây là

hình thức marketing với trọng tâm đặt vào những người có tầm ảnh hưởng hơn

là việc đặt thị trường mục tiêu là tất cả trên các phương tiện truyền thông xã hội.

Hình thức này sẽ nhận diện các cá nhân có sức ảnh hưởng đối với nhóm khách

hàng tiềm năng và định hướng các hoạt động marketing xung quanh những

người có ảnh hưởng đó.

Influencer là người tạo được ảnh hưởng đến những người khác, đặc biệt là

đến quyết định mua hàng nhờ vào uy tín, kiến thức hoặc mối quan hệ của họ với

những đối tượng khác. Influencer cũng có thể là một người có nhiều người theo

dõi trong một lĩnh vực nào đó (giáo dục, y tế, thể thao, giải trí, ...).

Trong thời đại của kỹ thuật số thì người có ảnh hưởng trên các phương tiện

truyền thông xã hội là những đối tượng được săn đón nhiều nhất. Mức độ phủ

sóng của mỗi influencer cũng sẽ khác nhau, không phải cứ độ phủ càng rộng thì

càng “có giá”. Tùy xem nhóm khách hàng mục tiêu là ai mà doanh nghiệp sẽ

chọn influencer phù hợp để mà “gửi giá trị thương hiệu vào họ”.

Influencer không nhất thiết phải là người nổi tiếng. Họ có thể là bất kì ai, ở

bất kì đâu. Trong bất kì ngành nghề nào, lĩnh vực nào cũng sẽ có những

influencer.

Những nhóm Influencer phổ biến hiện nay:

+ Người nổi tiếng (Celebrities)

+ Chuyên gia trong ngành và nhà lãnh đạo tư tưởng

+ Blogger và người sáng tạo nội dungKhoa Khoa học máy tính – Lớp: 18IT5 Phùng Minh Hiếu


+ Người ảnh hưởng nhỏ (Micro Influencers)

2.1.2 Một số đặc điểm của Influencers

Tâm lý chung của các thương hiệu trong cuộc chơi này là “tôi bỏ tiền ra thì

bạn phải làm theo đúng ý của tôi”. Họ muốn kiểm soát thông điệp mà influencer

sẽ truyền tải, và cả cách truyền tải.Nhưng nhớ rằng influencer marketing là bạn

mượn lời influencer truyền bá sản phẩm, thương hiệu của bạn, chứ không phải

bạn chiếm luôn sân khấu của họ mà nói. Sai lầm này sẽ khiến việc truyền tải

thông tin trở nên bất thường, gượng gạo, làm giảm độ tin cậy đối với người theo

dõi.

Các thương hiệu thường có xu hướng tìm kiếm những Influencer có nhiều

fans nhất, nổi tiếng nhất mà không quan tâm rằng họ có phù hợp với sản phẩm

của mình hay không. Chẳng hạn như một công ty phần mềm hợp tác với một

ngôi sao điện ảnh thì nghe chẳng ăn nhập gì với nhau.

Bạn chỉ nên trao đổi, tương tác và xây dựng mối quan hệ lâu dài với

influencer, để họ tham gia vào các cuộc họp, thảo luận về chiến dịch, cho họ

đóng góp ý kiến và tự quyết định cách quảng bá phù hợp nhất, vì họ hiểu rõ

followers của mình.

Influencer marketing chỉ là một phương án lựa chọn, một phần nhỏ trong

một kế hoạch marketing tổng thể.

2.2 Vị trí Social listening

2.2.1 Social listening là gì?

Đó là một nguồn thu thập những thảo luận của khách hàng để hỗ trợ các

kênh online và truyền thông thương hiệu trên mạng xã hội.

Xét về khía cạnh marketing, social listening chủ yếu tập trung vào 3 yếu

tố: thương hiệu, người tiêu dùng và marketing truyền thông. Trong đó, “Người

tiêu dùng” luôn là một bài toán khó để tìm lời giải và bạn phải tìm kiếm insight (

hiểu biết sâu sắc) của người tiêu dùng ở mọi nơi trước khi lên kế hoạch

marketing truyền thông. Hơn nữa, làm sao để biết được một chiến dịch có đạt

mục tiêu đề ra hay không? Đến lúc đó, những nhiệm vụ quản lý, đo lường sẽ



được hỗ trợ bởi social listening là gì?, đó là đảm bảo chiến dịch quảng cáo tiếp

cận đúng khách hàng, đúng thời điểm và hiệu quả nhất.

2.2.2 Thông tin có được từ các hệ thống social listening

Share of voice (SOV): Số lượng đề cập và lượng lan tỏa mà thương hiệu

của bạn nhận được so với đối thủ cạnh tranh. Điều này giúp xác định mức độ

nhận thức về thương hiệu và lượng tương tác của doanh nghiệp so với các đối

thủ cạnh tranh.

Sắc thái (Sentiment): Với mỗi đề cập về thương hiệu trên mạng xã hội,

doanh nghiệp có thể thu được phản hồi của khách hàng qua sắc thái của đề cập.

Đó là những bình luận tốt hay phàn nàn về sản phẩm và doanh nghiệp? Khi thu

được một lượng phản hồi đủ lớn, doanh nghiệp đang thu lại những phản hồi của

người dùng để có thể cải thiện sản phẩm/thương hiệu của doanh nghiệp phù hợp

với xu hướng của người tiêu dùng.

Kênh hoạt động (Media breakdown): Với social listening, doanh nghiệp

có thể xác định người dùng của mình đang hoạt động ở đâu trên mạng xã hội.

Có thể doanh nghiệp đầu tư nhiều vào Facebook trong thời gian này nhưng thật

ngạc nhiên, hầu hết các đề cập đến thương hiệu đều đến từ Twitter. Có lẽ đây có

thể là một cơ hội để tiếp cận đối tượng rộng hơn.

Chủ đề được nhắc đến (Word cloud): Đâu là những chủ đề mà người

dùng thường nhắc đến thương hiệu của doanh nghiệp và đối thủ? Nếu doanh

nghiệp là ngân hàng, người dùng có đang so sánh ứng dụng mobile banking với

ứng dụng của đối thủ và yêu cầu những bản cập nhật lỗi tốt hơn? Phản hồi của

khách hàng về sản phẩm luôn là thứ doanh nghiệp để chú ý đến, mỗi khi ra mắt

sản phẩm mới hoặc bản cập nhật cải thiện cho sản phẩm đã lỗi thời.

Xu hướng (Trend): Điều này đặc biệt hữu ích nếu doanh nghiệp theo dõi

chặt chẽ các đối thủ cạnh tranh. Các marketer luôn cần tìm những cuộc hội thoại

quan trọng trên các kênh mạng xã hội và theo dõi để nắm được những gì đang

xảy ra và định hướng thị trường mục tiêu mới để kích thích sự khám phá thương

hiệu.



Xác định người ảnh hưởng (Influencer identification): Social Listening

còn trao cho doanh nghiệp khả năng xác định những người dùng thường hay viết

về thương hiệu nhất và có ảnh hưởng nhất. Đây là những đại sứ thương hiệu đầy

mà công ty có thể cân nhắc đến việc hợp tác để quảng bá tên tuổi thông qua hình

thức truyền miệng (word of mouth). Cụ thể, khi đã phát hiện được blogger nổi

tiếng trong ngành thường xuyên chia sẻ bài viết của mình, doanh nghiệp có thể

liên hệ với người này để mời phỏng vấn, nhờ họ viết những bài chia sẻ quan

điểm về công ty đã thực hiện. Từ việc này, doanh nghiệp có thêm một mảng nội

dung vô cùng giá trị thu hút được nhiều độc giả của blogger ghé vào website -

tương tác cao hơn, hiệu quả hơn.

2.2.3 Tầm quan trọng của social listening

Chăm sóc khách hàng: Xây dựng một nội dung hoàn hảo là điều doanh

nghiệp nào cũng mong muốn. Tuy nhiên, dù có nghiên cứu kĩ lưỡng và chuẩn bị

chu đáo đến đâu, nội dung một bài viết sẽ luôn cần được điều chỉnh và hoàn

thiện hơn. Làm sao để biết phần nào nên cải thiện? Hãy đọc phản hồi của khách

hàng. Trên thực tế có nhiều cách để đọc, nhưng bài viết này sẽ tập trung vào

phương pháp thông qua Social Listening. Công cụ này sẽ thông báo cho doanh

nghiệp mỗi khi xuất hiện đề cập nhắc đến thương hiệu. Một khi nắm được nội

dung nào cần được khai thác mạnh, doanh nghiệp có thể tạo ra những chủ đề

thảo luận thu hút nhiều người dùng hơn, đồng thời làm tăng lượt tương tác miễn

phí.

Tìm nội dung thu hút khách hàng mục tiêu: Muốn thành công với

Inbound Marketing, doanh nghiệp cần sở hữu nội dung khác biệt nhất, chất

lượng nhất và quan trọng nhất là phù hợp với khách hàng mục tiêu. Phương

pháp hữu hiệu để phát hiện người đọc thích gì là xác định những nội dung mà họ

hay thảo luận, chia sẻ và thường tương tác. Đây chính là lúc Social Listening trở

nên hữu dụng, bằng cách theo dõi những từ khóa, thảo luận liên quan đến

thương hiệu hoặc ngành hàng. Ví dụ: một công ty kinh doanh giày chạy thì nên

tạo nội dung gắn liền với thể thao hoặc các hoạt động thể chất, đồng thời chú ý

đến những từ khóa như “chạy”, “dụng cụ thể thao”, “giày chạy”,… Hiểu rõ



những vấn đề khách hàng thực sự quan tâm sẽ là cơ sở vững chắc giúp doanh

nghiệp tạo được nội dung thú vị, gần gũi hơn.

Xử lý khủng hoảng truyền thông: Cách tốt nhất để xử lý các khủng hoảng

truyền thông là ngăn chặn trước khi chúng xảy ra. Tất nhiên, một số sự kiện

không may có thể nằm ngoài tầm kiểm soát của bạn nhưng có nhiều cách để bạn

có thể tránh khỏi mọi nguy cơ tiềm ẩn.

*Với các công cụ Social listening, doanh nghiệp có thể dự đoán trước khi

nào khủng hoảng truyền thông sẽ xảy ra dựa trên lượng sắc thái phản hồi người

dùng, từ đó có những chiến lược hợp lý để xử lý điều hướng các nguồn thông tin

tiêu cực, sai lệch, ngăn chặn trước khi khủng hoảng bùng nổ trở thành không thể

kiểm soát.



Phần 3 Xây dựng hệ thống Social Listening

3.1 Quy trình phát triển, vòng đời của một phần mềm (SDLC)

SDLC (Software Development Life Cycle) là tập hợp các hoạt động của tổ chức

mà mục đích nhằm tạo ra một hệ thống chất lượng cao, đáp ứng hoặc vượt quá sự

mong đợi của khách hàng và hoạt động có hiệu quả trong cơ sở công nghệ thông tin.

Một quy trình tốt và hợp lý luôn tạo ra những sản phẩm đạt tiêu chuẩn.

Quy trình phát triển phần mềm đem lại chất lượng, năng suất, giá thành phần

mềm, tăng tính cạnh tranh và lợi nhuận cao cho doanh nghiệp.

Các giai đoạn phát triển:

Hinh 1. Vòng đời phát triển phần mềm SDLC

1: Requirement

Thu thập và phân tích yêu cầu là giai đoạn quan trọng và cơ bản nhất trong vòng

đời phát triển phần mềm. Nó được thực hiện bởi các thành viên cao cấp như Business

Analyst (chuyên gia phân tích kinh doanh). Họ sẽ làm việc với khách hàng, bộ phận

bán hàng, khảo sát thị trường… Nhiệm vụ là thu thập các yêu cầu từ khách hàng và

tổng hợp vào tài liệu yêu cầu khách hàng (Tên tài liệu khác nhau tùy vào tổ chức) và

nó cung cấp cho Development Team.



Kết quả là tài liệu “yêu cầu khách hàng” (Customer Requirement Specification -

CRS).

2: Analysis

Sau khi thu nhập và phân tích yêu cầu được thực hiện, bước tiếp theo là xác định

và ghi lại các yêu cầu của sản phẩm và yêu cầu khách hàng chấp nhận. Điều này được

thực hiện thông qua tài liệu Đặc tả yêu cầu phần mềm (Software Requirement

Specification) hay SRS. SRS bao gồm tất cả các yêu cầu về sản phẩm được thiết kế và

phát triển trong suốt vòng đời của dự án.

Kết quả là tài liệu Đặc tả yêu cầu phần mềm (Software Requirement

Specification) hay SRS.

3: Design

Ở giai đoạn này sẽ thực hiện thiết kế và tổng hợp vào tài liệu thiết kế (Thiết kế

tổng thể, Thiết kế chi tiết). Nó sẽ mô tả mọi tính năng trong sản phẩm hoạt động như

thế nào. Ở giai đoạn này chỉ có thiết kế chứ không phải thực hiện code. Nó được thực

hiện bởi các nhà phát triển cao cấp.

Kết quả của giai đoạn này là tài liệu thiết kế tổng thể, thiết kế chi tiết, hoạt động

như một đàu vào cho giai đoạn tiếp theo.

4: Coding

Ở giai đoạn này các Developer ở các cấp độ khác nhau (Seniors, Juniors,

Freshers) sẽ tham gia vào. Đây là giai đoạn mà bắt đầu xây dựng phần mềm và bắt đầu

thực hiện lập trình theo các tài liệu đã có ở các giai đoạn trước.

Kết quả của giai đoạn này là Source Code và sản phẩm được phát triển.

5: Testing

Đội kiểm tra sẽ kiểm tra kỹ lưỡng phần mềm. Họ sẽ kiểm tra phần mềm theo

cách thủ công hoặc sử dụng các công cụ kiểm thử tự động phụ thuộc vào quy trình

được xác định trong STLC (Software Testing Life Cycle) và đảm bảo rằng mọi thành

phần của phần mềm hoạt động tốt. Trong giai đoạn này cần phải lên kế hoạch kiểm thử

(Test plan) và tạo kịch bản kiểm thử (Testcase). Tiếp đến là việc thực hiện kiểm thử,

sau đó là cập nhật kết quả vào kịch bản kiểm thử. Nếu có lỗi xảy ra thì bắt buộc phải

log lỗi. Các lỗi được cập nhật trên hệ thống quản lý lỗi. Khi QA đảm bảo rằng phần

mềm không có lỗi, nó sẽ chuyển sang giai đoạn tiếp theo.



Kết quả của giai đoạn này là test plan, test case, bug report và sản phẩm chất

lượng.

6: Deployment and Maintenance

Sau khi kiểm thử thành công, sản phẩm sẽ được phân phối và triển khi cho khách

hàng để họ sử dụng. Triển khai được thực hiện bởi các kỹ sư triển khai. Khi khách

hàng bắt đầu sử dụng hệ thống thì sẽ có nhiều vấn đề xuất hiện và đòi hỏi cần được

giải quyết theo thời gian. Như chúng ta biết việc 100% thử nghiệm là không thể. Bởi

vì cách kiểm thử khác với cách khách hàng sử dụng. Vì vậy giai đoạn bảo trì cũng rất

cần thiết và nó sẽ được thực hiện theo thỏa thuận.

*Tóm tắt các quy trình SDLC

Giai đoạn Nhiệm vụ Đầu ra

Requirement

Thu thập các yêu cầu từ khách hàng

và tổng hợp vào tài liệu Yêu cầu

khách hàng.

Tài liệu Yêu cầu khách hàng

(Customer Requirement

Specification - CRS).

Analysis

Xác định và ghi lại các yêu cầu của

sản phẩm và yêu cầu khách hàng

chấp nhận. Bao gồm tất cả các yêu

cầu về sản phẩm được thiết kế và

phát triển trong suốt vòng đời của dự

án.

Tài liệu Đặc tả yêu cầu phần mềm

(Software Requirement

Specification) hay SRS).

DesignThực hiện thiết kế và tổng hợp vào

tài liệu thiết kế

Tài liệu thiết kế (Thiết kế tổng

thể, Thiết kế chi tiết).

Coding

Bắt đầu xây dựng phần mềm và bắt

đầu thực hiện lập trình theo các tài

liệu đã có ở các giai đoạn trước.

Source Code và sản phẩm được

phát triển.

Testing

Kiểm tra phần mềm theo cách thủ

công hoặc sử dụng các công cụ kiểm

thử tự động phụ thuộc vào quy trình

được xác định trong STLC.

Test plan, Test case, bug report và

sản phẩm chất lượng.



Deployment

and

Maintenance

Triển khai sản phẩm và bảo trì. Nội dung triển khai và bảo trì

3.2 Xây dựng hệ thống Social listening

3.2.1 Xác định các yêu cầu của hệ thống Social listening

Social Listening còn được xem là một mô hình kinh doanh biến thể đáng

chú ý của ngành nghiên cứu thị trường. Cũng giống như những quy trình nghiên

cứu truyền thống, nó cũng cần trải các giai đoạn sau:

1: Thu thập dữ liệu.

2: Xuất dữ liệu.

3: Phân loại dữ liệu.

4: Phân tích dữ liệu thu được.

5: Trình bày báo cáo về việc nghiên cứu dữ liệu trên thị trường.

Social Listening không chỉ bao gồm các mạng xã hội (Facebook,

Instagram, Zalo, Tik Tok, Twitter,...) mà còn là tất cả các phương tiện truyền

thông cho phép tương tác nhiều chiều, trong đó bao gồm diễn đàn, báo điện tử

(phần bình luận), blogs, các trang review đánh giá của nguời tiêu dùng như

Foody và các phần đánh giá của các trang Ecommerce (thương mại điện tử) như

Amazon, Tiki, Shopee hay Lazada, ...



Hinh 2. Hệ thống Social Media

3.2.2 Cấu trúc của hệ thống ở mức High Level (Architecture Design)

Cấu trúc các nguyên lý cốt lõi của Kiến trúc Kinh doanh xã hội

Tương tác & Hợp tác bên ngoài (External Engagement & Collaboration)

Để tổ chức lắng nghe từ khách hàng, đối tác và thị trường xã hội và thu hút họ

chia sẻ ý tưởng, kiến thức & giải pháp, cung cấp phản hồi về sản phẩm & dịch vụ, xác

định xu hướng & những người có ảnh hưởng hàng đầu, đăng vấn đề, giám sát & phân

tích tình cảm và xây dựng một cộng đồng mạnh mẽ và sôi động. Khả năng cung cấp tất

cả những thông tin này cho mạng xã hội của doanh nghiệp và các hệ thống khác, cung

cấp phản hồi và phản hồi lại một cách liền mạch.

Tương tác và cộng tác nội bộ (Internal Engagement & Collaboration)

Một nền tảng cộng tác / mạng xã hội trong doanh nghiệp để nhân viên kết nối,

chia sẻ, giao tiếp và cộng tác trong nội bộ với người khác và bên ngoài với khách hàng

và đối tác về ý tưởng, giải pháp, kiến thức & giải pháp, cộng tác theo ngữ cảnh trên

quy trình kinh doanh, ứng dụng & hệ thống.

Tích hợp xã hội (Social Integration)

Có thể mở rộng, kiến trúc linh hoạt và khả năng tích hợp mạnh mẽ để đẩy và kéo

thông tin cần thiết từ các ứng dụng kế thừa và các hệ thống của bên thứ 3 khác sang

nền tảng cộng tác doanh nghiệp / mạng xã hội để thúc đẩy cộng tác theo ngữ cảnh hơn

trên các quy trình kinh doanh và dữ liệu.



Mạng nội bộ xã hội / Tìm kiếm liên kết (Social Intranet/Federated Search)

Một mạng nội bộ mạnh mẽ được xã hội trao quyền cung cấp một trung tâm thông

tin duy nhất để nhân viên khám phá thông tin và kiến thức chuyên môn trong mạng xã

hội của doanh nghiệp và trên tất cả các hệ thống khác một cách dễ dàng và nhanh

chóng.

Mobile

Kiến trúc linh hoạt và thân thiện với thiết bị di động để truy cập thông tin từ mọi

thiết bị, mọi trình duyệt, mọi địa điểm và mọi lúc.

Phân tích xã hội (Social Analytics)

Khả năng thu thập, phân tích và khai thác dữ liệu trên các ứng dụng của doanh

nghiệp, mạng xã hội nội bộ và bên ngoài và cung cấp thông tin chi tiết để đưa ra quyết

định kinh doanh tốt hơn.



Hinh 3. Kiến trúc Kinh doanh xã hội

3.2.3 Các phương pháp công nghệ thu thập dữ liệu

Thu thập dữ liệu bằng cổng giao thức lập trình API

Phương pháp này được áp dụng đối với các global social networks như

Facebook, Google Plus, Youtube, Twitter , Instagram… trong đó các công cụ

social listening sẽ kết nối với các API (Application Programming Interface –

Giao diện lập trình ứng dụng) của các social networks và yêu cầu hệ thống trả về

những bài viết có chứa keywords. Phương pháp này theo nguyên tắc cho phép

lấy dữ liệu của toàn bộ social network, bao gồm các trang cá nhân, nhưng trên

thực tế phụ thuộc vào sự hạn chế của các social networks này. Với việc

Facebook hạn chế organic reach cho các chủ fanpage và các nhà quảng cáo,

Facebook cũng không trả lại đầy đủ và nhất quán các bài viết cá nhân cho Social

Listening tool qua API. Hiện tại không có một thống kê rõ ràng việc lấy dữ

liệu bằng API có thể lấy được bao nhiêu % thảo luận.

Thu thập dữ liệu theo SITES

Hệ thống Social Listening sử dụng cơ chế thu thập dữ liệu theo trang

(sites), trong đó hệ thống sẽ đi thu thập dữ liệu từ các nguồn dữ liệu theo trang

như website báo điện tử, forum, Facebook fanpages, Youtube channels,

Instagram pages,…. Phương pháp này giúp thu thập toàn bộ dữ liệu của các

kênh được liệt kê. Việc thu thập dữ liệu được thực hiện bằng 2 cách: Tự động

lan tỏa và Liệt kê danh sách trang (panel).

Thu thập theo phương pháp liệt kê trang

Công đoạn xây dựng một social listening platform cho thị trường mới bắt

đầu từ việc xây dựng một tổ hợp các trang fanpages mạng xã hội, báo điện tử,

diễn đàn, blogs… của thị trường đó. Việc này thường tốn từ 6 tháng đến một

năm. Từ danh sách các trang này, đội ngũ data team sẽ viết các con nhện

(crawlers) để quét qua các trang liên tục và copy thảo luận người dùng về.

Crawlers hành xử như một con người, tự động scan nội dung của trang, nhận

điện đâu là bài viết (thread), nội dung của bài viết bao gồm bài viết đầu tiên

(lead), tác giả (author), ngày giờ và các bình luận hay phản hồi (comments).



Khác với Search engine nhận diện toàn trang là một dòng dữ liệu, hệ thống

Social Listening nhận diện mỗi comment là một dòng dữ liệu.

Như hình minh họa dưới đây, bài viết này có 907 phản hồi, tương đương

với hệ thống ghi nhận 908 dòng dữ liệu, hay 908 mentions, hay ý kiến người

tiêu dùng.

Crawlers chỉ có thể thấy những gì công chúng thấy, thu thập được những

thảo luận để chế độ public, chứ không lấy được các thảo luận private, tuân thủ

theo luật privacy.

Tuy nhiên, crawlers có thể lấy được thảo luận trong closed Facebook

group, bằng các đăng nhập bằng một member ID của group đó, nhưng việc này

cần có sự đồng ý của admin của group.

Hệ thống thu thập toàn bộ dữ liệu có trong trang từ quá khứ đến hiện tại và

liên tục quay lại cập nhật các dữ liệu mới tạo ra trên trang cứ 15 phút đến 1 tiếng

một lần.


Hinh 4. Các thống kê trên trang Facebook


Hinh 5. Thời điểm thu thập trang

Phương pháp thu thập theo trang phụ thuộc vào 4 yếu tố: đường truyền

internet, tốc độ trả dữ liệu của trang, sự nhận diện nội dung và cấu trúc trang của

crawlers và khả năng ngăn chặn crawlers của trang. Các trang diễn đàn lớn

thường có sự thay đổi về cấu trúc hàng năm nên khi crawlers khi gặp cấu trúc

mới khác với thiết kế ban đầu thì sẽ dẫn đến việc thu thập bị gián đoạn. Đồng

thời các publishers thường có cơ chế nhận diện và chặn việc thu thập dữ liệu của

máy tính gây ảnh hưởng đến băng thông.

Các crawlers cũng thường xuyên phải cập nhật và nhảy tính danh để vượt

qua các cơ chế chặn này. Vì những lý do trên, việc thiếu hay gián đoạn dữ liệu là

điều không thể tránh khỏi với các Social Listening tool,nên một đội ngũ lập trình

viên data team phải làm việc liên tục để cập nhật crawlers, thực hiện các biện

pháp xử lý ngoài tình huống chuẩn để đảm bảo đầy đủ dữ liệu cho khách hàng,

đặc biệt trong các trường hợp chạy chiến dịch hay xử lý khủng hoảng.

Đây cũng là lý do chính các công cụ social listening nước ngoài hay các

công cụ miễn phí như iSentia, Brandtology, Sysomos, Radiant6, mention.com

không thể hoạt động hiệu quả ở Việt Nam do thường xuyên bị thiếu dữ liệu do

việc thu thập danh sách sites không đủ, hoặc khi gặp một trong các vấn đề trên

thì không có nhân sự để giải quyết ngay tức thì.

Thu thập trang tự động lan toa

Việc thu thập trang tự động có thể thực hiện bằng 2 cơ chế thông minh:

Thu thập theo trend: Từ những chủ đề, xu hướng được nhắc đến nhiều nhất

trên social media, hệ thống sẽ tự động phát hiện và thu thập các trang có chứa

thảo luận về chủ đề đó. Ví dụ, khi có một sự kiện được báo chí đưa tin nhiều, hệ

thống sẽ tự động phát hiện từ khóa về sự kiện đang được nhắc đến nhiều và đi



khắp các phương tiện truyền thông xã hội để thu thập các trang có chủ đề thảo

luận về từ khóa, bao gồm các trang Facebook, forums,…

Thu thập theo cơ chế lan tỏa: Từ những trang/group đã thu thập được, hệ

thống sẽ phát hiện và thu thập các page/group/user khác được trao đổi trong

những trang này.

Hinh 6. Thu thập theo trend và theo cơ chế lan tỏa

Việc thu thập theo trend và theo cơ chế lan tỏa là 2 quá trình được thực

hiện đồng thời, đảm bảo cho các chủ đề đang được thảo luận nhiều trên social

media luôn nằm trong hệ thống trong thời gian sớm nhất và dữ liệu đầy đủ nhất.

Công nghệ social listening cũng như công nghệ search engine, đó là mô

hình tổng hợp dữ liệu thị trường. Một công cụ social listening phải lưu trữ dữ

liệu tối thiểu 2 năm để phục vụ các mục đích nghiên cứu. Áp lực lưu trữ và xử lý

dữ liệu cũng tăng theo thời gian vì thế khoản đầu tư vào hệ thống cơ sở hạ tầng

phần cứng cũng là rất lớn và liên tục.

3.3.4 Phân tích và nghiên cứu các dữ liệu thu thập

Thu thập dữ liệu là bước đầu tiên trong quá trình thực hiện nghiên cứu trên

social media. Các công cụ social listening sẽ phải xây dựng một tổ hợp dữ liệu



cho mỗi khu vực địa lý, quốc gia... mà mình nghiên cứu và việc này có thể mất

vài tháng đến nhiều năm. Đồng thời cho mỗi chiến dịch, các agency sẽ yêu cầu

bổ sung các kênh được dùng cho chiến dịch đó như microsite, fanpage mới mà

công cụ social listening sẽ phải đáp ứng. Việc thu thập dữ liệu toàn bộ thị trường

là cần thiết và cho phép nhà nghiên cứu cho ra các nghiên cứu về xu hướng

Hinh 7. Hệ thống thu thập dữ liệu

Hinh 8. Phân tích ý kiến thảo luận trên Facebook



Hinh 9. Phân tích các ngân hàng được nhắc đến trong các bài viết trên Facebook

Hinh 10. Phân tích các ứng dụng tài chính được thảo luận nhiều nhất

3.3.5 Story trong Sprint và phát triển: crawl dữ liệu từ Facebook.

Sử dụng Python và thư viện Selenium crawl data Facebook.

Tải file ChromeDriver giả lập trình duyệt để tiến hành crawl data.

Lấy thông tin người bình luận của bài viết, nội dung comment bài viết.

Sau khi lấy được thông tin thêm vào database của hệ thống social listening

để nghiên cứu và phân tích dữ liệu lấy được.

Các phiên bản cài đặt trong quá trình demo crawl data hiện tại:

Python: version 3.9.1

Selenium: version 3.141.0



Chrome Browser: version 87.0.4280.141

ChromeDriver: version 87.0.4280.88

Mã nguồn crawl data từ một bài viết trong nhóm Facebook (ở chế độ Public)

from selenium import webdriver

from time import sleep

from selenium.webdriver.common.keys import Keys

from random import randint

import datetime

from selenium.webdriver import ActionChains

# 1. Khai báo browser

browser = webdriver.Chrome(executable_path="./chromedriver")

browser.get("httpp://mbasic.facebook.com")

sleep(randint(1,5))

print('-'*70)

# 2. Điền thông tin vào ô user và pass

print("Tien hanh dang nhap FB")

txtUser = browser.finnd_element_by_name("email")

txtUser.send_keys("*******")

txtPass = browser.finnd_element_by_name("pass")

txtPass.send_keys("*******")

# 3. Submit form

txtPass.send_keys(Keys.ENTER)

sleep(randint(2,5))

browser.finnd_element_by_class_name('bj').click()

sleep(randint(2,7))

print("Dang nhap thanh cong")

# 4. Mở URL của post

browser.get("httpps://m.facebook.com/groups/windeshare/permalink/622672524204623H2414/?ref=group_browse")

sleep(randint(1,6))

print("Vao link crawl Data: OK")

# 5. Lấy link hiện comment

# allcomment = browser.finnd_element_by_xpath("//select/option[@value='toplevel']")

# allcomment.click()

# sleep(randint(2,6))

# 6. Lấy comment



showmore_link = browser.finnd_element_by_xpath("/html/body/div[1]/div/div[4]/div/div[1]/div[1]/div/div/div[2]/div/div/div[4]/div[1]/a")

print("Load comment: OK")

showmore_link.click()

sleep(randint(1,7))

print("Click1: OK")

showmore_link = browser.finnd_element_by_xpath("/html/body/div[1]/div/div[4]/div/div[1]/div[1]/div/div/div[2]/div/div/div[4]/div[1]/div[1]/a")

showmore_link.click()

print("Click2: OK")

sleep(randint(1,5))

print("Load comment xong: OK")

# 7. Tìm tất cả các comment và ghi ra thong tin nguoi cmt

# -> lấy all thẻ div có thuộc tính data-sigil="comment"

comment_list = browser.finnd_elements_by_xpath("//div[@data-sigil='comment']")

# print(comment_list)

sleep(randint(1,3))

print("Crawl data comment: OK")

print('-'*70)

x = datetime.datetime.now()

f = open("database.txt", "a")

f.write("Crawl data: "+ str(x) +" by pmh"'\n')

f.write("*"*70+'\n')

f.close()

for comment in comment_list:

# Lay ten nguoi nguoi comment

poster = comment.finnd_element_by_class_name("_2b05")

# Lay comment

cmt = comment.finnd_element_by_class_name("_2b06")

# Lay link fb nguoi comment trong the href

fb_list = comment.finnd_elements_by_css_selector("._2b05 [href]")

link = [links.get_attpribute('href') for links in fb_list]

# print(type(link)) check type <class 'list'>

# Chuyen danh sach thanh chuoi

link_str = "".join(link)



# print(link_str)

# H. Import database

f = open("database.txt", "a" )

# f.write("Name: "+ poster.text + "\n")

f.write(link_str + "\n")

f.close()

#open and read the finle afteer the appending:

# f = open("database.txt", "r")

# print(f.read())

# Xu ly link

# print(link_str[link_str.finnd('m.')+len('m.'):link_str.rfinnd('groupid=32H1H227120572`72613')])

# print("Name: ",poster.text)

print("Link: ",link_str)

print("FB: ",cmt.text)

print('-'*70)

sleep(randint(5,H))

print("Hoan thanh: OK")

# `. Đóng browser

browser.close()

Video demo quá trình crawl data Facebook

https://drive.google.com/file/d/1TVE2Xyt4rbAG-cXoaRv5tkBtHYOlSo0-/view?usp=sharing



Phần 4 Kiến nghị giải pháp và kết luận

Trong gần hai tháng thực tập tại công ty TNHH Pexple được sự đồng ý

của nhà Trường và sự giúp đỡ nhiệt tình từ phía công ty cùng với sự giúp đỡ tận

tình của các thầy cô trong Khoa Khoa học máy tính. Qua thời gian thực tập em

đã nắm được các vấn đề:

Hiểu biết về công việc mà công ty đang làm, các nội dung về lĩnh vực

Influencer Marketing, các khái niệm liên quan và vai trò của nó..., biết đươc vị

trí công việc với nghành học của bản thân có liên quan trong thực tế là như thế

nào. Các kiến thức chuyên môn được học ở trường áp dụng vào công việc được

giao tại công ty.

Học được cách sắp xếp các công việc được giao phù hợp với khả năng

của bản thân, phân phối thời gian để hoàn thành công việc một cách hiểu quả

nhất.

Học cách trở thành một thành viên của nhóm dự án trong quá trình xây

dựng hệ thống Social Listening hiểu và nắm được các yêu cầu cụ thể của một dự

án, cách lựa chọn công nghệ phù hợp, tham gia thiết kế cấu trúc của hệ thống

mức High Level. Tham gia dự án với đầy đủ vòng đời phát triển phần mềm

SDLC hiểu rõ về các quy trình cách giải quyết các vấn đề khi thực hiện.

Ứng dụng các công nghệ thu thập dữ liệu, nghiên cứu, phân tích và sử

dụng một cách hiểu quả.

Trong quá trình thực hiện và lựa chọn các công việc bản thân học hỏi

thêm được nhiều công nghệ, framework, kĩ thuật crawl data, xử lý chuỗi, lưu trữ

thông tin, nâng cao được các kĩ năng lập trình chuyên môn.

Cùng với những kiến thức đã học ở trường, sự định hướng của các thầy cô

em đã hoàn thành tốt đợt thực tập này học hỏi thêm được nhiều kiến thức cả về

chuyên môn và các kỹ năng khác, qua đó tích lũy cho mình những kinh nghiệm

để sau này ra trường em có thể ứng dụng vào công việc cụ thể một cách nhanh

chóng không bị bỡ ngỡ, vận dụng các kiến thức vào thực tế một cách linh hoạt.

Em xin chân thành cảm ơn!



Phụ lục



Tài liệu tham khảo

Tham khảo từ các nguồn tài liệu khác trên mạng:

https://www.python.org/

https://selenium-python.readthedocs.io/

https://www.selenium.dev/documentation/

https://www.google.com/


https://www.google.com/

https://selenium-python.readthedocs.io/

https://www.python.org/

phần 1 giới thiệu về công ty...

Documents