nguyễn thế hoàng anh
TRANSCRIPT
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Thế Hoàng Anh
MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO
CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
Hà Nội – 2020
1
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO
CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH
Chuyên ngành: Khoa học máy tính
Mã số: 9480101.01
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS. TS. Bùi Thế Duy
2. PGS. TS. Lê Thanh Hà
Hà Nội – 2020
2
LỜI CAM ĐOAN
Tôi xin cam đoan rằng đây là công trình nghiên cứu của riêng tôi. Các kết quả
trong luận án là trung thực và chưa từng công bố trong bất kỳ công trình nào khác.
Các kết quả được viết chung với các tác giả khác đều được sự đồng ý trước khi đưa
vào luận án.
Tác giả luận án
Nguyễn Thế Hoàng Anh
3
LỜI CẢM ƠN
Nghiên cứu khoa học là hành trình dài có nhiều thử thách cần vượt qua và
đồng thời là quá trình đào sâu, tìm ra lời giải cho các vấn đề khoa học thú vị. Nghiên
cứu về Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo và khoa học thần kinh
chắc chắn là một công việc nhận được nhiều sự quan tâm. Tôi cảm thấy rất may mắn
được trở thành một phần của cộng đồng nghiên cứu hàn lâm về lĩnh vực đầy hứng
khởi này với những phát kiến khoa học khiêm tốn của mình.
Trong quá trình học tập, nghiên cứu và hoàn thiện luận án tiến sĩ, tôi đã nhận
được sự giúp đỡ, chỉ bảo tận tình của các thầy, cô giáo, nhà khoa học, Phòng thí
nghiệm Tương tác người máy HMI, Bộ môn Khoa học máy tính tại Trường Đại học
công nghệ, Đại học Quốc gia Hà Nội.
Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS. TS. Bùi Thế Duy và PGS.
TS. Lê Thanh Hà, những người thầy hướng dẫn đã trực tiếp truyền thụ kiến thức và
thắp lên ngọn lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên tôi kiên định
trong suốt quá trình nghiên cứu và thực hiện luận án.
Tôi xin chân thành cám ơn Lãnh đạo và các đồng nghiệp tại Viện Công nghệ
thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã luôn tạo điều kiện
thuận lợi nhất và cùng tôi thực hiện các đề tài, công trình nghiên cứu trong đó một
phần kết quả đã được trực tiếp thể hiện trong luận án.
Tôi xin dành tất cả sự yêu thương và cám ơn tới gia đình: bố TS. Nguyễn Song
Hoan, mẹ TS. Nguyễn Thị Bạch Yến, vợ Lê Minh Trang và hai con Mật Ong, Cá
Mập đã luôn bên cạnh, động viên để tôi vượt qua những khó khăn và hoàn thành
mục tiêu.
Xin trân trọng cám ơn!
Tác giả luận án
Nguyễn Thế Hoàng Anh
4
MỤC LỤC LỜI CAM ĐOAN ........................................................................................................................................2
LỜI CẢM ƠN ..............................................................................................................................................3
DANH MỤC BẢNG ....................................................................................................................................7
DANH MỤC HÌNH VẼ ..............................................................................................................................8
DANH MỤC CHỮ VIẾT TẮT.................................................................................................................10
PHẦN MỞ ĐẦU ........................................................................................................................................11
1. Tính cấp thiết ...................................................................................................................... 11
2. Mục tiêu của luận án ........................................................................................................... 13
3. Đóng góp của luận án .......................................................................................................... 14
4. Phạm vi của luận án ............................................................................................................ 16
5. Phương pháp luận ............................................................................................................... 17
6. Cấu trúc luận án ................................................................................................................. 17
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN
NÃO ............................................................................................................................................................19
1. Giới thiệu ............................................................................................................................ 19
2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ ..................................................... 21
2.1. Các phương pháp đo tín hiệu từ não bộ ....................................................................... 21
2.1.1. Chụp quang phổ cận hồng ngoại chức năng ............................................................. 21
2.1.2. Chụp Cộng hưởng từ chức năng .................................................................................... 22
2.1.3. Chụp cắt lớp phát xạ positron ....................................................................................... 22
2.1.4. Từ não đồ ...................................................................................................................... 23
2.1.5. Điện não đồ xâm lấn ...................................................................................................... 24
2.2. Tín hiệu điện não và các vấn đề liên quan .................................................................... 25
2.2.1. Điện não đồ .................................................................................................................... 25
2.2.2.Tín hiệu điện não ............................................................................................................ 26
2.2.3. Cơ chế phát sinh tín hiệu điện não ................................................................................. 28
2.2.4. Thu tín hiệu điện não ..................................................................................................... 29
3. Một số phương pháp xử lý, phân tích tín hiệu điện não ....................................................... 30
3.1. Biến đổi wavelet............................................................................................................... 30
3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não ..................................... 33
3.3. Mạng Nơron wavelet ....................................................................................................... 34
3.3.1. Huấn luyện ............................................................................................................... 35
3.3.2. Khử nhiễu ................................................................................................................ 35
3.4. Phương pháp phân ngưỡng wavelet ................................................................................ 36
3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não ................................... 38
4. Một số ứng dụng hệ giao diện não máy tính ........................................................................ 40
5
4.1. Hệ BCI2000 ..................................................................................................................... 40
4.2. Hệ VR-BCI trong phục hồi chức năng ............................................................................. 41
4.3. Một số hệ BCI trong đánh vần ký tự ............................................................................... 42
4.4. Một số nghiên cứu BCI và tín hiệu điện não khác ............................................................ 43
5. Kết luận Chương 1 .............................................................................................................. 45
CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN
HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT ............................................................................46
1. Đặt vấn đề ........................................................................................................................... 46
2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet ....................................................... 49
2.1. Mạng học sâu tự mã hóa thưa ...................................................................................... 50
2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar ........................................ 52
2.2.1. Biến đổi wavelet Haar .............................................................................................. 52
2.2.2. Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar .......................................... 53
2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG ............................................... 55
2.3.1. Huấn luyện tự động .................................................................................................. 55
2.3.2. Tự động sửa lỗi tín hiệu ............................................................................................ 57
2.4. Độ đo đánh giá kết quả ................................................................................................ 58
3. Kết quả ............................................................................................................................... 59
3.1. Dữ liệu kiểm thử .......................................................................................................... 59
3.2. Thiết kế thí nghiệm ...................................................................................................... 60
3.3. Kết quả thí nghiệm ...................................................................................................... 60
3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát .............................. 60
3.3.2. Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ ..................................... 65
3.3.3. Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu ........................ 68
4. Thảo luận ............................................................................................................................ 69
5. Kết luận Chương 2 .............................................................................................................. 72
CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA
TRÊN HỌC MÁY .....................................................................................................................................73
1. Đặt vấn đề ........................................................................................................................... 73
2. Cơ sở dữ liệu thử nghiệm .................................................................................................... 75
2.1. Cơ sở dữ liệu đã có ........................................................................................................... 75
2.2. Cơ sở dữ liệu của luận án ................................................................................................. 77
3. Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên học máy .................... 79
3.1. Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối ............. 79
3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu điện não ................. 81
3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não ...................................................... 82
3.2. Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính .................. 84
6
3.2.1. Phân tích thành phần chính cho giảm số chiều tín hiệu điện não .............................. 86
3.2.2. Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP ..................................... 87
3.3. Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE ........................ 89
3.3.1. Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE .............................. 91
3.3.2. Mạng học sâu Deep belief net trong phân loại tín hiệu điện não ............................... 92
4. Kết quả và thảo luận ........................................................................................................... 94
4.1. Tiền xử lý dữ liệu ......................................................................................................... 95
4.2. Phân loại trạng thái ..................................................................................................... 98
5. Kết luận chương 3 ............................................................................................................. 100
CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT
BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH ...........................................................................................102
1. Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng thông minh ............. 102
1.1. Khối thu tín hiệu và thiết bị Emotiv Epoc+ ................................................................ 103
1.2. Khối DSP ........................................................................................................................ 104
1.3. Khối WIoT ..................................................................................................................... 104
2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao
diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh ........................... 105
3. Kết quả và thảo luận ......................................................................................................... 108
4. Kết luận Chương 4 ............................................................................................................ 110
PHẦN KẾT LUẬN VÀ KIẾN NGHỊ ....................................................................................................112
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .............................................................................116
TÀI LIỆU THAM KHẢO ......................................................................................................................118
7
DANH MỤC BẢNG
Bảng 1. Kết quả nhận diện EOG ............................... 55
Bảng 2. MSE của ba phương pháp dựa trên wavelet ................... 69
Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não ...... 71
Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ .................... 98
Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN .... 99
Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN ....... 99
Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN ... 100
Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên mạng
nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100
Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên mạng
nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100
Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy
học cộng đồng so với các phương pháp thành phần .................. 108
Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy
học cộng đồng so với các phương pháp thành phần .................. 109
8
DANH MỤC HÌNH VẼ
Hình 1. Cấu trúc não bộ [64] .................................. 19
Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d)
MEG, (e) EcoG và (f) EEG ................................... 20
Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] ........... 25
Hình 4. Bản ghi tín hiệu điện não EEG ........................... 27
Hình 5. Một số dạng sóng trong tín hiệu điện não EEG ................. 28
Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược ......... 31
Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG ..... 34
Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] ................ 35
Hình 9. Huấn luyện mạng Nơ-ron .............................. 35
Hình 10. Quá trình khử nhiễu ................................. 36
Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. ......... 39
Hình 12. Thiết kế hệ BCI2000 [17] .............................. 40
Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] .. 41
Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] ............ 42
Hình 15. Giao diện thí nghiệm Berlin BCI [68] ...................... 43
Hình 16. Tín hiệu bất thường do nháy mắt EOG ..................... 47
Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE .... 49
Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder ............ 51
Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG .... 53
Hình 20: Kết quả nhận diện EOG ............................... 54
Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa
wavelet ................................................ 56
Hình 22. Quy trình tự động khử EOG với DWSAE ................... 57
Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE,
(d)WNN và (e) Wavelet thresholding ............................ 62
Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu ...... 63
Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)
DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 64
Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c)
JADE, (d)WNN và (e) Wavelet thresholding ....................... 66
Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu ............... 67
Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)
DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 67
Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi . 68
Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM ....... 80
Hình 31. Siêu phẳng phân cách bởi SVM .......................... 82
Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron .. 85
Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp ..................... 88
9
Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP .............. 89
Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu ..... 90
Hình 36. Thiết kế máy học Boltzman ............................ 92
Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman .......... 94
Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não ............... 96
Hình 39. Kết quả khử nhiễu với ICA ............................. 96
Hình 40. Kết quả khử nhiễu với WNN ........................... 96
Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá
trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P ............ 97
Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển
các thiết bị điện tử gia dụng thông minh. ......................... 102
Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) ............ 103
Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench ........... 103
Hình 45. Mô hình tương đương module ESP 8266 ................... 105
Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín
hiệu điện não ........................................... 107
10
DANH MỤC CHỮ VIẾT TẮT
ANN Aritificial neural network (Mạng nơ-ron nhân tạo)
BCI Brain computer interface (Giao diện não máy tính)
CT Computed Topography (Chụp cắt lớp)
DNN Deep neural network (Mạng học sâu)
DBN Deep belief network (Mạng học sâu niềm tin)
DWSAE Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa
wavelet)
EEG Electroencephalography (Điện não đồ)
EOG Electrooculography (Tín hiệu bất thường sinh ra do nháy mắt)
EMG Electromyogram (Tín hiệu bất thường sinh ra do cử động cơ)
ECoG Electro-corticography (Điện não đồ xâm lấn)
FC Frequency correlation (Tương quan tần số)
fMRI functional Magnetic resonance imaging (Chụp cộng hưởng từ chức
năng)
fNIRS Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại)
ICA Independent component analysis (Phân tích thành phần độc lập)
Infomax Information Maximization (Tối đa thông tin)
JADE Joint Approximation Diagonalization of Eigen-matrices
LORETA Low resolution brain electromagnetic tomography (Định vị điện từ
não đồ phân giải thấp)
MEG Magnetoencephalography (Từ não đồ)
MSE Mean square error (Sai số toàn phương trung bình)
OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối
ưu hóa trọng số lớp ra)
PCA Principal component analysis (Phân tích thành phần chính)
PET Positron emission tomography (Chụp positron phát xạ)
PSD Power spectral density (Mật độ phổ năng lượng)
RBM Restricted Bolzmann machine (Máy Bolzmann chặt)
RWE Relative wavelet energy (Năng lượng wavelet tương đối)
SAE Sparse autoencoder (Máy tự mã hóa thưa)
SOBI Second-Order Blind Identification (Nhận dạng mù bậc hai)
SURE Stein’s unbiased risk estimate
SVM Support vector machine (Máy vec-tơ hỗ trợ)
WIoT Wireless internet of things (Internet vạn vật vô tuyến)
WNN Wavelet neural network (Mạng nơ-ron wavelet)
WT Wavelet thresholding (Phân ngưỡng wavelet)
11
PHẦN MỞ ĐẦU
1. Tính cấp thiết
Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách
nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người. Cơ chế hoạt động
của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng.
Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn
về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ,
tự kỷ/trầm cảm, Parkinson, đột qụy… Tín hiệu điện não là một cách tiếp cận phù
hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất
lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành
hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ
não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn…
Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các
giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế
bào thần kinh trong não. Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV
đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân theo
phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Thông thường, tín
hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các
dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz),
Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín hiệu EEG có thể dẫn đến một
số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong
trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc
trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một
lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu
hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh...
Tín hiệu điện não thường xuyên được sử dụng để phát triển các hệ giao diện
não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép
kết nối máy tính để xử lý và hiểu được tín hiệu sinh ra từ bộ não một cách hiệu quả.
12
BCI là một giải pháp hữu ích cho người bị các bệnh như xơ cứng teo cơ một bên
(ALS) hay bệnh nhân trong tình trạng nghiêm trọng không cử động và điều khiển
được các bộ phận của cơ thể. Giao điện não máy tính cho phép chuyển tải thông điệp
người sử dụng muốn chỉ thông qua tín hiệu đã được phân tích, xử lý và “dịch” bởi
hệ thống mà không cần bất kỳ can thiệp nào khác. Một số ứng dụng của hệ BCI có
thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn
thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di
chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng
thái ổn định [2], điều khiển con chuột máy tính [3].
Để thực hiện việc phân tích thông tin và triển khai các ứng dụng dựa trên tín
hiệu EEG kể trên, một số vấn đề còn tồn tại, chưa được giải quyết bởi các nghiên
cứu trước đây có thể được kể đến:
- Tín hiệu điện não sau khi được biến đổi sang miền thời gian – tần số sẽ chứa
các thông tin đặc trưng được khu trú trên từng dải tần cụ thể và theo từng khung thời
gian nhất định. Các phương pháp trước đây, ví dụ sử dụng mạng nơ-ron nhân tạo,
thường phải trải qua bước huấn luyện off-line, do đó không tự động hóa được quy
trình khử nhiễu.
- Các thiết kế thí nghiệm của các nghiên cứu khác tập trung vào việc tạo ra
các đặc trưng như P300, xung kích thích thị giác trạng thái ổn định SSVEP, nhịp Mu
và Beta… thường yêu cầu thiết bị phụ trợ như màn hình máy tính hiển thị các hình
ảnh, ký tự được nháy sáng.
- Các phương pháp phân loại tín hiệu điện não trước đây thường được phát
triển cho các thí nghiệm như hình dung ảnh vận động, nhịp vận động cảm giác hay
xung kích thích thị giác trạng thái ổn định không phù hợp cho việc phân loại tín hiệu
điện não sinh ra trong tác vụ tập trung suy nghĩ vốn không đòi hỏi thiết kế thí nghiệm
phải có thiết bị hỗ trợ.
Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra
các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với
dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát).
13
Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác
nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng
tích chập (convolutional neural network), mạng sinh đối nghịch (generative
adversarial networks)... là các thuật toán học máy được ứng dụng rất thành công
trong nhiều lĩnh vực. Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ
càng trở nên hiệu quả trong việc thực hiện chức năng được “dạy”. Kết quả thực
nghiệm trong luận án này mới chỉ tiến hành trên một tập dữ liệu quy mô nhỏ, tuy
nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị sẵn sàng để triển khai
công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu. Dựa trên những
phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại
tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số
ứng dụng cụ thể là một vấn đề nghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất
cần thiết được tập trung nghiên cứu một cách kỹ lưỡng.
2. Mục tiêu của luận án
Luận án đặt ra một số mục tiêu như sau:
- Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học
máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất
quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân
tích tín hiệu điện não. Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ
thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường
sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để
tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện
não khác.
- Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên
các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có
giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các
phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại
tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với
14
dữ liệu tín hiệu điện não đầu vào đã được gán nhãn. Trong trường hợp xử lý tín hiệu
điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật
toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ
nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ. Suy rộng ra là mục tiêu chứng
tỏ các hệ thống trí tuệ nhân tạo có khả năng tự học và suy diễn để thực hiện các
nhiệm vụ được đặt ra như khả năng suy luận của con người mà không cần phải cho
huấn luyện trước (trong chừng mực nào đó) trên một nhiệm vụ như vậy
- Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để
đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia
dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện
não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi. Tuy
nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào
cũng phù hợp với nội dung của nghiên cứu. Một số nghiên cứu khác chủ động tiến
hành thu nhận và sử dụng dữ liệu thu được. Những nghiên cứu này sử dụng các qui
trình thu nhận dữ liệu khác nhau, tuy nhiên phần lớn trong số đó đều khá phức tạp.
Mục tiêu ban đầu của luận án này là phát triển một hệ BCI trong điều khiển các thiết
bị điện tử thông minh, có thể hỗ trợ những nhóm người bị tổn thương chức vận động
(đột quỵ, xơ cứng teo cơ một bên - ALS, đa xơ cứng, chấn thương tủy sống, loạn
dưỡng cơ, …) không có khả năng cử động tương tác được với các thiết bị điện tử.
Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển
một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với
hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh.
3. Đóng góp của luận án
Luận án có những đóng góp khoa học tập trung vào ba nhóm vấn đề (1) xử lý,
tăng cường chất lượng tín hiệu điện não, (2) phân tích, phân loại tín hiệu điện não
và (3) một hệ thống giao diện não máy tính hoàn chỉnh trong ứng dụng điều khiển
thiết bị điện tử gia dụng. Cụ thể các đóng góp như sau:
(1) Đề xuất các phương pháp xử lý, tăng cường chất lượng tín hiệu điện não:
15
Thứ nhất, khử tín hiệu điện não bất thường sinh ra do nháy mắt tự động với
mạng học sâu tự mã hóa thưa wavelet (DWSAE). Đây là một phương pháp mới,
trong đó thuật toán DWSAE được huấn luyện không giám sát và khử nhiễu một cách
tự động. Cách tiếp cận này chứng tỏ các thuật toán trí tuệ nhân tạo nếu được triển
khai theo một quy trình phù hợp, có khả năng tự tìm cách thực hiện các nhiệm vụ cụ
thể mà không cần được biết trước nhiệm vụ đó.
Thứ hai, nhận diện, dò đếm giả tượng mắt EOG dựa trên biến đổi wavelet với
hàm cơ sở wavelet Haar. Phương pháp này được phát triển với mục đích thu thập
các đoạn tín hiệu điện não sạch phục vụ huấn luyện không giám sát mô hình
DWSAE.
(2) Đề xuất các phương pháp phân tích, phân loại tín hiệu điện não:
Thứ ba, phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân
lớp SVM với đặc trưng năng lượng wavelet tương đối. Việc triển khai phương pháp
này cho thấy, đặc trưng (Relative wavelet energy – RWE) rất phù hợp để làm đầu
vào cho các mô hình phân lớp học máy dựa trên việc tạo ra các siêu phẳng, nhất là
trong bài toán phân loại tín hiệu điện não.
Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron phân tích thành phần
chính trong lựa chọn đặc trưng. Trong cách tiếp cận này, mạng nơ-ron được huấn
luyện với phương pháp lan truyền ngược tối ưu trọng số lớp đầu ra (OWO-BP) sử
dụng đặc trưng trích xuất bởi phương pháp phân tích thành phần chính.
Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu với đặc trưng lựa
chọn bởi phân ngưỡng SURE. Trong phương pháp này, mạng học sâu được huấn
luyện với đầu vào là các đặc trưng trên miền tần số được trích chọn và giảm số chiều
thông tin sau phân tích thành phần chính PCA. Một phương pháp phân ngưỡng
SURE [4] được đề xuất để giảm số chiều các thành phần chính nhằm giảm độ phức
tạp tính toán và thời gian xử lý, đồng thời tăng chất lượng của bộ phân lớp sử dụng
mạng học sâu.
(3) Đề xuất một hệ thống giao diện não máy tính hoàn chỉnh ứng dụng trong
điều khiển thiết bị điện tử gia dụng:
16
Thứ sáu, đề xuất mô hình và thực hiện hệ giao diện não máy tính trong điều
khiển thiết bị điện tử gia dụng. Hệ giao diện não máy tính này gồm bốn phần chính
là khối thu tín hiệu (cùng với thiết kế thí nghiệm, sử dụng phù hợp), khối xử lý tín
hiệu số, khối kết nối và điều khiển thiết bị không dây và khối các thiết bị thông minh.
Các khối thành phần của hệ thống được kết nối hữu tuyến hoặc vô tuyến (wi-fi, blue
tooth) với nhau
Thứ bảy, phân loại tín hiệu điện não sử dụng mô hình dựa trên máy học cộng
đồng là một cách tiếp cận phù hợp để phát triển hệ BCI trong điều khiển thiết bị điện
tử gia dụng thông minh. Mô hình máy học cộng đồng sử dụng tín hiệu đầu vào đã
được khử tín hiệu điện não bất thường sinh ra do nháy mắt với phương pháp
DWSAE. Các máy học thành phần được sử dụng là máy học dựa trên học sâu, mạng
nơ-ron nhân tạo và máy vec-tơ hỗ trợ được đề xuất trong Chương 3 của luận án.
Các đóng góp khoa học cũng như kết quả thực nghiệm của luận án cho thấy
sử dụng học máy là phương pháp tiếp cận phù hợp để giải quyết các bài toán liên
quan đến xử lý, phân loại tín hiệu điện não và hệ giao diện não máy tính trong điều
kiện tín hiệu điện não có tính chất không tĩnh (non-stationary), thay đổi từ người này
sang người khác và từ phiên thu tín hiệu này sang phiên thu tín hiệu khác. Ngoài ra,
việc thực hiện thành công phương pháp DWSAE cho thấy máy học không giám sát
có thể là một cách tiếp cận mới trong xử lý phân tích tín hiệu điện não một cách tự
động. Khái quát hóa lên, các công cụ trí tuệ nhân tạo có khả năng học tự động với
dữ liệu được gán nhãn để giải quyết nhiệm vụ chưa có kinh nghiệm. Đây là cách giải
quyết vấn đề rất gần với tư duy của con người.
4. Phạm vi của luận án
Luận án này tập trung giải quyết các vấn đề liên quan đến phân tích, xử lý tín
hiệu điện não, phát triển và thực hiện hệ giao diện não máy tính nói chung và ứng
dụng cụ thể cho hệ BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông
minh dựa trên tín hiệu điện não. Để thực hiện được mục tiêu này, luận án tập trung
phát triển một số phương pháp xử lý, phân tích tín hiệu điện não để tăng cường chất
lượng tín hiệu điện não. Các phương pháp này có thể được áp dụng cho hệ BCI điều
17
khiển thiết bị điện tử được mô tả trong luận án này cũng như các hệ xử lý tín hiệu
điện não khác. Bên cạnh đó, luận án trình bày một số nghiên cứu, đề xuất về các mô
hình phân loại tính hiệu điện não hoàn chỉnh gồm tiền xử lý tín hiệu sóng điện não,
trích chọn các đặc trưng phù hợp và huấn luyện, sử dụng mô hình phân lớp dựa trên
học máy trong phân loại tín hiệu điện não thành các tác vụ suy nghĩ tương ứng. Mô
hình hệ giao diện não máy tính trong điều khiển các thiết bị điện tử thông minh được
đề xuất trong nghiên cứu của luận án sử dụng thiết bị thu tín hiệu điện não có chất
lượng tín hiệu tương đối tốt, thiết kế nhỏ gọn, linh động nhưng có giá thành hợp lý,
phù hợp với điều kiện kinh tế -xã hội của Việt Nam. Chương 4 của luận án đề xuất
cách tiếp cận sử dụng mô hình học cộng đồng cho khối xử lý tín hiệu trong hệ BCI
này.
5. Phương pháp luận
Luận án giải quyết các vấn đề nghiên cứu đặt ra theo cách tiếp cận sau:
- Sử dụng phương pháp nghiên cứu lý thuyết, xây dựng và kiểm thử các mô
hình đề xuất trên dữ liệu đã được công bố và dữ liệu tự thu thập.
- Các phương pháp được đề xuất được so sánh với các phương pháp đã có
khác để đánh giá sự hiệu quả.
- Kết quả được báo cáo dưới dạng số liệu hoặc trực quan hóa để thuận tiện
cho việc đánh giá, kiểm chứng.
6. Cấu trúc luận án
Luận án này gồm 06 phần trong đó có Phần mở đầu, 04 chương nội dung và
Phần kết luận. Phần mở đầu nêu lên tính cấp thiết của vấn đề nghiên cứu, mục tiêu,
đóng góp khoa học và phạm vi của luận án. Chương 1 nêu tổng quan các vấn đề liên
quan đến tín hiệu điện não, cơ chế sinh ra tín hiệu điện não và một số phương pháp
xử lý, phân tích tín hiệu điện não. Chương 2 trình bày đề xuất phương pháp xử lý,
tăng cường chất lượng tín hiệu điện não đầu vào của hệ giao diện não máy tính bằng
cách khử tín hiệu điện não bất thường sinh ra do nháy mắt. Phương pháp được đề
xuất kết hợp mạng học sâu tự mã hóa thưa và biến đổi wavelet để khử tín hiệu điện
18
não bất thường sinh ra do nháy mắt một cách tự động và theo thời gian thực. Chương
3 trình bày một số cách tiếp cận và đề xuất các mô hình phân loại dựa trên học máy
như máy vec-tơ hỗ trợ, mạng nơ-ron nhân tạo, mạng học sâu. Chương 4 trình bày
cách tiếp cận sử dụng học cộng đồng xếp ngăn để tăng cường khả năng phân loại
của các phương án dựa trên học máy đã được đề xuất trong ứng dụng BCI phục vụ
điều khiển thiết bị điện tử gia dụng thông minh. Phần kết luận đưa ra đánh giá tổng
quát về các kết quả nghiên cứu trình bày trong luận án, các đóng góp chính của luận
án và gợi ý một số hướng nghiên cứu để phát triển các nội dung đã được thảo luận
trong luận án.
19
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN
TÍCH TÍN HIỆU ĐIỆN NÃO
1. Giới thiệu
Bộ não, trung tâm điều khiển của hệ thần kinh trung ương, đóng vai trò rất
quan trọng trong việc điều phối các hoạt động của các cơ quan khác và sản sinh ra ý
thức [5]. Não bộ (Hình 1) có khoảng 100 tỉ tế bào thần kinh và là một trong những
bộ phận sinh học phức tạp nhất trong trong cơ thể con người [6]. Tìm hiểu về cấu
trúc của não bộ cũng như cách thức não bộ truyền nhận thông tin là một lĩnh vực
chứa nhiều tiềm năng đem tới những phát kiến khoa học lớn. Để thực hiện được việc
đó, một trong những việc đầu tiên và quan trọng nhất là phải thu nhận được những
tín hiệu/thông tin do não bộ sản sinh. Một số phương pháp khác nhau ghi lại hoạt
động của não (Hình 2), đó là:
- Điện não đồ (Electroencephalography - EEG),
- Chụp quang phổ cận hồng ngoại chức năng (Functional Near-Infrared
Spectroscopy - fNIRS),
- Điện não xâm lấn (Electro-corticography - ECoG),
- Chụp cắt lớp (Computed Topography - CT)
- Từ não đồ (Magnetoencephalography - MEG),
- Chụp cắt lớp phát xạ positron (Positron emission tomography - PET)
- Chụp cộng hưởng từ chức năng (functional magnetic resonance imaging -
fMRI).
Hình 1. Cấu trúc não bộ [64]
20
Các phương pháp thu tín hiệu hình ảnh từ não như CT, PET, MRI thường có
thiết kế cồng kềnh, giá thành rất cao. Phương pháp điện não xâm lấn EcoG cho tín
hiệu có độ tin cậy cao, chất lượng và độ phân giải tốt tuy nhiên lại là phương pháp
xâm lấn, không dễ thực hiện và đòi hỏi phải có can thiệp y khoa để mở hộp sọ đặt
điện cực thu tín hiệu. So với các phương pháp này, điện não đồ EEG cho kết quả là
tín hiệu điện não có độ phân giải và chất lượng tốt. Thiết bị thu EEG thường nhỏ
gọn, có thể di chuyển linh hoạt và giá thành thấp [7]. Tín hiệu điện não EEG là một
phương thức được sử dụng phổ biến nhất thu nhận tín hiệu đầu vào cho các ứng dụng
giao diện não – máy tính [3; 7-13], phù hợp với điều kiện kinh tế - xã hội nếu được
triển khai áp dụng tại Việt Nam.
a b c
d e f
Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d)
MEG, (e) EcoG và (f) EEG
(Nguồn: https://www.udel.edu/udaily/2016/july/fnirs-brain-imaging (truy cập lần
cuối 09/07/2020) và kết quả nghiên cứu của luận án)
Chương 1 sẽ trình bày về các phương pháp đo tín hiệu từ não bộ, cơ sở khoa
học để làm rõ lý do và ưu điểm, hạn chế của tín hiệu điện não so với các phương
pháp khác. Qua các phân tích, đánh giá và cơ sở khoa học được trình bày sẽ cho thấy
21
một tiềm năng to lớn trong việc nghiên cứu tín hiệu điện não, phát triển hệ BCI, hứa
hẹn sẽ đem đến những phát kiến khoa học có giá trị theo hướng nghiên cứu này trong
các lĩnh vực y tế, điều khiển, trị liệu….Một số phương pháp phân tích, xử lý tín hiệu
trong đó có các phương pháp nền tảng như biến đổi wavelet, phân tích thành phần
độc lập, mạng nơ-ron wavelet, phương pháp hiển thị hình ảnh LORETA… sẽ được
trình bày để làm cơ sở cho các phương pháp được đề xuất, phát triển ở các chương
tiếp theo của luận án.
2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ
2.1. Các phương pháp đo tín hiệu từ não bộ
2.1.1. Chụp quang phổ cận hồng ngoại chức năng
Phương pháp chụp quang phổ cận hồng ngoại chức năng (Functional Near-
Infrared Spectroscopy - fNIRS) cho phép đo dữ liệu về oxi trên vỏ não và lưu lượng
máu trên các vùng của não mà không cần can thiệp xâm lấn [14]. fNIRS được thực
hiện dựa trên nguyên lí tia sáng ở phổ cận hồng ngoại với bước sóng từ 700-900 nm
bị hấp thụ mạnh bởi hemoglobin (Hb) và deoxygenated-hemoglobin (deoxy-Hb) vốn
có trong máu nhưng có thể dễ dàng đi xuyên qua da, xương và các mô tế bào. fNIRS
cho phép theo dõi và phát hiện những sự thay đổi mang tính tương đối trong lưu
thông máu não dựa trên sự khác biệt về mức độ bị hấp thụ các tia sáng ở phổ cận
hồng ngoại này. Tại bước song 810 nm, hệ số hấp thụ của deoxy-Hb and oxy-Hb là
giống nhau do đó phương pháp đo tín hiệu não fNIRS thường sử dụng ít nhất hai
bước sóng. Trong đó, có một bước sóng cao hơn 810 nm và bước sóng còn lại sẽ
thấp hơn 810 nm.
Chứng tỏ được nhiều ưu điểm về độ chính xác và chất lượng của tín hiệu thu
được, fNIRS thu hút sự quan tâm của nhiều nhóm nghiên cứu trên thế giới nhưng ở
Việt Nam phương pháp này vẫn còn khá mới mẻ. Cản trở lớn nhất của việc nghiên
cứu phổ biến fNIRS là ở chi phí sử dụng cao, việc thiết lập hệ thống vẫn còn phức
tạp. Ngoài ra fNIRS có một nhược điểm rất lớn là không thể sử dụng để thăm dò
22
hoạt động não ở khu vực sâu hơn 4 cm do những hạn chế trong khả năng phát xạ các
tia cận hồng ngoại và giới hạn về độ phân giải trong không gian [14].
2.1.2. Chụp Cộng hưởng từ chức năng
Chụp cộng hưởng từ chức năng hay fMRI (Functional magnetic resonance
imaging) là một kỹ thuật chẩn đoán hình ảnh y khoa không xâm lấn dựa trên hiện
tượng cộng hưởng từ cho phép theo dõi sự thay đổi lượng oxy trong máu của não
bộ, từ đó có thể phân tích được tình trạng hay hoạt động của hệ thần kinh [15]. Chụp
cộng hưởng từ là một kỹ thuật nhanh, gọn, không sử dụng tia X, an toàn cho bệnh
nhân và không gây ảnh hưởng phụ.
Về cơ bản, fMRI là một phương pháp thu hình ảnh của các cơ quan trong cơ
thể sống và quan sát lượng nước bên trong các cấu trúc của các cơ quan. Ảnh cộng
hưởng từ hạt nhân dựa trên một hiện tượng vật lý là hiện tượng cộng hưởng từ hạt
nhân. Phương pháp fMRI gồm 4 giai đoạn là sắp hàng hạt nhân, kích thích hạt nhân,
ghi nhân tín hiệu và tạo hình ảnh. Dạng phổ biến nhất của fMRI là BOLD-fMRI
(Blood oxygen level dependent fMRI) cho phép xác định dòng máu chứa Oxy tại
những vùng khác nhau [16]. Thiết bị đo tín hiệu hình ảnh fMRI thường có kích
thướng lớn, cồng kềnh, không di chuyển được và yêu cầu bất động cơ thể người thu
tín hiệu.
2.1.3. Chụp cắt lớp phát xạ positron
Chụp cắt lớp phát xạ positron (Positron Emission Tomography - PET) là kỹ
thuật ghi hình y học hạt nhân có thể đánh giá được mức độ chuyển hóa, hoạt động
chức năng của các tế bào trong một cơ quan. PET được sử dụng như phương pháp
ghi hình chức năng, ghi hình chuyển hóa hay ghi hình ở mức độ phân tử [17].
Phương pháp PET ghi lại hình ảnh định tính và định lượng trong quá trình
sinh - bệnh lý và chuyển hóa của các bệnh lý sử dụng dược chất phóng xạ được đánh
dấu. Trong khi đó các phương pháp chẩn đoán hình ảnh cấu trúc, giải phẫu như chụp
cắt lớp vi tính (Computed Tomography – CT) hay cộng hưởng từ (fMRI) không thể
23
phát hiện các tế bào ung thư hoặc các tổn thương ở các cơ quan ở giai đoạn sớm
(giai đoạn chuyển hóa mức phân tử, tế bào..).
Chụp Positron cắt lớp cho phép phát hiện nguồn năng lượng được phóng thích
bởi các hạt positron vốn là những hạt nhỏ được hình thành khi mà chất đánh dấu
phóng xạ bị phá vỡ trong cơ thể. Tia gamma được sinh ra khi các hạt positron bị phá
vỡ và sẽ được phát hiện bởi máy quét tạo nên hình ảnh không gian 3 chiều. Hình ảnh
thu được cho thấy các cơ quan trong cơ thể hoạt động bình thường hay bất thường.
Cũng giống như fMRI, thiết bị chụp PET thường có kích thướng lớn, cồng
kềnh, không di chuyển được và yêu cầu bất động cơ thể người thu tín hiệu. Ngoài ra
việc đưa chất đánh dấu trong phức hợp đánh dấu phóng xạ vào cơ thể người cũng có
thể gây ra các tác dụng phụ không mong muốn.
2.1.4. Từ não đồ
Từ trường có thể được phát hiện ở bất cứ nơi nào có sự biến thiên của điện
trường. Từ não đồ MEG là một kỹ thuật thần kinh chức năng cho phép lập bản đồ
hoạt động của não bằng cách ghi nhận từ trường sinh ra bởi dòng điện sinh học, có
giá trị rất nhỏ, gây ra do hoạt động của các tế bào thần kinh.
MEG là một phương pháp không xâm lấn cho phép đo sự thay đổi của trường
điện từ dựa trên hoạt động của tế bào thần kinh với độ phân giải cao trong dải giá trị
từ femto tesla (10-15T) tới pico tesla (10-12T). Từ trường của trái đất ở cỡ 10-4 đến 10-
5 T. MEG thường được kết hợp với phương pháp đo tín hiệu hình ảnh cộng hưởng
từ MRI, được gọi là phương pháp chẩn đoán hình ảnh dựa trên nguồn từ trường
(Magnetic source imaging - MSI) để có được thông tin về cấu trúc não bộ tốt hơn.
Khả năng xuyên thấu của từ trường đối với các tế bào sinh học cũng giống hệt như
khi xuyên qua các vùng không gian rỗng và từ trường không bị thất thoát và ảnh
hưởng khi xuyên qua da đầu hoặc hộp sọ.
Để thu được tín hiệu từ não đồ, cần phải giải quyết được hai vấn đề đó là việc
ghi nhận giá trị từ trường rất nhỏ phát ra từ não bộ và giảm thiểu ảnh hưởng của từ
trường trái đất vốn có giá trị lớn hơn nhiều so với từ não bộ. Kỹ thuật được sử dụng
24
để thu tín hiệu từ não đồ là thiết bị giao thoa kế lượng tử siêu dẫn (super-conducting
quantum interference detector). Để duy trì được chất siêu dẫn, môi trường được giữ
ổn định ở nhiệt độ rất thât, khoảng 3o C sử dụng dung dịch helium.
Như vậy, từ não đồ là phương pháp đo tin hiệu não bộ chứa nhiều thông tin,
có độ phân giải và chất lượng tốt nhưng sử dụng thiết bị khá cồng kềnh, công nghệ
phức tạp, không di chuyển được và giá thành đắt.
2.1.5. Điện não đồ xâm lấn
Phương pháp electro-corticography (ECoG) là một phương pháp xâm lấn,
dùng phẫu thuật mở hộp sọ để đặt các điện cực trực tiếp lên bề mặt não bộ nhằm ghi
lại các hoạt động điện của não [10]. Trong kĩ thuật ECoG, thường dùng các bộ điện
cực vô trùng được chế tạo từ thép không gỉ, bạch kim hoặc hợp kim của vàng. Các
điện cực thường có đường kính 5 mm được đặt trên lưới điện cực trong suốt với
khoảng cách tiêu chuẩn giữ hai điện cực là 1 cm và được đánh số thứ tự. Các điện
cực được thiết kế một cách linh hoạt để không gây tổn thương não trong những
chuyển động nhỏ và được đặt để tiếp xúc trực tiếp trên bề mặt não nhưng không làm
tổn thương các tế bào thần kinh.
Do tín hiệu điện não không bị suy hao qua hộp sọ, phương pháp ECoG cho
tín hiệu có độ phân giải không gian cao hơn nhiều so với EEG. Thiết bị ghi, cụ thể
là điện cực và cách đặt điện cực ảnh hưởng lớn đến độ phân giải không gian của kĩ
thuật ECoG. Ngoài các bộ điện cực đặt theo dải hoặc lưới điện cực trên bề mặt não,
người ta còn có thể sử dụng các mảng vi điện cực Utah hoặc điện cực sâu được đặt
ở hồi hải mã và hạch hạnh nhân. Do đặt điện cực trực tiếp lên bề mặt não, tín hiệu
điện não thu được bằng kĩ thuật này không bị ảnh hưởng nhiều bởi nhiễu điện cơ
EMG và tín hiệu bất thường do nháy mắt EOG vốn tác động rất mạnh tới chất lượng
tín hiệu điện não thu được bởi phương pháp điện não đồ. Tuy có nhiều ưu điểm về
chất lượng tín hiệu nhưng do là một kĩ thuật xâm lấn đòi hỏi phẫu thuật nên ECoG
nên việc chuẩn bị và tiến hành kĩ thuật này là phức tạp hơn rất nhiều so với các kĩ
25
thuật khác, do đó ECoG phần lớn được chỉ định trong điều trị y học nhiều hơn là
trong nghiên cứu.
2.2. Tín hiệu điện não và các vấn đề liên quan
Tín hiệu điện não, được dùng để chẩn đoán y khoa các bệnh liên quan đến
thần kinh trong đó có bệnh động kinh, là tín hiệu điện sinh học thu được từ cơ thể
sống giống như tín hiệu điện tâm đồ, tín hiệu điện cơ ... Mỗi loại tín hiệu điện sinh
học khác nhau lại có những cơ chế phát sinh cũng như các phương pháp thu nhận
khác nhau. Mục này sẽ trình bày các nguyên lí cơ bản về cách thức bộ não phát sinh
ra tín hiệu, phương pháp ghi lại các dạng tín hiệu phát ra từ não, phương pháp xử lí
tín hiệu này như thế nào.
2.2.1. Điện não đồ
Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20]
MEG, PET, CT và fMRI là các kỹ thuật thu tín hiệu và chẩn đoán hình ảnh
đòi hỏi trang thiết bị rất đắt tiền, cồng kềnh, không di chuyển được và yêu cầu người
được thu tín hiệu này phải nằm bất động. Vì vậy, các phương pháp được sử dụng
rộng rãi nhất để ghi lại hoạt động của não trong các hệ thống giao diện não-máy tính
26
BCI (Brain-Computer Interface system) là điện não đồ EEG. Cơ sở cho nhận xét
trên dựa trên đặc điểm của EEG là một kỹ thuật đơn giản, không xâm lấn (non-
invasive), tính di động cao và chi phí thấp hơn nhiều so với các kĩ thuật khác tính
[3, 7-13].
Điện não đồ là phương pháp thu tín hiệu không xâm lấn, trực tiếp đo tín hiệu
điện phát sinh ra trong các hoạt động thần kinh của não bộ. Tuy nhiên, khác với
ECoG vốn là một kĩ thuật xâm lấn, EEG đặt các điện cực ở da đầu để thu tín hiệu
điện não. Nhược điểm của phương pháp EEG là dễ bị ảnh hưởng bởi nhiễu, độ phân
giải tín hiệu đối với một số thiết bị thu không cao. Tuy nhiên các nhược điểm này
đều đã và đang được các nhà nghiên cứu khắc phục bằng những thuật toán xử lí tiên
tiến và tiến bộ trong công nghệ phần cứng. Ví dụ như gần đây, công nghệ sử dụng
điện cực khô (dry sensor) đang dần trở nên phổ dụng trong các thiết bị thu tín hiệu
điện não thay cho các điện cực ướt (wet sensor). Bên cạnh đó, EEG có chi phí thấp,
tính đơn giản và linh hoạt trong thiết lập hệ thống đo trở thành hướng tiếp cận phù
hợp nhất cho các nghiên cứu về não nói chung và các nghiên cứu về hệ thống BCI
nói riêng. Dựa trên các cơ sở đó, luận án này lựa chọn tín hiệu điện não và phương
pháp đo điện não đồ EEG làm hướng tiếp cận chính trong khuôn khổ đề tài nghiên
cứu của luận án này. Các phần lí thuyết về điện não đồ sẽ được trình bày cụ thể chi
tiết trong phần tiếp theo.
2.2.2.Tín hiệu điện não
Tín hiệu điện não EEG (Hình 4) là các giá trị điện thế có giá trị rất nhỏ, tạo ra
bởi quá trình tương tác với nhau của các tế bào thần kinh trong não [18-19]. Tín hiệu
điện não thường có biên độ trong khoảng từ 10 µV đến 100 µV và tần số trong dải
từ 1 Hz đến 100 Hz. Tín hiệu điện não không tuân theo phân bố Gauss thông thường
và cũng không tĩnh (nonstationary). Tín hiệu điện não thường được thu nhận bởi các
điện cực đặt trên bề mặt da đầu theo một trong hai kiểu thiết bị thu tín hiệu đơn cực
và lưỡng cực. Thiết bị thu đơn cực lấy hiệu điện thế giữa điện cực hoạt động đặt trên
27
bề mặt da đầu và điện cực tham chiếu thường đặt ở vị trí dái tai. Điện cực lưỡng cực
nhận hiệu điện thế giữa hai điện cực được đặt trên da đầu.
Hình 4. Bản ghi tín hiệu điện não EEG
Thông thường, tín hiệu điện não cho biết thông tin về các hoạt động theo nhịp
(rhythmic activities) trên các dải tần số khác nhau (Hình 5) như dải tần Delta (0.5–
4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz)
[21]. Nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái
ngủ sâu của người lớn. Nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc trẻ em bình
thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ. Một lượng lớn
tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh
báo tình trạng bất thường hoặc dấu hiệu bị bệnh. Sóng Alpha trong dải tần từ 8 Hz
đến 13 Hz thường thu được tại vùng sau gáy tại mỗi phía và thường có biên độ lớn
hơn ở vùng sóng Alpha xuất hiện phổ biến. Biên độ của sóng Alpha thường có giá
trị nhỏ hơn 50 µV và thường thu được ở thùy chẩm của người trưởng thành trong
trạng thái thư giãn. Nhịp Beta xuất hiện phổ biến ở thùy trán và là dấu hiệu cho thấy
đối tượng thu tín hiệu đang trong tình trạng cảnh giác hoặc lo sợ. Tín hiệu điện não
thường rất phức tạp và có tính chất bất định, phụ thuộc mạnh vào cá nhân, tuổi và
trạng thái thần kinh khi thu tín hiệu của đối tượng.
28
Hình 5. Một số dạng sóng trong tín hiệu điện não EEG
(Nguồn: http://www.biogetic.com/research.html; truy cập lần cuối 09/07/2020)
2.2.3. Cơ chế phát sinh tín hiệu điện não
Tương tác của các tế bào thần kinh được diễn ra thông qua các xung điện, được
ghi lại bởi các điện cực đặt trên da đầu. Hiệu điện thế hoạt hóa hay ức chế sau
synapse sẽ tạo ra tín hiệu điện não theo cơ chế như sau. Khi xuất hiện tương tác tế
bào thần kinh, chất trung gian dẫn truyền thần kinh được giải phóng sẽ khuếch tán
qua khe synapse hẹp. Tại màng sau synapse, phân tử chất trung gian dẫn truyền thần
kinh gắn vào phân tử thụ cảm thể gắn ở màng tại vùng nhận diện đặc hiệu đối với
chất trung gian dẫn truyền thần kinh đó. Chất trung gian dẫn truyền thần kinh gắn
vào thụ cảm thể sẽ kích hoạt đáp ứng sau synapse đặc hiệu cho thụ cảm thể đó. Đáp
ứng này có thể là hoạt hoá hay ức chế, phụ thuộc vào đặc điểm của thụ cảm thể. Nếu
sự kích thích thụ cảm thể làm cho màng sau synapse tăng điện dương (khử cực), thì
đó là thế hoạt hoá sau synapse (Excitatory postsynaptic potentials - EPSP). Nếu tăng
điện âm (tăng phân cực), thì đó là thế ức chế synapse (Inhibitory postsynaptic
potentials - IPSP). Các điện thế sau synapse được tổng hợp lại tại vỏ não, phát ra
trên bề mặt da đầu và được ghi lại dưới dạng tín hiệu điện não.
29
2.2.4. Thu tín hiệu điện não
Hai phương pháp thường được dùng để thu tín hiệu điện từ bộ não là EEG và
ECoG. Phương pháp EEG sử dụng một hệ thống các điện cực đặt trên vỏ da đầu để
thu các tín hiệu điện, đây là một phương pháp không xâm lấn. Khác với EEG, ECoG
là một phương pháp xâm lấn. Về cơ bản, khi thực hiện thu tín hiệu với phương pháp
ECoG, các điện cực được đặt trực tiếp vào vỏ não thay vì ở trên bề mặt da đầu.
ECoG là một phương pháp xâm lấn đòi hỏi phải tiến hành phẫu thuật mở hộp sọ để
có thể đặt điện cực. Trong khuôn khổ luận án, các nội dung về phương pháp đo điện
não đồ EEG sẽ được trình bày sâu hơn.
Trong phương pháp đo điện não đồ EEG, người ta sử dụng thiết bị thu tín hiệu
điện não để ghi lại tín hiệu điện từ bộ não bằng cách đặt các điện cực lên da đầu.
Dòng điện hình thành do hoạt động của tế bào thần kinh có điện thế rất nhỏ (chỉ cỡ
100 µV) [18]. Để có thể ghi được dòng điện nhỏ này thì máy thu tín hiệu điện não
phải có độ nhạy cao. Dù đã được cải tiến và phát triển rất nhiều kể từ khi được phát
minh từ năm 1924, tuy nhiên nguyên lí hoạt động chung của máy thu tín hiệu điện
não đều tuân theo qui trình cơ bản từ đầu vào là các điện cực → đạo trình ghi → bộ
tiền xử lí khuếch đại → bộ lọc tần số cao → hậu khuếch đại → thiết bị ghi (máy ghi
dao động kế hoặc màn hình). Trong giai đoạn phát triển thiết bị thu ban đầu, các dao
động kế được sử dụng để ghi lại tín hiệu lên tấm giấy nhẵn hoặc giấy có ô lưới. Hiện
nay, các hệ thống này được số hóa, xử lí và lưu trữ tín hiệu EEG dưới dạng số. Như
đã biết, việc số hóa tín hiệu bao gồm nhiều bước như lấy mẫu, lượng tử hóa, mã
hóa,… Khi số kênh tín hiệu được sử dụng tăng lên thì lượng dữ liệu cũng nhiều hơn,
số bit để mã hóa tín hiệu cũng tăng theo. Các hệ thống được máy tính hóa cho phép
thiết lập nhiều thông số khác nhau, hỗ trợ mô phỏng tín hiệu, lấy mẫu tần số và trong
nhiều trường hợp có tích hợp cả các công cụ xử lí tín hiệu đơn giản hoặc hiện đại
giúp nâng cao hiệu quả quá trình xử lí tín hiệu. Dải tần hiệu quả cho việc thu tín hiệu
EEG là cỡ xấp xỉ 100 Hz, do đó tần số lấy mẫu nhỏ nhất sẽ vào cỡ 200 Hz để tuân
theo định lí Nyquis. Tuy nhiên các con số này có thế thay đổi tùy vào mục đích của
việc đo tín hiệu. Một số ứng dụng đòi hỏi các hoạt động của não phải được quan sát
30
ở độ phân giải cao hơn tần số lấy mẫu, có thể lên tới 2000 mẫu/s. Để giảm thiểu mất
mát thông tin thì quá trình lượng tử hóa tín hiệu cũng phải thực hiện rất tốt. Các hệ
thống đo tín hiệu EEG trong lâm sàng thường sử dụng các mẫu tín hiệu 16 bit.
3. Một số phương pháp xử lý, phân tích tín hiệu điện não
3.1. Biến đổi wavelet
Biến đổi wavelet [21] là phương pháp xử lý tín hiệu sử dụng một tập hợp các
hàm cơ sở, được gọi là các sóng nhỏ wavelet vốn khi được sử dụng để phân tích
tín hiệu sẽ thể hiện thông tin đầu ra khu trú rất rõ trên cả miền thời gian và tần
số. So với phép biến đổi Fourier (sử dụng duy nhất hàm mũ), phép biến đổi
wavelet có tính linh động cao vì có thể lựa chọn các hàm wavelet khác nhau trong
họ hàm wavelet sao cho thích hợp với bài toán (hình dạng của hàm wavelet phù
hợp với tín hiệu cần phân tích) để kết quả phân tích là tốt nhất. Các hàm cơ sở
wavelet có thể được xây dựng từ một hàm wavelet mẹ duy nhất 𝜓(𝑡) được định
nghĩa như sau:
𝜓𝑎,𝜏 =1
√𝑎𝜓(
𝑡−𝜏
𝑎) (1)
Trong đó a là tỉ lệ (nghịch đảo của tần số) và 𝜏 là dịch chuyển đặc trưng vị trí.
Biến đổi wavelet liên tục (Continuous wavelet transform - CWT) của một tín hiệu
𝑥(𝑡) được định nghĩa là hệ số tương quan (correlation) giữa hàm cơ sở wavelet
và chính tín hiệu đó. CWT của 𝑥(𝑡) được định nghĩa bởi công thức sau:
𝑊(𝑎, 𝜏) =1
√𝑎∫ 𝑥(𝑡)𝜓𝑎,𝜏
∗ (𝑡)𝑑𝑡∞
−∞ (2)
Trong đó 𝜓∗(𝑡) là biến đổi phức liên hợp của 𝜓(𝑡). Phương trình (2) ở trên
cho thấy trong phép biến đổi CWT, một sóng nhỏ wavelet được cho đi qua tín
hiệu cần phân tích. Kết quả thu được là một tập các hệ số wavelet đại diện cho
hình ảnh trên các bậc hay dải tần khác nhau trên miền thời gian và tần số của tín
hiệu phân tích. Tham số tỉ lệ a đóng vai trò quan trọng trong phép biến đổi
wavelet. Khi giá trị của a thay đổi từ lớn xuống bé, hàm cơ sở wavelet trở nên
“giãn” ra và trơn hơn tương ứng với tần số thấp hơn. Theo đó, các thành phần tín
31
hiệu chứa tần số thấp có thể được phân tích với các sóng wavelet trơn như vậy
có thể đem lại thông tin phân tích hết sức hữu ích. Đặc biệt trong điều kiện tín
hiệu điện não thường bị ảnh hưởng bới các loại nhiễu trong đó có tín hiệu bất
thường do nháy mắt EOG vốn thường xuất hiện ở giải tần thấp.
Biến đổi wavelet thường trả về kết quả là các hệ số mang đặc trưng trên cả
miền thời gian và tỉ lệ (scale), trong đó tỉ lệ ở đây một cách cơ bản là chỉ về mặt
tần số [22]. Tỉ lệ cao nhất tương ứng với thành phần tần số cao nhất hiện diện
trong tín hiệu được phân tích (thường là bé hơn hoặc bằng một nửa tần số lấy
mẫu) và giải tần của tỉ lệ này thường trong khoảng từ một nửa tới một phần tư
tần số lấy mẫu. Khi giải tần giảm một nửa, số lượng hệ số thuộc về các thành
phần có độ phân giải thấp hơn giảm xuống khoảng gần một nửa so với giải tần
cao hơn ngay kề trên. Sự lựa chọn một cách hợp lý các hệ số ở các giải tần khác
nhau có thể được dùng để nén hoặc tái cấu trúc lại tín hiệu ban đầu hoặc tín hiệu
được thay đổi, trong trường hợp nâng cao chất lượng, loại bỏ thành phần không
mong muốn hay khử nhiễu tín hiệu.
Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược
32
Do tín hiệu xử lý trên máy tính là tín hiệu số hóa, biến đổi wavelet liên tục
CWT không áp dụng được. Thay vào đó, biến đổi wavelet rời rạc (Discrete wavelet
transform - DWT) được dùng để thu được các tập hệ số wavelet là các bản thể rời
rạc của chuỗi tín hiệu thời gian rời rạc. Trong phép biến đổi DWT, các tham số a và
𝜏 trong các phương trình (1) và (2) ở trên có thể được biểu diễn như sau 𝑎𝑖 = 2−𝑖 và
𝜏𝑖 = 2−𝑖𝑗 trong đó i và j là các số nguyên dương. Việc lựa chọn giá trị của i và j xác
định đặc trưng hàm wavelet mẹ 𝜓(𝑡) = 2−𝑖𝜓(2−𝑖 − 𝑗), vốn trực giao trong không
gian Hilbert [23]. DWT có thể được triển khai một cách giản đơn chỉ với phép lọc
đệ quy cho phép tái thể hiện các phiên bản trên miền wavelet của tín hiệu được phân
tích ở các giải tần khác nhau. Tại mỗi giải tần thuộc quá trình lọc tín hiệu này, tín
hiệu lần lượt được cho chạy qua và nhân chập với hai bộ lọc thông cao và thấp, là g
và h. Tái xây dựng tín hiệu có thể thực hiện với phép lọc nghịch đảo như sau:
𝑦𝑙𝑜𝑤(𝑛) = ∑ 𝑥[𝑘]𝑔[2𝑛 − 𝑘]∞𝑘= −∞ (3a)
𝑦ℎ𝑖𝑔ℎ(𝑛) = ∑ 𝑥[𝑘]ℎ[2𝑛 − 𝑘]∞𝑘= −∞ (3b)
Biến đổi wavelet và tái cấu trúc wavelet được minh họa trên Hình 6. Biến đổi
wavelet (theo chiều thuận) chính là quá trình tín hiệu ban đầu được phân tích bởi
một bộ lọc thông cao (𝐻0) và một bộ lọc thông thấp (𝐺0). Hai bộ lọc này được thiết
kế dựa trên đặc tính của hàm wavelet cơ sở. Kết quả là các hệ số wavelet sau đó
được giảm mẫu (downsample) xuống một nửa. Sau khi giảm mẫu, kết quả của phép
biến đổi DWT là một chuỗi hệ số trên giải tần cao và một chuỗi hệ số ở giải tần thấp,
được gọi là chi tiết (detail) và xấp xỉ (approximation). Thành phần xấp xỉ sau đó lại
tiếp tục được sử dụng làm đầu vào của phép biến đổi wavelet DWT ở bậc tiếp theo.
Kết quả khi kết thúc quá trình phân tích DWT là một chuỗi xấp xỉ (𝑎𝑖) và nhiều
chuỗi chi tiết (𝑑𝑘, 𝑘 = 1,… , 𝑖) đem đến hiển thị thông tin về tín hiệu phân tích ở các
giải tần số khác nhau.
Tái cấu trúc tín hiệu trên miền wavelet (quá trình wavelet ngược hay wavelet
tổng hợp) chính là quá trình nghịch đảo của biến đổi DWT trong đó chuỗi xấp xỉ và
chi tiết tại mỗi bậc được tăng mẫu (upsample) bậc hai và sau đó được cho chạy qua
một bộ lọc thông thấp tổng hợp (𝐺1) và bộ lọc thông cao tổng hợp (𝐻1). Sau đó kết
33
quả này được tổng hợp lại và quá trình tiếp tục được thực hiện i lần tiếp theo. Số lần
i chính bằng số bậc biến đổi wavelet thuận. Các bộ lọc được sử dụng trong quá trình
phân tích và tổng hợp cần phải thỏa mã điều kiện về tái cấu trúc hoàn hảo (perfect
reconstruction) hay thỏa mãn phương trình:
[𝐺𝑝(𝑧)]𝑇𝐻𝑝(𝑧) = 𝑧−𝑙𝐼 (4)
Trong đó 𝐺𝑝(𝑧) và 𝐻𝑝(𝑧) chính là các ma trận trong dải ma trận tổng hợp và
phân tích.
3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não
Phương pháp phân tích thành phần độc lập (Independent component analysis -
ICA) là một kĩ thuật tách nguồn mù thường được sử dụng trong khử nhiễu tín hiệu
điện não [20]. Các kĩ thuật tách nguồn mù thường được sử dụng phổ biến với mục
đích đánh giá các nguồn tín hiệu ban đầu từ tập hợp các tín hiệu trộn của chúng dù
không có hoặc có rất ít thông tin về quá trình trộn cũng như tín hiệu gốc ban đầu. Ý
tưởng của phương pháp ICA dựa trên việc coi mỗi kênh tín hiệu thu được là kết quả
của việc trộn nhiều nguồn tín hiệu gốc. Trong trường hợp tín hiệu điện não EEG,
các tín hiệu thu được ở mỗi điểm đặt điện cực trên vỏ da đầu (kí hiệu là x) được coi
là tín hiệu trộn của nhiều nguồn tín hiệu gốc nằm bên trong bộ não (kí hiệu là s).
Quá trình trộn sử dụng một ma trận trộn (kí hiệu là W-1) được mô tả bằng công thức
x= W-1*s
Mô hình ICA cơ bản yêu cầu các giả thiết sau phải được thỏa mãn:
- Các nguồn tín hiệu ban đầu phải độc lập thống kê với nhau.
- Không có nguồn nào có phân bố Gauss, hoặc tối đa chỉ có 1 nguồn có phân bố Gauss.
- Ma trận trộn W-1 là ma trận vuông (số tín hiệu nguồn bằng số tín hiệu trộn).
Ở đây, khái niệm độc lập thống kê được định nghĩa theo hàm mật độ xác suất
(Probality Density Function - PDF). Những biến ngẫu nhiên 𝑠1, 𝑠2, … , 𝑠𝑛 là độc lập
nếu hàm phân bố xác suất có thể tìm được thừa số là:
𝑝(𝑠1, 𝑠2, … , 𝑠𝑛) = 𝑝1(𝑠1)𝑝2(𝑠2)…𝑝𝑛(𝑠𝑛) (5)
34
Với 𝑝(𝑠1, 𝑠2, … , 𝑠𝑛) biểu diễn hàm phân bố xác suất của 𝑠1, 𝑠2, … , 𝑠𝑛 và 𝑝𝑖(𝑠𝑖)
biểu diễn hàm phân bố xác suất của 𝑠𝑖.
Có nhiều thuật toán để thực hiện phương pháp ICA như infomax, FastICA,
JADE… [24]. Về mặt toán học, các giả thiết ban đầu của mô hình ICA tuyến tính có
thể đặt vào trường hợp của tín hiệu EEG mà không làm thay đổi bản chất của tín
hiệu. Trong phân tích tín hiệu điện não EEG, phương pháp ICA được sử dụng nhiều
nhất trong xử lí nhiễu, đặc biệt là tín hiệu bất thường do nháy mắt EOG và nhiễu cơ
EMG. Ý tưởng cơ bản là sau khi thực hiện phương pháp ICA với dữ liệu điện não
thì sẽ thu được ma trận trộn W-1 và các thành phần độc lập (hay các nguồn tín hiệu
gốc). Các thành phần độc lập sẽ được kiểm tra và thay thế các thành phần độc lập có
tính chất giống nhiễu, trước khi trộn lại bằng ma trận W-1 để thu được tín hiệu sạch.
Quy trình khử nhiễu này được thể hiện tại Hình 7.
Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG
3.3. Mạng Nơron wavelet
Tín hiệu điện não là loại tín hiệu dễ bị ảnh hưởng bởi nhiễu. Có một số loại nhiễu
cơ bản như nhiễu tim, tín hiệu bất thường do nháy mắt và nhiễu cơ. Các loại nhiễu
này khi xuất hiện sẽ làm giảm hiệu quả của hệ BCI. Mạng nơron kết hợp wavelet -
Wavelet neural network [25], được phát triển để khử tín hiệu bất thường do nháy
mắt , gồm có ba phần chính (Hình 8): phân tích wavelet (wavelet decomposition),
mạng Nơ-ron nhân tạo và tổng hợp wavelet (wavelet reconstruction). Đầu vào của
35
WNN là tín hiệu có tín hiệu bất thường do nháy mắt và đầu ra là tín hiệu đã được
khử nhiễu.
Hình 8. Cấu trúc của mạng Wavelet Neural Network [8]
Phần tiếp theo sẽ trình bày cách huấn luyện và khử nhiễu tín hiệu điện não
bằng mạng Nơ-ron nhân tạo kết hợp wavelet WNN.
3.3.1. Huấn luyện
Để huấn luyện được mạng Nơ-ron nhân tạo, trước hết phải tạo ra tín hiệu điện
não sạch. Sau đó, tín hiệu sạch này được thêm tín hiệu bất thường do nháy mắt , là
nhiễu được lọc tách trực tiếp từ tín hiệu điện não có nhiễu. Việc huấn luyện mạng
Nơ-ron nhân tạo được xem như tương đương với việc “dạy” cho mạng Nơ-ron khôi
phục lại tín hiệu sạch EEG(true)(t) từ tín hiệu có nhiễu EEG(rec)(t). Cả EEG(true)(t) và
EEG(rec)(t) được phân tích wavelet. Sau đó, các hệ số ở một số dải tần thấp được nội
suy để có cùng chiều dài. Các chuỗi hệ số được nội suy sau đó được sử dụng để huấn
luyện mạng Nơ-ron. Các bước huấn luyện có thể xem tại Hình 9.
Hình 9. Huấn luyện mạng Nơ-ron
3.3.2. Khử nhiễu
Các bước đầu tiên của quá trình khử nhiễu (Hình 10) là tương tự với quá trình
huấn luyện mạng Nơ-ron. Tín hiệu EEGrec(t) được phân tích wavelet sau đó nội suy
36
hệ số của một số dải tần để các chuỗi hệ số này có chiều dài bằng nhau. Sau đó dữ
liệu cần được khử nhiễu sau khi được xử lý bởi mạng Nơ-ron đã được huấn luyện
được lấy mẫu xuống (downsampling) cho trở về chiều dài ban đầu. Sau đó, dữ liệu
trên được cho qua Tổng hợp wavelet để khôi phục lại tín hiệu sạch EEGtrue(t).
Hình 10. Quá trình khử nhiễu
3.4. Phương pháp phân ngưỡng wavelet
Phương pháp phân ngưỡng wavelet (wavelet thresholding) được phát triển
dựa trên biến đổi wavelet vốn cho phép biểu diễn tín hiệu trên với các tỉ lệ khác nhau
trên miền thời gian – tần số. Các hệ số thuộc thành phần xấp xỉ (approximation) và
chi tiết (details), tương ứng với các băng tần thấp và cao, được đưa qua bộ phân
ngưỡng trước khi tái tạo wavelet. Với việc lựa chọn một cách phù hợp hàm wavelet
có chung tính chất với nhiễu tín hiệu điện não, những hệ số wavelet có giá trị lớn
được tạo ra ở những vùng dải tần số thấp đặc trưng cho tín hiệu bất thường sinh ra
do nháy mắt EOG. Khi thay đổi giá trị của các hệ số này bằng các hàm phân ngưỡng
phi tuyến sẽ tương ứng với việc giảm sự tác động của nhiễu lên tín hiệu điện não,
hay là khử nhiễu tín hiệu. Phương pháp phân ngưỡng wavelet cho mục đích khử
nhiễu được sử dụng trong luận án này được thực hiện theo Krishnaveni, V., 2006, cụ
thể với các bước như sau:
- Sử dụng bộ lọc thông thấp Butterworth loại bỏ các thành phần tín hiệu tần số
rất thấp (< 0.5 Hz) của tín hiệu điện não đầu vào
- Áp dụng biến đổi wavelet cho tín hiệu điện não chứa nhiễu
- Sử dụng một hàm phân ngưỡng để tự động “sửa” những hệ số wavelet có giá
trị lớn, trong vùng tần số thấp
37
- Tái tổ hợp wavelet tín hiệu điện não sạch, không chứa nhiễu với các hệ số
wavelet đã được sửa đổi
Nền tảng của phương pháp phân ngưỡng wavelet là việc sử dụng các hàm
phân ngưỡng để thay đổi giá trị các hệ số wavelet; sau đó tái cấu trúc lại tín hiệu dựa
trên các hệ số wavelet đã được thay đổi. Các hàm phân ngưỡng như vậy thường được
chia thành một trong ba loại là hàm phân ngưỡng mềm, hàm phân ngưỡng cứng và
hàm phân ngưỡng thích nghi. Việc chọn lựa các hàm phân ngưỡng này được lựa
chọn sao cho nhiễu bị loại bỏ một cách hiệu quả nhất trong khi tín hiệu điện não có
ích được giữ lại một cách tối đa. Do đó, việc lựa chọn hàm phân ngưỡng là yếu tố
quan trọng nhất quyết định sự thành công của quá trình khử nhiễu tín hiệu trong
phương pháp phân ngưỡng wavelet. Trong khuôn khổ của luận án này, hàm phân
ngưỡng thích nghi dựa trên ước lượng SURE (Stein’s unbiased risk estimate) [4]
được sử dụng.
Giá trị phân ngưỡng t có thể được xác định một cách thích nghi, dựa trên dữ
liệu bởi phương pháp phân ngưỡng SURE như sau:
𝑡𝑖+1 = 𝑡𝑖 − 𝛻𝑡𝑖, (6)
Trong đó giá trị ngưỡng tại bước thứ i được tính bởi công thức:
𝛻𝑡𝑖 = 𝛼 .𝜕𝑅𝑠(𝑡)
𝜕𝑡, (7)
Trong đó
𝜕𝑅𝑠(𝑡)
𝜕𝑡= 2 ∑ 𝑔𝑖
𝑁−1𝑖=0 .
𝜕𝑔𝑖
𝜕𝑡+ 2 ∑
𝜕2𝑔𝑖
𝜕𝑝𝑖𝜕𝑡
𝑁−1𝑖=0 , (8)
Với
𝑔𝑖 = 𝑄(𝑝𝑖 , 𝑡) − 𝑝𝑖 (9)
Với
𝑄(𝑝, 𝑡) =
{
𝑝 + 𝑡 −
𝑡
2𝑘+1, 𝑝 < −𝑡
1
(2𝑘+1)𝑡2𝑘𝑝2𝑘+1, |𝑝| ≤ 𝑡
𝑝 − 𝑡 + 𝑡
2𝑘+1, 𝑝 > 𝑡
(10)
38
Trong đó k là số thực dương và p là giá trị phương sai của thành phần chính
được xét đến. Giá trị ngưỡng có thể được khởi tạo dựa trên công thức phân ngưỡng
Donoho [26] như sau:
𝑡0 =𝑚𝑒𝑑𝑖𝑎𝑛(|𝑝|)
0.6745√2𝑙𝑜𝑔 (𝑛)
𝑛. (11)
Quá trình này được lập lại tới khi 𝛻𝑡𝑖/𝑡𝑖+1 > ε.
3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não
Kĩ thuật thu tín hiệu EEG đã sớm có khả năng thu đồng thời một số lượng lớn
các kênh tín hiệu số hóa, điều này cho phép ra đời một kĩ thuật phân tích tín hiệu
mới được gọi là định vị EEG. Về cơ bản, kĩ thuật này cho phép xác định mức độ
hoạt động não ở các vùng não khác nhau tại một thời điểm. Thông thường, mức hoạt
động não sẽ được mã hóa theo màu sắc để hiển thị lên mô hình não hoặc sơ đồ não
(ví dụ, màu tím và xanh có thể mô tả mức độ hoạt động EEG thấp, trong khi vàng
và đỏ có thể mô tả mức độ hoạt động lớn hơn). Những điểm trong không gian nằm
giữa các điện cực sẽ được tính toán bằng những kĩ thuật tính toán nội suy (tính toán
giá trị tức thời trên cơ sở các giá trị liền kề).
LORETA (Low resolution brain electromagnetic tomography) [27] là thuật
toán điển hình trong kĩ thuật định vị EEG. Thuật toán này biểu diễn hoạt động của
não bộ với một mô hình não 3D. Thuật toán LORETA cho phép tính toán phân bố
mật độ dòng xuyên suốt toàn bộ phần đầu, sau đó gắn mỗi điểm trong đầu (được gọi
là voxel – điểm ảnh trong không gian 3 chiều) với một mức cường độ mô tả độ mạnh
của mật độ dòng tại điểm đó. Mỗi điểm ảnh sau đó được mã hóa màu tương ứng với
mức cường độ (thông thường là từ đỏ>trắng>xanh tương ứng cường độ giảm dần –
xem Hình 11).
Loreta định nghĩa dựa trên phương trình: .
φ = KJ (12)
39
Với φ là chênh lệch điện thế đo tại N điểm trên da đầu (chính là tín hiệu tại
sensor gắn trên da đầu, trong trường hợp của mình N=14 (chính là số điện cực). Tọa
độ của N điểm đo này lấy theo hệ tọa độ Descartes {s1 , s2 ,..., sN}.
J là ma trận mật độ dòng tại M điểm bên trong não (J: mật độ dòng, kích
thước 3Mx1), J = (jT1 , jT2 ,... , jTM )T, tại mỗi điểm ta có jb = (jxb , jyb , jzb)T với
β=1..M. T là kí hiệu ma trận chuyển vị.
K là ma trận chuyển đổi (transfer matrix, kích thước Nx3M)
𝐾 = (
𝑘11 𝑘12 . . 𝑘1𝑀𝑘21 𝑘22 . . 𝑘2𝑀. . . . . . . .𝑘𝑁1 𝑘𝑁2 . . 𝑘𝑁𝑀
)
Ma trận K được tính bằng cách sử dụng các đạo trình cho các vị trí điện cực
cố định (xác định bằng mô hình đầu)
Tại mỗi thành phần kαβ ta có
(13)
Với σ là độ dẫn, sR là vector vị trí của điện cực tham chiếu.
Mục tiêu của thuật toán là tìm giá J tại mỗi điểm trong não dựa theo phương
trình định nghĩa LORETA.
Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG.
40
4. Một số ứng dụng hệ giao diện não máy tính
Giao diện não-máy tính (Brain computer interface – BCI) [7, 11] là một cách
thức truyền thông giữa não và các thiết bị bên ngoài (external devices) thông qua
một hệ thống thu nhận và xử lý tín hiệu từ não bộ. Nghiên cứu về BCI bắt đầu từ
những năm 1970 tại trường Đại học California Los Angeles (UCLA) [12, 28]. LA.
Farwell, 1988 [12] phát triển một hệ thống giao diện não-máy tính dựa trên EEG.
Đến gần đây, các ứng dụng của hệ BCI khá đa dạng từ việc điều khiển xe lăn, đánh
vần ký tự, chơi các trò chơi bằng trí não, tích hợp trong các hệ thống phục hồi chức
năng… Trong phần dưới đây, luận án sẽ mô tả về một số hệ BCI như vậy.
4.1. Hệ BCI2000
Hình 12. Thiết kế hệ BCI2000 [17]
Năm 2000, một nghiên cứu của Jessica Bayliss tại Đại học Rochester cho thấy
rằng các tình nguyện viên đội mũ bảo hiểm thực tế ảo có thể kiểm soát các thành
phần (elements) trong một thế giới ảo bằng cách sử dụng các bài đọc P300 EEG của
họ, bao gồm cả bật/tắt đèn và làm một chiếc xe mô hình dừng lại. Ngoài ra, hệ BCI
2000 còn có cho phép điều khiển con chuột máy tính bằng tín hiệu điện. Hệ BCI2000
có khả năng di chuyển con chuột máy tính đến bất kỳ vị trí nào trên màn hình sử
dụng đặc trưng nhịp cảm giác vận động (Sensorimotor rhythm) [13]. Hệ BCI có thể
thực hiện được dựa trên việc tìm và phân loại thay đổi của các nhịp tín hiệu điện não
khi đối tượng thực hiện các tác vụ tưởng tượng vận động như tưởng tượng di chuyển
41
tay trái/phải. Nhịp alpha thu được trong vùng não phụ trách giác quan vận động được
gọi là nhịp Mu. Dải tần số của tín hiệu điện não trong trường hợp này là nhịp Mu
hoặc beta. Việc tưởng tượng vận động hoặc thực sự cử động gây ra thay đổi nhịp
giác quan vận động và tập trung ở dải tần nhịp Mu và beta.
4.2. Hệ VR-BCI trong phục hồi chức năng
Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1]
Từ năm 2009 tới nay, đã có 8 giải thưởng BCI-Research Award hàng năm
trao cho những nhóm nghiên cứu có kết quả nghiên cứu nổi bật về hệ BCI trên toàn
thế giới được đánh giá bởi ban giám khảo, bao gồm những chuyên gia hàng đầu trên
thế giới về BCI. Năm 2018, một đề cử giải BCI Award giành cho hệ BCI dùng trong
việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống
[1]. Trong đó, người bệnh đột quỵ trong quá trình phục hồi chức năng được đo và
phân tích tín hiệu điện não khi thực hiện tác vụ tưởng tượng vận động Motor
Imagery. Trong thí nghiệm, người bệnh được đồng thời đeo kính thực tại ảo và màn
hình máy tính sẽ hiển thị ý định của người bệnh (ví dụ nếu người bệnh muốn nâng
tay trái hay tay phải thì nhân vật hoạt họa cũng nâng tay trái hay tay phải dựa trên
phân tích điện não ý định của người bệnh). Bác sỹ có thể quan sát và so sánh giữa
hành động thực sự người bệnh có thể thực hiện được với ý định thể hiện qua nhân
42
vật hoạt họa trên màn hình máy tính để biết được hiệu quả và tình trạng của bệnh
nhân.
4.3. Một số hệ BCI trong đánh vần ký tự
P300 là một đặc trưng tín hiệu sóng điện não sinh ra khoảng 300ms sau khi
xuất hiện kích thích. Hệ BCI dựa trên P300 cũng thường được nghiên cứu, phát triển
để giải quyết bài toán hỗ trợ đánh vần cho những người bị liệt tứ chi. Thiết kế thí
nghiệm của một hệ BCI P300 này như sau: ma trận 6x5 hiển thị trên màn hình máy
tính phục vụ đánh vần trong đó cột và hàng được nháy sáng (flash) theo trật tự ngẫu
nhiên (Hình 14). Khoảng cách giữa 2 lần nháy là 175 ms, khoảng thời gian một cột
hay hàng được nháy sáng là 100 ms. Một vòng nháy được hoàn thành khi tất cả các
cột và hàng đã được nháy 1 lần tương ứng 1, 925. 5 vòng nháy là 1 phiên để xác
định 1 chữ cái cần đánh vần (target letter) tương đương khoảng 10 giây. Cứ sau mỗi
phiên thì nghỉ 6 giây để bắt đầu phiên tiếp theo.
Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8]
Một cách tiếp cận khác dựa trên việc tưởng tượng giác quan vận động được
[68] phát triển thành hệ Berlin BCI. Trong Hình 15, sáu hình lục giác được đặt xung
quanh 1 hình tròn. Mỗi hình lục giác chứa 5 ký tự hoặc chức năng cách dòng hoặc
xóa. Mũi tên ở trung tâm của vòng tròn cho phép lựa chọn hình lục giác chứa ký tự
cần tìm (bước 1) hoặc chính xác ký tự đó (bước 2). Mũi tên sẽ quay theo chiều kim
đồng hồ khi tưởng tượng cử động tay phải và dừng lại khi tưởng tượng cử động tay
trái. Nếu tiếp tục tưởng tượng cử động tay trái, hình lục giác nơi mũi tên được chọn
sẽ dừng lại và các ký tự trong hình lục giác đó sẽ mở rộng lên, các hình lục giác khác
sẽ biến mất. Cách làm tương tự để chọn ký tự mong muốn. Nếu chọn ký tự trắng
43
trong hình lục giác tương đương với việc trở lại set up thí nghiệm đầu tiên với tất cả
các hình lục giác chứa tập hợp ký tự. Tốc độ di chuyển mũi tên và dừng mũi tên
được tùy chỉnh theo người sử dụng. Để tăng hiệu quả của hệ BCI đánh vần, có thể
tích hợp thêm một mô hình ngôn ngữ cho phép dự đoán được ký tự sẽ được nhắm
tới tiếp theo.
Hình 15. Giao diện thí nghiệm Berlin BCI [68]
4.4. Một số nghiên cứu BCI và tín hiệu điện não khác
Ở Việt nam, nghiên cứu và ứng dụng tín hiệu điện não để phát triển giao diện
não – máy tính là một lĩnh vực còn mới mẻ. Trong lĩnh vực nghiên cứu về tín hiệu
điện não, có thể kể đến một số nghiên cứu ứng dụng bước đầu của nhóm nghiên cứu
tại Đại học Công nghệ ứng dụng EEG cho dự đoán bệnh động kinh. Dựa vào tín hiệu
EEG và đặc trưng của gai động kinh (spike, sharp wave), quá trình phát hiện gai tự
động được chia thành nhiều giai đoạn, kết hợp các phương pháp xử lý tín hiệu và
học máy, sử dụng tổng hợp các thông tin về hình dạng, thời gian, tần số và không
gian giúp hệ thống dự đoán đưa ra các quyết định đáng tin cậy. Trong một nghiên
cứu khác, còn có nhóm nghiên cứu tại Đại học Bách khoa ứng dụng phân tích tín
hiệu EEG để nhận diện cảm xúc, sử dụng tín hiệu sóng điện não EEG cho mục đích
xác thực người dùng và nhóm sinh viên của Đại học FPT sử dụng tín hiệu EEG cho
mục đích điều khiển Robot.
Hệ thống phát hiện gai động kinh được nhóm nghiên cứu của Đại học Công
nghệ phát triển từ năm 2010 trong khuôn khổ Đề tài QG-10.40 “Nghiên cứu xử lý
44
tín hiệu điện não phục vụ phân tích và chẩn đoán bệnh động kinh”. Hệ thống gồm 4
khối chính: tiền xử lý, trích chọn đặc trưng, phân lớp và hệ chuyên gia. Hệ thống sử
dụng một số phương pháp xử lý tín hiệu số và học máy như biến đổi Wavelet, Mạng
Nơ-ron nhân tạo,… So với các hệ thống phát hiện gai động kinh khác trên thế giới,
hiệu quả của hệ thống này còn chưa tốt bằng. Nguyên nhân có thể do điều kiện ghi
tín hiệu tại Việt Nam còn chưa đạt chuẩn (thời gian ghi tín hiệu chỉ trong khoảng 10
phút so với hơn 20 phút của thế giới) và hệ thống này còn chưa áp dụng các phương
pháp khử nhiễu.
Nghiên cứu của Đại học Bách khoa về tín hiệu điện não được bắt đầu từ những
năm 2008. Nghiên cứu này đã đạt được một số giải thưởng như giải nhất cuộc thi
ImagineCup do Microsoft tổ chức, giải nhất Nhân tài đất Việt 2010. Ngoài ra nhóm
nghiên cứu này còn chủ trì đề tài nghiên cứu cấp nhà nước KC.01.TN13/11-15
“Nghiên cứu giải mã thông tin trong sóng điện não, ứng dụng xây dựng Hệ thống
nhận diện cảm xúc con người”. Một số sản phẩm đạt được như Bộ công cụ MDK
(Mimas Development Kit) làm nền tảng cho việc thu nhận và xử lý tín hiệu điện não
và phần mềm thu nhận và nhận dạng cảm xúc người sử dụng. Nghiên cứu này sử
dụng thiết bị đo EPOC do Emotiv sản xuất.
Bài toán sử dụng tín hiệu điện não áp dụng điều khiển Robot được nhóm sinh
viên tại Đại học FPT nghiên cứu và phát triển. Tín hiệu điện não được dùng để phân
tích bốn loại tín hiệu điều khiển của não bộ: trên, dưới, trái, phải. Thí nghiệm chia
làm 2 loại: phân loại 2 loại tín hiệu điều khiển trên và dưới (độ chính xác 66-96%)
và phân loại cả 4 loại tín hiệu điều khiển (độ chính xác 28-73%). Thiết bị đo mà
nhóm này sử dụng là EEG-SMT gồm 4 đầu đo. Như vậy, nghiên cứu của nhóm này
mới chỉ ở mức bắt đầu và để tiến tới mục tiêu điều khiển robot được còn cần đầu tư
thêm nhiều thời gian.
Gần đây, nghiên cứu về tín hiệu điện não EEG nhận được khá nhiều sự quan
tâm. Bộ Khoa học và Công nghệ đã giao cho Ban Quản lý Khu Công nghệ cao Hòa
Lạc phối hợp với Công ty Công nghệ Emotiv và SapienLab (một tổ chức phí lợi
nhuận chuyên nghiên cứu về thần kinh học) triển khai nhiệm vụ “Khảo sát, điều tra
45
dữ liệu sóng não của người Việt”. Mục tiêu của nhiệm vụ là phân tích các tín dữ liệu
sóng điện não thu thập được từ các đối tượng có phân bố về giới tính, việc làm, độ
tuổi… đa dạng để hiểu sâu hơn về não bộ của người Việt Nam. Trên cơ sở đó lập ra
báo cáo so sánh các đặc trưng về não bộ của con người Việt Nam với các quốc gia
khác trên thế giới.
5. Kết luận Chương 1
Có nhiều cách tiếp cận để thực hiện hệ BCI trong đó sử dụng tín hiệu điện não
EEG một trong những phương thức phổ biến nhất. Các ưu điểm của tín hiệu điện
não EEG so với các phương thức thu tín hiệu từ não bộ khác đã được tóm tắt và chỉ
rõ trong nội dung Chương này. Nguồn gốc, cơ chế sinh học và cách thức thu tín hiệu
cũng đã được trình bày trong Chương này. Đấy chính là cơ sở đề xuất sử dụng tín
hiệu điện não trong chủ đề nghiên cứu của luận án này. Một số phương pháp xử lý,
phân tích tín hiệu điện não được trình bày ở trong Chương 1 là các phương pháp cơ
sở để phát triển các phương pháp đề xuất ở các chương tiếp theo, hỗ trợ đánh giá kết
quả thí nghiệm. Các chương nội dung chính của luận án 2, 3, 4 sẽ mô tả chi tiết các
phương pháp đề xuất trong xử lý, phân loại tín hiệu điện não và một ứng dụng hệ
BCI trong điều khiển các thiết bị điện tử thông minh.
46
CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA
WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG
DO NHÁY MẮT
1. Đặt vấn đề
Tín hiệu điện não về bản chất là các tín hiệu điện có giá trị điện thế rất nhỏ
sinh ra khi các tế bào thần kinh kích hoạt và tạo ra các xung điện [30]. Thông thường,
tín hiệu điện não cho biết thông tin về các hoạt động theo nhịp (rhythmic activities)
trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha
(8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Tín hiệu điện não được ghi lại
bởi các thiết bị thu với các đầu đo đặt tại các vị trí trên da dầu. Tín hiệu điện não hay
sóng điện não được đặc trưng bởi ba thành phần là hình dạng, tần số và biên độ. Dựa
trên các thành phần này, các đặc trưng của tín hiệu điện não có thể được trích chọn
bởi các kỹ thuật khác nhau. Thực tế là sóng điện não thường bị ảnh hưởng bởi các
loại nhiễu như tín hiệu bất thường do nháy mắt EOG, nhiễu tim, nhiễu cơ… Các
loại nhiễu này thường xuất hiện lẫn với tín hiệu điện não và là yếu tố gây cản trở đến
việc phân tích tín hiệu điện não, dẫn đến việc giảm độ chính xác phân loại tín hiệu
điện não [31].
Khi mắt di chuyển con ngươi (eye movement) hay nháy mắt (eye blinks) gây
ra các tín hiệu điện não bất thường có giá trị biên độ lớn (Electroculographic artifacts
- EOG) trong bản ghi sóng điện não. Tín hiệu điện não bất thường do nháy mắt (Hình
16) gây ảnh hưởng mạnh nhất trên các dải tần Delta, Theta, Alpha [32]. Nháy mắt
gây ra tín hiệu điện não bất thường dạng xung với đỉnh có thể có giá trị lên tới 800
µV và xuất hiện trong một khoảng thời gian khá ngắn khoảng từ 200-400 ms [33].
Khử tín điện não bất thường EOG là một yêu cầu cần thiết trong xử lý, phân tích tín
hiệu điện não. Tuy nhiên, việc loại bỏ tín hiệu bất thường EOG không đơn giản bởi
tín hiệu EOG xuất hiện và chồng lên tín hiệu điện não “sạch” trên cả miền tần số và
thời gian.
47
Hình 16. Tín hiệu bất thường do nháy mắt EOG
Gần đây, khử tín hiệu bất thường EOG được nhiều nhóm nghiên cứu về tín
hiệu điện não quan tâm [31]. Một số nghiên cứu chỉ ra việc khử tín hiệu bất thường
EOG có ảnh hưởng tốt đến việc phân tích, xử lý sóng điện não và làm tăng độ chính
xác trong phân loại tín hiệu điện não [34-35]. Một số nhóm nghiên cứu tiếp cận vấn
đề khử tín hiệu bất thường EOG dựa trên các phương pháp hồi quy trong đó giả thiết
giả tượng mắt là một tổ hợp tuyến tính của tín hiệu điện não sạch và tín hiệu sinh ra
do nháy mắt. Theo hướng nghiên cứu này, việc lấy tín hiệu điện não thu được trừ đi
phần gây ra bởi tín hiệu bất thường EOG sẽ cho kết quả là tín hiệu điện não sạch.
Các phương pháp hồi quy có thể được thực hiện trên miền tần số bằng cách lấy giá
trị biến đổi tần số của tín hiệu điện não thu được trừ đi giá trị trên miền tần số gây
ra bởi nháy mắt để thu được tín hiệu điện não sạch. Hồi quy trên miền tần số được
thực hiện trên nguyên lý phép trừ trên miền tần số tương được với phép lọc (filtering)
trên miền thời gian. Cả hai loại phương pháp dựa trên hồi quy nêu trên có hạn chế
là phải thực hiện off-line và phải có bộ phận thu tín hiệu nháy mắt riêng biệt [20].
Một số phương pháp dựa trên phân tích thành phần cơ bản (Principal
Component Analysis - PCA) hay phân tích thành phần độc lập (Independent
Component Analysis - ICA) cũng được sử dụng để khử tín hiệu bất thường EOG
[20, 30]. Cả ICA và PCA đều giả thiết tín hiệu điện não là một tổ hợp của các thành
phần độc lập với nhau và do đó, khi phân tích tín hiệu điện não thành các thành phần
độc lập này ta sẽ thu được các phần tín hiệu điện não sạch và tín hiệu gây ra do tín
hiệu bất thường EOG riêng biệt. Thay đổi phần tín hiệu gây ra do tín hiệu bất thường
EOG bằng các giá trị thích hợp sẽ cho phép tái cấu trúc lại được phần tín hiệu điện
48
não sạch, không có nhiễu. Các phương pháp dựa trên ICA, PCA thường có kết quả
khử nhiễu tốt tuy nhiên lại không thực hiện một cách tự động, theo thời gian thực
được. Lý do là phương pháp phân tích thành phần độc lập ICA là một phương pháp
tính toán theo lô (batch algorithm) do đó để khai triển ICA cần một tập dữ liệu đa
kênh. ICA đồng thời yêu cầu phải thực hiện một bước nhận dạng thủ công, bằng mắt
thường để nhận biết các thành phần chính không phù hợp cần loại bỏ. Những yêu
cầu này làm cho không thể sử dụng các phương pháp loại bỏ nhiễu tín hiệu điện não
dựa trên ICA cho các hệ phân tích tín hiệu điện não theo thời gian thực.
Wavelet thresholding thường rất nhạy cảm với sự lựa chọn hàm cơ sở wavelet
do đó sản sinh ra những kết quả khử nhiễu có chất lượng không ổn định.
Biến đổi wavelet kết hợp mạng nơ-ron cũng được sử dụng trong khử nhiễu
EOG. Một trong các công bố được kể đến là [25], nhóm nghiên cứu này đề xuất một
phương pháp gọi là Mạng nơ-ron wavelet (Wavelet neural network - WNN) cho
phép khử nhiễu trên đơn kênh tín hiệu điện não, theo thời gian thực và tự động. Tuy
nhiên, nhược điểm của phương pháp này là việc huấn luyện mạng nơ-ron vẫn phải
làm một cách thủ công, do đó cả quy trình không tự động hóa được.
Xuất phát từ việc tìm kiếm một phương pháp có thể giải quyết các hạn chế của các
phương pháp đã được công bố trước đây như đã trao đổi ở phần trên, luận án này đề
xuất một phương pháp mới gọi là Mạng học sâu tự mã hóa thưa wavelet (Deep
wavelet sparse autoencoder - DWSAE). DWSAE là một phương pháp khử tín hiệu
bất thường EOG có thể thực hiện đơn kênh, tự động theo thời gian thực và có thể tự
động huấn luyện, khắc phục được các hạn chế của các phương pháp kể trên trong đó
có WNN. Kết quả thực nghiệm cho thấy DWSAE cho kết quả khử nhiễu tốt, đáng
tin cậy so với các phương pháp được so sánh.
Phần tiếp theo của luận án sẽ trình bày cách thức thực hiện phương pháp Mạng
học sâu tự mã thưa wavelet DWSAE trong khử tín hiệu điện não bất thường sinh ra
do nháy mắt.
49
2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet
Việc triển khai DWSAE gồm hai pha là huấn luyện không giám sát và tự động
sửa tín hiệu sẽ được mô tả chi tiết ở phần bên dưới. Phương pháp mạng học sâu tự
mã hóa thưa wavelet DWSAE được đề xuất kế thừa tính chất của SAE và là một
phương pháp khử nhiễu tín hiệu điện não không giám sát.
Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE
SAE được áp dụng thành công trên nhiều lĩnh vực khác nhau trong nhận dạng
biểu cảm khuông mặt, dự đoán tương tác của protein, khử nhiễu ảnh… SAE cũng
được áp dụng trong một số công trình nghiên cứu đã được công bố để khử nhiễu tín
hiệu điện não. Ví dụ, trong công bố [35], SAE được sử dụng để khử EOG trên miền
thời gian. Phương pháp này sử dụng một hàm phản-chuẩn hóa (anti-standardization)
để ánh xạ đầu ra của SAE về một dải giá trị phù hợp với tín hiệu điện não được khử
nhiễu. Phương pháp DWSAE được đề xuất trong luận án này được thực hiện dựa
trên một cách tiếp cận khác với các phương pháp đã được báo cáo trước đây.
DWSAE sử dụng SAE trên miền thời gian tần số và không cần sử dụng hàm ánh xạ
hỗ trợ (assistant mapping function).
DWSAE gồm 5 thành phần chính là biến đổi wavelet, vector hóa (vectorization),
mạng học sâu tự mã hóa thưa, giải vector hóa (de-vectorization) và khôi phục
wavelet (Hình 17). Đầu vào của DWSAE là tín hiệu điện não chứa nhiễu EEGcont(t)
và đầu ra là tín hiệu điện não đã được “làm sạch” EEGcor(t). Để thực hiện việc khử
nhiễu, DWSAE được triển khai theo hai bước là huấn luyện không giám sát và “làm
sạch” tự động. Tín hiệu EEGcont(t) được biến đổi wavelet thành một tập các hệ số ở
50
các dải thời gian – tần số khác nhau. Các hệ số ở dải tần số thấp, vốn mang cả thông
tin về EOG và tín hiệu điện não sạch được lựa chọn và sắp xếp thành một vec-tơ.
Quá trình này được gọi là vector hóa. Vector này được sử dụng làm đầu vào của máy
học sâu tự mã hóa thưa. Máy mã hóa thưa này có khả năng sửa lỗi những hệ số này
trở thành những hệ số sạch, chỉ chứa thông tin về tín hiệu điện não. Đầu ra của máy
SAE sau đó được giải vector hóa và sử dụng để thay thế các hệ số wavelet chứa
nhiễu tương ứng ở tín hiệu ban đầu. Các hệ số wavelet đã được sửa lỗi cuối cùng
được sử dụng để tái tạo wavelet nhằm khôi phục lại tín hiệu điện não sạch.
Phần tiếp theo của Luận án sẽ giới thiệu các cấu phần tạo nên phương pháp
DWSAE mạng học sâu tự mã hóa thưa, thuật toán dò tìm EOG dựa trên biến đổi
wavelet Haar, huấn luyện và tự động sửa lỗi với mạng học sâu tự mã hóa thưa
wavelet và các độ đo để đánh giá kết quả.
2.1. Mạng học sâu tự mã hóa thưa
Máy tự mã hóa thưa (Sparse autoencoder - SAE) [36-37, 67] là một mạng nơ-
ron nhân tạo, có thể được huấn luyện không giám sát, gồm ba lớp: lớp đầu vào, lớp
ẩn và lớp đầu ra. Số lượng các nút trong lớp đầu vào và đầu ra là bằng nhau. Các nút
ở trong lớp ẩn còn được gọi là các mã thể hiện ẩn (hidden representation codes) cho
phép tái thể hiện dữ liệu dưới dạng các đặc trưng.
Hai thành phần để tạo nên một máy tự mã hóa thưa với một lớp ẩn là các mạng
mã hóa và giải mã. Trong mạng mã hóa (Hình 18), SAE chuyển đổi các giá trị vec-
tơ đầu vào 𝒙𝑖 thành các giá trị của vec-tơ thể hiện ẩn 𝒉𝑖 bằng phương trình chuyển
đổi sau:
𝒉𝑖 = 𝑓(𝑾(𝑒)𝒙𝑖 + 𝒃
(𝑒)) (14)
Trong đó, f , 𝒃(𝑒) và 𝑾(𝑒) lần lượt tương ứng với hàm kích hoạt phi tuyến,
vec-tơ bias mã hóa và ma trận trọng số mã hóa.
Trong mạng giải mã, SAE chuyển đổi các giá trị của vec-tơ thể hiện ẩn 𝒉𝑖 về
vec-tơ tín hiệu đầu ra �̂�𝒊 với phép biến đổi sau:
�̂�𝒊 = 𝑓(𝑾(𝑑)𝒉𝑖 + 𝒃
(𝑑)) (15)
51
Trong đó, 𝒃(𝑑) là vec-tơ bias giải mã và 𝑾(𝑑)là ma trận trọng số giải mã.
Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder
Bằng cách đặt đầu vào 𝒙𝑖 giống với đầu ra �̂�𝒊 một cách tốt nhất có thể, SAE
tìm cách học cấu trúc liên kết giữa các mẫu tín hiệu đầu vào. Hàm mất mát tổng sẽ
trở thành:
𝐸 sparse(𝑾,𝒃) =𝐸(𝑾,𝒃) + 𝛽∑ KL( 𝜌 ||�̂�𝑖)𝑠2
𝑗=1 (16)
Trong đó β kiểm soát trọng số của giá trị phạt của tính thưa. Đại lượng �̂�𝑗 (ngầm
hiểu) cũng phụ thuộc vào 𝑾,𝒃 bởi vì nó là giá trị kích hoạt trung bình của nút ẩn 𝐽,
và giá trị này phục thuộc bộ tham số 𝑾,𝒃. Số nút ẩn được biểu diễn bởi 𝑠2.
Trong phương trình (16), đại lượng đầu tiên 𝐸(𝑾,𝒃) chính là hàm mất mát khi
mạng tự mã hóa thưa cố ép để đầu ra giống với giá trị đầu vào trên toàn bộ số mẫu
được dùng trong huấn luyện, được định nghĩa như sau:
𝐸(𝑾, 𝒃) = [∑ (1
2‖ℎ𝑊,𝑏(𝑥𝑖) − �̂�𝒊‖
2)] +
𝛼
2∑∑∑(𝑊𝑖)
2 (17)
Trong đó, 𝛼 là hệ số suy giảm trọng số, thực hiện vai trò kiểm soát sự tác động
của trọng số và giảm overfitting (khi mô hình học quá tốt trên tập huấn luyện nhưng
lại không thực hiện được tốt nhiệm vụ trên tập thử nghiệm).
Đại lượng còn lại trong phương trình (16) là đại lượng phạt thưa (sparse penalty
term) được định nghĩa như sau:
𝑾(𝑑)
𝑾(𝑒)
𝒉𝑖
52
KL(𝜌||�̂�𝑗) = 𝜌𝑙𝑜𝑔𝜌
�̂�𝑗+ (1 − 𝜌)𝑙𝑜𝑔
1−𝜌
1−�̂�𝑗 (17a)
KL(𝜌||�̂�𝑗) là hội tụ Kullback-Leibler (KL) giữa một biến ngẫu nhiên Bernoulli
với giá trị trung bình 𝑝 và một biến ngẫu nhiên Bernoulli với giá trị trung bình �̂�𝑗 .
Hội tụ KL có giá trị càng bé thì �̂�𝑗 càng đạt giá trị gần với 𝜌.
𝜌 là giá trị kịch hoạt đích và �̂�𝑖 = 1
𝑛∑ ℎ𝑖
𝑗𝑛𝑗=1 là hàm kích hoạt trung bình của nút
ẩn thứ i. Mục tiêu của quá trình huấn luyện máy tự mã hóa thưa là giảm tối đa giá
trị của hàm mất mát tổng; đồng nghĩa với việc ép giá trị �̂�𝑖 về càng gần giá trị 𝜌 càng
tốt. Nếu giá trị 𝜌 ban đầu là rất bé (rất gần với 0) sẽ dẫn đến phần lớn các nút trong
lớp ẩn sẽ có giá trị rất nhỏ hay nói một cách khác là mạng như vậy có tính thưa.
Trong mạng học sâu tự mã hóa thưa kết hợp wavelet, máy học sâu tự mã hóa thưa
được dùng để học không giám sát các tính chất của tín hiệu điện não không chứa tín
hiệu bất thường EOG. Sau đó, khi được dùng trong pha khử tín hiệu điện não bất
thường do nháy mắt, mạng học sâu tự mã hóa thưa SAE sẽ tìm cách để sửa các giá
trị bất thường về giá trị tương đồng tín hiệu điện não thông thường.
Trong mạng DWSAE đề xuất trong khử EOG, hàm kích hoạt được sử dụng là
hàm sigmoid 𝑓(𝛼) = 1/(1 + 𝑒−𝛼) và phương pháp lan truyền ngược được sử dụng
để huấn luyện mạng tự mã hóa thưa. Trong một số trường hợp khác, có thể sử dụng
hàm kích hoạt là hàm ReLU. Hàm mất mát trong huấn luyện được tối ưu hóa với
thuật toán L-BFGS-B [38].
2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar
2.2.1. Biến đổi wavelet Haar
Biến đổi wavelet Haar là biến đổi wavelet trong đó hàm wavelet mẹ được sử dụng
là hàm Haar. Sóng wavelet Haar có hình dạng xung vuông và không liên tục, do đó
không khả vi. Wavelet Haar đặc biệt hữu ích khi sử dụng để phân tích tín hiệu với
các chuyển đổi giá trị đột ngột như là tín hiệu điện não chứa EOG. Hàm wavelet
Haar mẹ ψ(x) được định nghĩa bởi phương trình dưới đây:
53
ψ (x) =
{
1, 𝑛ế𝑢 𝑥 ∈ [0,1
2) ,
−1, 𝑛ế𝑢 𝑥 ∈ [1
2, 1)
0, 𝑡𝑟𝑜𝑛𝑔 𝑡𝑟ườ𝑛𝑔 ℎợ𝑝 𝑘ℎá𝑐
(18)
với hàm tỉ lệ Φ(x) được định nghĩa bởi công thức:
Φ(x) = {1, 𝑛ế𝑢 0 ≤ 𝑥 < 1,0, 𝑡𝑟𝑜𝑛𝑔 𝑡𝑟ườ𝑛𝑔 ℎợ𝑝 𝑘ℎá𝑐
(19)
2.2.2. Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar
Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG
Việc phát hiện và đếm được số lượng tín hiệu bất thường do nháy mắt EOG
trên một đoạn tín hiệu điện não có nhiều ý nghĩa và có thể được sử dụng trong việc
cải tiến các thuật toán khử EOG cũng như áp dụng để trong các hệ phân tích tín hiệu
điện não khác. Luận án này đề xuất một phương pháp mới dựa trên biến đổi wavelet
và xác định ngưỡng thích hợp để dò đếm nhiễu [65]. Trong phương pháp này, đoạn
Tín hiệu EEG có nhiễu
Phân đoạn tín hiệu
Đoạn tín hiệu ngắn Biến đổi wavelet bậc 4
Tái tạo wavelet Đoạn tín hiệu nhỏ hơn
Có
nhiễu?
LA > GA
* ∂ ? Lưu vị trí kết quả
Cập nhật tham số
khoảng cách trung
bình toàn cục
Đúng Đúng
sai sai
Chuyển
đoạn?
Đúng
Hiển thị tín hiệu đánh dấu EOG Kết thúc
sai
54
tín hiệu điện não đầu tiên được phân tích với biến đổi wavelet Haar bậc 4. Các hệ số
ở thành phần xấp xỉ (approximation) được sử dụng để tái tạo wavelet. Đầu ra của
việc sử dụng tái tạo wavelet này là tín hiệu wavelet Haar xấp xỉ tín hiệu ban đầu
chứa các đoạn tín hiệu được chia nhỏ. Nếu một đoạn tín hiệu chứa EOG, vị trí của
đoạn tín hiệu được lưu lại. Độ dài của các đoạn tín hiệu nhỏ này được lựa chọn dựa
trên giá trị của tần số lấy mẫu. Trong phạm vi của luận án này, các tập dữ liệu được
sử dụng đều có tần số lấy mẫu là 128 Hz, do đó việc lựa chọn độ dài của đoạn tín
hiệu là 1 giây dữ liệu. Việc lựa chọn này giúp cho việc thi triển biến đổi wavelet
một cách thuận lợi do có thể trả về kết quả là một tập các hệ số wavelet chẵn theo
lũy thừa của 2. Ví dụ số bậc biến đổi và tái tạo wavelet là 4 thì độ dài của đoạn tín
hiệu nhỏ có thể được lựa chọn trong khoảng 32 – 64 mẫu hay là tương đương 2 – 4
lần độ dài một cạnh hệ số Haar wavelet. Trong bước tiếp theo, các kỹ thuật phân
ngưỡng và trung bình hóa khoảng cách được sử dụng để nhận diện EOG xuất hiện
trong các đoạn tín hiệu này. Cuối cùng hệ số khoảng cách trung bình được cập nhật
để tiếp tục xử lý đoạn tiếp theo. Lưu đồ của thuật toán thể hiện ở Hình 19. Tham số
LA và GA lần lượt là giá trị trung bình độ dài cạnh trên đoạn ngắn và giá trị trung
bình độ dài cạnh toàn cục của hệ số biến đổi wavelet Haar.
Hình 20: Kết quả nhận diện EOG
Để kiểm chứng phương pháp dò EOG này, gần 481 đoạn tín hiệu chứa nhiễu
EOG đã được nhận diện và thu thập thủ công. Số lượng đoạn tín hiệu điện não sạch
là 687. Mỗi đoạn tín hiệu chứa EOG và tín hiệu sạch dài 1 giây, tương đương với
128 mẫu dữ liệu (128 data samples). Hình 20 thể hiện kết quả nhận diện tín hiệu bất
thường do nháy mắt EOG trên một đoạn tín hiệu.
55
Bảng 1. Kết quả nhận diện EOG
P N TP FN FP TN Độ nhạy Độ đặc hiệu Độ chính xác
481 687 420 18 61 626 0.87 0.91 0.89
Trong đó:
- Dương thật (True Positive – TP): Các tín hiệu EOG được thuật toán xác định
chính xác là EOG
- Dương giả (Fase Positive - FP): Tín hiệu điện não nhưng thuật toán xác định
là EOG
- Âm thật (True Negative - TN): Tín hiệu điện não được thuật toán xác định
chính là tín hiệu điện não
- Âm giả (False Negative – FN): EOG nhưng thuật toán xác định là tín hiệu
điện não
- Tổng số EOG (Conditional positive - P)
- Tổng số đoạn tín hiệu điện não sạch (Conditional negative - N)
Độ chính xác xác định trên tập dữ liệu EOG là
Accuracy = (TP+TN)/(P+N) x 100% = 89% (19a)
Sở dĩ độ chính xác khoảng 89% là do dữ liệu chưa được chuẩn hóa và việc
xác định EOG chỉ bằng mắt thường không có căn cứ về thời gian xuất hiện EOG.
Các kết quả xác định khi đối tượng chủ động nhắm mắt có thể đạt độ phát hiện chính
xác đến 100%.
2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG
Phần dưới đây sẽ trình bày chi tiết quy trình thực hiện phương pháp DWSAE.
2.3.1. Huấn luyện tự động
DWSAE được huấn luyện tự động với dữ liệu điện não sạch, không gán nhãn
ở trong pha này. Cụ thể, thuật toán dò tìm các đoạn tín hiệu chứa EOG được triển
khai. Các đoạn tín hiệu điện não không chứa EOG sau đó được thu thập. Mỗi đoạn
có độ dài tương đương 1 giây dữ liệu. Trong nghiên cứu này do tần số lấy mẫu là
128 Hz nên một đoạn gồm 128 mẫu tín hiệu. Mỗi đoạn tín hiệu sạch sau đó được
biến đổi wavelet thành tập các hệ số wavelet. Hàm wavelet cơ sở được lựa chọn trên
56
cơ sở chia sẻ nhiều đặc điểm với EOG nhất. Dựa trên việc triển khai thực tế, hàm
wavelet cơ sở từ họ wavelet Daubechies và Coiflet là những sự lựa chọn phù hợp.
Tương tự, số bậc biến phân rã wavelet được lựa chọn để đảm bảo hệ số ở trong các
giải thời gian – tần số phản ánh đúng tính chất của tín hiệu ban đầu và có thể được
khai thác một cách hiệu quả trong pha sau khi SAE được sử dụng để cân chỉnh giá
trị hệ số chứa nhiễu. Những hệ số ở dải tần số thấp sau đó được vec-tơ hóa ở bước
tiếp theo để tạo thành một vec-tơ gồm 16 thành phần trong đó có hệ số xấp xỉ (0-2
Hz) và các hệ số chi tiết tại bậc 6 (2- 4 Hz), 5 (4 – 8 Hz) và 4 (8 – 16 Hz). Việc lựa
chọn 16 thành phần này nhằm đảm bảo tất cả các thành phần tín hiệu chứa EOG trên
miền thời gian tần số đã được thu thập phục vụ việc khử EOG. Trong các trường
hợp khác, ví dụ nếu tần số lấy mẫu là 256 Hz, một giây dữ liệu chứa 256 mẫu và do
đó cần chọn bậc phân rã wavelet là bậc 7. Các hệ số chi tiết ở các giải tần bậc 7, 6,
5 và hệ số xấp xỉ được vec-tơ hóa. Việc lựa chọn số bậc phân rã tuân theo cách thức
vừa được trình bày ở trên. Quá trình vec-tơ hóa được lập lại cho toàn bộ các đoạn
tín hiệu điện não sạch nhằm tạo ra một tập dữ liệu huấn luyện.
Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa wavelet
Đối với nghiên cứu thuộc Luận án này, một mạng học sâu tự mã hóa thưa gồm
03 lớp ẩn được lựa chọn. Kết quả khử EOG cho thấy mạng SAE này có khả năng
khử EOG hiệu quả. Số lượng nút trong các lớp ẩn được lựa chọn để đảm bảo không
có quá nhiều nút so với số lượng nút ở lớp đầu vào và đầu ra vốn đã được xác định
trong quá trình biến đổi wavelet. Việc lựa chọn cấu hình mạng SAE như vậy đảm
bảo rằng mạng SAE không gồm một số lượng quá lớn các nút vốn dễ dẫn đến những
khó khăn trong tính toán và quá trình tối ưu hóa giá trị trọng số của mạng SAE. Mục
57
tiêu cuối cùng của quá trình huấn luyện tự động(Hình 21) là tạo ra một mạng học
sâu SAE có khả năng sửa lỗi hệ số wavelet chứa thông tin về EOG.
2.3.2. Tự động sửa lỗi tín hiệu
Tín hiệu điện não chứa nhiễu EEGcont(t) và tín hiệu điện não đã được “làm
sạch” EEGcor(t) là đầu vào và đầu ra của quá trình sửa lỗi tín hiệu điện não trong
phương pháp DWSAE.
Hình 22. Quy trình tự động khử EOG với DWSAE
Bước đầu tiên của quá trình tự động sửa lỗi là dò tìm EOG để nhận diện các
đoạn tín hiệu chứa nhiễu cần được làm sạch. Mỗi đoạn tín hiệu chứa nhiễu này có
độ dài 1 giây dữ liệu và EOG xuất hiện trong đoạn tín hiệu này. Đoạn tín hiệu này
tiếp tục được biến đổi wavelet để tạo ra một tập hệ số trên miền thời gian – tần số ở
các bậc khác nhau. Các hệ số ở bậc thấp được vec-tơ hóa thành một vec-tơ một
chiều, như đã được mô tả chi tiết ở mục 2.3.1. Đầu ra của quá trình huấn luyện không
giám sát ở trên là một mạng tự mã hóa thưa SAE đã được huấn luyện. Trong pha sửa
lỗi này, mạng SAE được sử dụng để thay đổi giá trị của các hệ số trong vec-tơ đầu
vào nhằm tạo ra một tập giá trị đầu ra mới không còn mang thông tin về các thành
phần nhiễu không mong muốn. Các hệ số được sửa lỗi sau đó được sử dụng để thay
thế các hệ số chứa nhiễu ban đầu trước khi SAE khử nhiễu. Quá trình đang bàn ở
đây được gọi là giải vec-tơ hóa hay Devectorization. Trong quá trình giải vec-tơ hóa,
thứ tự sắp xếp các hệ số wavelet giống hệt với thứ tự sắp xếp các hệ số trong quá
trình vec-tơ hóa. Các hệ số đã được cân chỉnh ở các dải tần thấp và các hệ số không
bị thay đổi ở các dải tần cao sau đó được sử dụng trong quá trình khôi phục wavelet
để tạo ra các đoạn tín hiệu điện não đã được khử EOG. Lưu đồ của quá trình này
58
được tổng quát hóa ở Hình 22. Trong pha sửa lỗi tín hiệu này, các thông số của mô
hình DWSAE và biến đổi wavelet đều được giữ nguyên giống như trong pha huấn
luyện.
2.4. Độ đo đánh giá kết quả
Để đánh giá kết quả ngoài việc hiển thị kết quả khử nhiễu của phương pháp
DWSAE so với các phương pháp khác như ICA (SOBI [39-40], Infomax [41] và
JADE [42]), wavelet thresholding và WNN trên miền thời gian, các chỉ số đánh giá
khác được sử dụng trên miền tần số là mật độ phổ công suất (Power Spectral Density
- PSD) và tương quan tần số (Frequency Correlation - FC).
PSD là một chỉ số phổ biến cho biết thông tin trên miền tần số của tín hiệu.
PSD có thể được tính toán dựa trên các phương pháp như Barlett, Welch, Blackman
hay Burg…
Việc tính toán và định lượng tương quan trên miền tần số của tín hiệu trước
và sau khi khử nhiễu tương đương với xác định tương quan trên miền thời gian trước
và sau quá trình lọc nhiễu. Độ đo tương quan tần số FC giữa hai tín hiệu 𝑥1 và 𝑥2
được tính bởi công thức sau:
𝐹𝐶 = 1
2∗
∑ (𝑥1∗𝑥2+𝑥2
∗𝑥1) 𝑤2𝑤1
√∑ 𝑥1𝑥1∗𝑤2
𝑤1∗∑ 𝑥2𝑥2
∗𝑤2𝑤1
(20)
Ở công thức trên, 𝑤1 và 𝑤2 là cận trên và cận dưới của vùng phổ công suất
được tính; FC là độ tương quan tại tần số có giá trị (𝑤1 + 𝑤2)/2. Nếu 𝑥1 và 𝑥2 có
giá trị bằng nhau, giá trị của FC là 1, trong các trường hợp khác, FC nhận giá trị từ
0 tới 1. Kích cỡ của cửa số (𝑤1 - 𝑤2) được chọn bằng 2 để tiện tính toán.
Chỉ số bình phương sai số trung bình (Mean square error - MSE) giữa tín hiệu
điện não được khử nhiễu và tín hiệu gốc được sử dụng để đánh giá hiệu quả của các
phương pháp khử nhiễu dựa trên wavelet. MSE được định nghĩa như sau:
𝑀𝑆𝐸 = 1
𝑁∑ (𝑥𝑖 − �̃�𝑖)
2𝑁𝑖=1 (21)
Trong đó 𝑥𝑖 và �̃�𝑖 là các giá trị mẫu dữ liệu điện não trước và sau khi khử
nhiễu. N là tổng số điểm dữ liệu trên đoạn tín hiệu điện não được khử nhiễu.
59
3. Kết quả
Phần này trình bày về kết quả thí nghiệm khi sử dụng phương pháp Mạng học
sâu tự mã hóa thưa wavelet DWSAE khử nhiễu trên ba tập dữ liệu là tập thực hiện
nhiệm vụ chú ý quan sát (tập dữ liệu 1), tập dữ liệu nhận dạng trạng thái suy nghĩ
(tập dữ liệu 2) và một tập dữ liệu mô phỏng tín hiệu điện não chứa tín hiệu điện não
bất thường EOG (tập dữ liệu 3).
3.1. Dữ liệu kiểm thử
Tập dữ liệu 1 - thực hiện nhiệm vụ chú ý quan sát: Tập dữ liệu này được thu bởi
một hệ thống thu tín hiệu điện não gồm 32 kênh với tần số lấy mẫu là 128 Hz trong
thời gian 238 giây. Đối tượng thực hiện một nhiệm vụ đòi hỏi phải chú ý đến việc
các hình tròn sẽ nháy sáng một cách ngẫu nhiên tại 1 trong 5 vị trí được hiển thị [20,
25]. Mặc dù đối tượng đã hạn chế di chuyển và nháy mắt, tín hiệu điện não thu được
trong tập dữ liệu vẫn bị ảnh hưởng khá mạnh bởi tín hiệu bất thường do nháy mắt
tại các kênh tín hiệu phía gần thùy trán như F3, Fz, F4… Tập dữ liệu này có thể được
tải về tại địa chỉ
https://sccn.ucsd.edu/~arno/fam2data/publicly_available_EEG_data.html (truy cập
lần cuối 3/5/2020).
Tập dữ liệu 2 - nhận dạng trạng thái suy nghĩ: Tín hiệu điện não được ghi lại trên
đối tượng là 12 sinh viên Đại học có tình trạng sức khỏe tốt. Tất cả đối tượng được
yêu cầu không uống đồ uống có cồn hay chất kích thích hoặc điều trị bằng thuốc
trong vòng 24 tiếng trước khi thực hiện phiên thí nghiệm. Ba tác vụ suy nghĩ được
đưa ra và yêu cầu các đối tượng thực hiện là Neutral (đưa não bộ về trạng thái không
suy nghĩ, thiền định), Light (nghĩ đến chuyện bật đèn sáng) và Paper (nhớ về nội
dung một bài báo khoa học đã đọc trước đó). Phòng thu tín hiệu là một phòng bá âm
để tránh cho các đối tượng bị ảnh hưởng bởi tiếng ồn hay điều kiện ánh sáng thay
đổi. Thiết bị đo là thiết bị Epoc+ của công ty Emotiv sản xuất. Thiết bị Epoc+ gồm
14 kênh và tần số lấy mẫu là 128 Hz. Đối tượng có 30 phút trước khi chính thức thu
tín hiệu để làm quen với thiết bị, điều kiện đo và được hướng dẫn về thiết kế thí
nghiệm cũng như cách thức thực hiện các tác vụ suy nghĩ này.
60
Tập dữ liệu 3 - mô phỏng tín hiệu điện não chứa nhiễu: Thuật toán dò đếm tín
hiệu bất thường do nháy mắt thực hiện nhiệm vụ trên tập dữ liệu 1 và tập hợp được
khoảng 6400 đoạn dữ liệu điện não không chữa tín hiệu điện não mạnh, tín hiệu bất
thường do nháy mắt EOG. Mỗi đoạn tín hiệu gồm 128 mẫu hoặc tương đương 1
giây dữ liệu. Các đoạn tín hiệu chứa giả tượng mắt được thu thập từ các đoạn tín
hiệu chứa nhiễu sẽ được cho qua bộ lọc thông thấp và trở thành các giả tượng mắt
EOG. Các giả tượng này sau đó được tổng hợp với các đoạn tín hiệu điện não sạch
bằng phép cộng tín hiệu. Việc lựa chọn vùng nào để cộng tín hiệu được thực hiện
một cách ngẫu nhiên để đảm bảo các đoạn tín hiệu điện não chứa nhiễu được mô
phỏng có tính chất giống với các đoạn tín hiệu nhiễu thực sự nhất.
3.2. Thiết kế thí nghiệm
Sáu phương pháp khử nhiễu được thực hiện trên ba tập dữ liệu cho mục đích đánh
giá hiệu quả trên các tập dữ liệu đã được chuẩn bị. Các phương pháp này gồm có
Infomax, JADE, SOBI, WNN, Wavelet thresholding và DWSAE. Bên cạnh việc
đánh giá trực quan kết quả khử nhiễu trên miền thời gian, giá trị mật độ phổ công
suất PSD và tương quan tần số FC giữa tín hiệu trước và sau khi khử nhiễu được sử
dụng để đánh giá sự tác động lên tín hiệu của các phương pháp này trên miền tần số.
Sai số trung bình bậc hai được tính toán giữa tín hiệu gốc và tín hiệu khử nhiễu cho
thấy hiệu quả của các phương pháp khử nhiễu đơn kênh dựa trên biến đổi wavelet là
WNN, Wavelet thresholding và DWSAE.Các phương pháp ICA gồm Infomax,
JADE và SOBI được thực hiện với phần mềm EEGLAB được công bố rộng rãi tại
địa chỉ https://sccn.ucsd.edu/eeglab/index.php (truy cập lần cuối 3/5/2020). Phương
pháp WNN được thực hiện như mô tả trong công bố [25]. Wavelet thresholding được
thực hiện theo hướng dẫn tại [43].
3.3. Kết quả thí nghiệm
3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát
Ba phương pháp ICA gồm Infomax, JADE và SOBI được thực hiện để khử nhiễu
trên toàn bộ tập dữ liệu này. Sau khi chạy trên tập dữ liệu, các phương pháp này sẽ
trả về một tập các thành phần độc lập (Independent component - IC). Một số IC bị
61
nhận diện trực quan là nguồn gây nhiễu sẽ bị loại bỏ và thay bằng các giá trị 0. Sau
đó tập IC mới sẽ được nhân với ma trận trộn để thu được tín hiệu điện não sạch. Các
IC bị nhận diện là nguồn nhiễu của tập dữ liệu này lần lượt là số 7, 2 của phương
pháp Infomax, 2, 15, 19, 20 của phương pháp JADE và 3, 10 , 12 của phương pháp
SOBI.
Khi thực hiện khử nhiễu với DWSAE, thuật toán dò đếm tín hiệu bất thường do
nháy mắt EOG được sử dụng để nhận diện các đoạn tín hiệu chứa tín hiệu bất thường
do nháy mắt EOG. Các đoạn tín hiệu điện não không chứa EOG sau đó được ghép
nối để tạo thành một chuỗi tín hiệu điện não dài 6400 giây. Đoạn tín hiệu điện não
này sau đấy được phân chia thành 6400 đoạn tín hiệu điện não, mỗi đoạn gồm 128
mẫu dữ liệu tương đương với 1 giây tín hiệu. Các đoạn tín hiệu này chính là đầu vào
để huấn luyện không giám sát máy học sâu tự mã hóa thưa. Trong quá trình huấn
luyện không giám sát này, mỗi đoạn dữ liệu gồm 128 mẫu dữ liệu, không chứa tín
hiệu bất thường do nháy mắt EOG được phân tích bởi biến đổi wavelet bậc 6 để thu
được các hệ số biến đổi wavelet tại các giải tần 0-2 Hz, 2-4 Hz, 4-8 Hz, 8-16 Hz, 16-
32 Hz, 32–64 Hz và 64–128 Hz. Các hệ số wavelet tại bốn giải tần thấp nhất (từ 0 –
16 Hz) được lựa chọn và sắp thành một vector gồm 16 giá trị thành phần (chứa lần
lượt (2, 2, 4, 8 hệ số từ các giải tần 0-2 Hz, 2-4 Hz, 4-8 Hz, 8-16 Hz). Tương ứng
với 6400 đoạn tín hiệu điện não là 6400 vector được tổng hợp và làm dữ liệu đầu
vào để huấn luyện không giám sát mạng học sâu tự mã hóa thưa (sparse autoencoder
- SAE). Bằng cách đặt các tham số và xây dựng mô hình thích hợp, máy SAE sẽ học
tính chất, cầu trúc và sự liên hệ giữa các mẫu dữ liệu này bằng cách đặt xấp xỉ đầu
ra bằng với đầu vào. Các hệ số suy giảm α, hệ số thưa ρ và hệ số phạt thưa β lần
lượt nhận giá trị 0.002, 0.03 và 0.0035 trong mô hình SAE do hiệu quả khử nhiễu
thực tế phương pháp DWSAE thể hiện. Máy SAE có cấu trúc 5 lớp 16-32-64-32-16
gồm 1 lớp đầu vào (16 nút), 1 lớp đầu ra (16 nút) và 03 lớp ẩn (gồm 32-64-32 nút).
Trong pha khử nhiễu, thuật toán dò tìm EOG được thực hiện để nhận diện vùng chứa
tín hiệu bất thường do nháy mắt EOG và sau đó DWSAE sẽ tiến hành khử nhiễu tự
động trên vùng dữ liệu đã được nhận diện này. Mỗi đoạn dữ liệu chứa nhiễu gồm
62
128 mẫu tín hiệu được phân tích wavelet 6 bậc trước tiên. Sau đó, hệ số tại bốn giải
tần thấp nhất được tập hợp vào vector 16x1 để cho chạy qua máy SAE. Kết quả tại
đầu ra của máy SAE là các hệ số đã được căn chỉnh để không chứa các thành phần
gây tín hiệu bất thường do nháy mắt EOG. Các hệ số được chỉnh sửa này sau đó
được sử dụng để thay thế các hệ số ban đầu, chứa nhiễu tại các giải tần wavelet tương
(a) (b)
(c) (d)
(e)
Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE,
(d)WNN và (e) Wavelet thresholding
63
ứng, và sau đó phục vụ việc tái cấu trúc wavelet. Kết quả cuối cùng của quá trình
khử nhiễu là tín hiệu sạch đã được khử tín hiệu bất thường do nháy mắt EOG.
Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu
Đối với phương pháp WNN, tín hiệu giả lập được tạo ra để huấn luyện mạng nơ-ron
nhân tạo (Artificial Neuranl Network - ANN) có cầu trúc 3-4-3 (3 nút đầu vào, 4 nút
ẩn và 3 nút đầu ra). Mạng ANN đã được huấn luyện sau đó được dùng để khử nhiễu
tín hiệu điện não như đã được mô tả chi tiết tại công bố [25]. Số bậc biến đổi wavelet,
hàm wavelet cơ sở và thuật toán huấn luyện wavelet lần lượt là là 6, Coiflet và lan
truyền ngược tối ưu hóa trọng số lớp đầu ra (Output weight optimization –
Backpropagation - OWO - BP).
Phương pháp Wavelet thresholding được thực hiện theo hướng dẫn tại công bố [43].
Hàm cơ sở wavelet và số bậc phân tích lần lượt là Daubechies và 6 bậc.
Hình 23 báo cáo kết quả một đoạn dữ liệu điện não từ Tập dữ liệu 1 trước và sau khi
được khử nhiễu bởi DWSAE và 5 phương pháp so sánh khác là Infomax, JADE,
SOBI, WNN, Wavelet thresholding. Kết quả khử EOG trên miền thời gian cho thấy
DWSAE đã loại bỏ hoàn toàn tín hiệu EOG, sửa tín hiệu có EOG về tín hiệu điện
não với các giá trị biên độ và tần số phù hợp với tính chất của tín hiệu sóng điện não
64
xung quanh. Ngoài ra, phương pháp DWSAE chỉ tập trung khử EOG mà không làm
ảnh hưởng đến phần tín hiệu không chứa nhiễu khác.
Hình 24 thể hiện chỉ số PSD của tín hiệu ban đầu và tín hiệu đã được khử nhiễu bởi
sáu phương pháp. Kết quả này cho thấy trong cả 06 phương pháp được triển khai,
wavelet thresholding tập trung làm giảm cường độ của tín hiệu trong vùng tần số
thấp nhiều nhất. Trong khi đó các phương pháp ICA có ảnh hưởng đến hầu hết các
vùng tần số của tín hiệu. DWSAE chỉ tập trung làm giảm mật độ phổ công suất trong
vùng tần số thấp, vùng xuất hiện EOG, nhưng không giảm nhiều như wavelet
(a) (b)
(c) (d)
(e) (f)
Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)
DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT
65
thresholding đã tác động. Hình 25 thể hiện chỉ số tương quan tần số của tín hiệu ban
đầu và tín hiệu đã được khử nhiễu bởi DWSAE và 05 phương pháp khác. Chỉ số FC
khẳng định lại quan sát đã rút ra từ thông tin trên biểu đồ PSD.
3.3.2. Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ
Phần này sẽ trình bày kết quả khử nhiễu sử dụng phương pháp đã đề xuất cũng
như so sánh với kết quả thu được bởi các phương pháp khác trên tập dữ liệu 2.
Phương pháp DWSAE được thử nghiệm để khử nhiễu tín hiệu điện não trên tập
dữ liệu 2. Năm phương pháp bao gồm 03 phương pháp dựa trên ICA là Infomax,
SOBI, JADE và 02 phương pháp dựa trên biến đổi wavelet là WT và WNN được
triển khai khử nhiễu để so sánh hiệu quả khử nhiễu. Đối với các phương pháp
Infomax, SOBI và JADE, các IC là nguồn nhiễu lần lượt là 1, 2, 3; 1, 2, 3, 4 và 1, 2
,3. WNN và WT được khai triển giống như đã trình bày ở phần trước. Mạng nơ-ron
nhân tạo ANN của WNN cũng không cần phải huấn luyện lại và có bộ trọng số, cấu
trúc giống như phần trước.
Hình 26 cho thấy kết quả khử nhiễu bởi sáu phương pháp trên một đoạn tín hiệu
điện não từ tập dữ liệu này. Đoạn tín hiệu được hiển thị sau khi được khử nhiễu bởi
DWSAE cho thấy hai đỉnh tín hiệu tương đương với hai tín hiệu bất thường EOG đã
được triệt tiêu. Trong khi đó vùng tín hiệu điện não bên ngoài không bị ảnh hưởng.
DWSAE chỉ tập trung khử nhiễu ở vùng xuất hiện EOG. Trong khi đó các phương
pháp ICA không chỉ khử vùng tín hiệu chứa EOG mà còn làm thay đổi giá trị tín
hiệu các vùng bên ngoài, vốn không bị ảnh hưởng bởi nhiễu. Hình 27 hiển thị chỉ số
PSD của tín hiệu điện não ban đầu và sau khi khử nhiễu. Kết quả này cho thấy
phương pháp WT triệt tiêu nhiều nhất năng lượng tại vùng tần số thấp dưới 10 Hz.
Phương pháp DWSAE làm thay đổi ít nhất năng lượng tần số trong cùng giải tần số
thấp này. Chỉ số tương quan tần số được thể hiện trên Hình 28 cho thấy rõ hơn quan
sát thu được dựa trên PSD.
66
(a) (b)
(c) (d)
(e)
Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c)
JADE, (d)WNN và (e) Wavelet thresholding
67
Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu
a b
c d
e f
Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE,
(b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT
68
3.3.3. Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu
Ba phương pháp dựa trên biến đổi wavelet gồm WNN, WT và DWSAE được
triển khai khử nhiễu trên một đoạn tín hiệu bán mô phỏng có độ dài 30 giây, chứa
tín hiệu bất thường do nháy mắt EOG (sở dĩ gọi là bán mô phỏng vì tín hiệu không
hoàn toàn được tạo ra từ mô hình máy tính). Mục đích là để kiểm chứng sự khác biệt
giữa tín hiệu điện não được khử nhiễu và đoạn tín hiệu gốc không chứa nhiễu. Sự
khác biệt này càng nhỏ sẽ phản ánh phương pháp có hiệu quả khử nhiễu càng cao.
a
b
c
Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi
(a) DWSAE, (b) WNN và (c) Wavelet thresholding
69
Hình 29 báo cáo kết quả trên một đoạn tín hiệu trước và sau khi khử nhiễu. Kết
quả trên này cho thấy các tín hiệu bất thường EOG đã được khử triệt để bởi DWSAE
trong khi đó, vùng tín hiệu mô phỏng sóng điện não ở xung quanh không bị ảnh
hưởng và vẫn giữ được các đặc tính của tín hiệu sóng não ban đầu. Bảng 2 cho thấy
giá trị MSE của tín hiệu trước và sau khử nhiễu bởi ba phương pháp.
Bảng 2. MSE của ba phương pháp dựa trên wavelet
Phương pháp MSE
WNN 422.73
WT 443.38
DWSAE 65.62
4. Thảo luận
Kết quả khử nhiễu trên hai tập dữ liệu thực và một tập dữ liệu tín hiệu điện
não với nhiễu bán mô phỏng cho thấy phương pháp được đề xuất DWSAE có khả
năng khử nhiễu hiệu quả trong khi đó tín hiệu điện não trong vùng xung quanh tín
hiệu bất thường do nháy mắt EOG không bị ảnh hưởng. Cụ thể, tại vùng xuất hiện
giả tượng EOG, tín hiệu điện não mạnh EOG được thay thế bởi tín hiệu điện não
thuần EEG với tính chất tương đồng so với vùng tín hiệu điện não xung quanh.
Phương pháp DWSAE khử nhiễu mạnh và ổn định khi được triển khai trên
các tập dữ liệu điện não và nhiều đoạn tín hiệu với các tính chất và hình dạng tín
hiệu bất thường do nháy mắt EOG khác nhau. Trên thực tế, DWSAE là một phương
pháp khử tín hiệu bất thường do nháy mắt EOG tự động có khả năng khử nhiễu trên
đơn kênh dữ liệu và theo thời gian thực. Khả năng này của DWSAE giống với của
Wavelet thresholding. Trong khi đó, các phương pháp ICA như SOBI, JADE và
Infomax là các phương pháp xử lý theo gói (batch algorithm) đòi hỏi phải được triển
khai trên toàn bộ tập dữ liệu. Các phương pháp ICA này đồng thời đòi hỏi phải quan
sát trực quan để nhận biết các thành phần độc lập là nguồn gây nhiễu. Đây chính là
điểm bất lợi lớn nhất của các phương pháp ICA so với các phương pháp dựa trên
biến đổi wavelet và làm cho các phương pháp ICA rất khó để tích hợp trong các hệ
thống phân tích, xử lý tín hiệu EEG theo thời gian thực.
70
So sánh trên miền tần số (đồ thị PSD) cho thấy các phương pháp dựa trên
wavelet như DWSAE, WNN và WT tập trung khử nhiễu tại vùng tần số thấp. Các
phương pháp này thường không tác động đến giá trị PSD tại các vùng tần số khác.
Trong khi đó các phương pháp ICA thay đổi hầu như toàn bộ giá trị PSD trên các
giải tần khác nhau, tuy sự thay đổi này thường khá nhẹ. Điều này có thể được lý giải
bởi các phương pháp dựa trên wavelet được triển khai trên miền thời gian – tần số
và thực tế, khi thực hiện các phương pháp này, các vùng tần số cụ thể của tín hiệu
đã được lựa chọn để tiến hành khử nhiễu. Trong khi đó, các phương pháp ICA được
triển khai trên miền thời gian do đó, không thể hạn chế được ảnh hưởng trên các giải
tần khác nhau của tín hiệu điện não, mặc dù các giải tần này không liên quan tới tín
hiệu bất thường do nháy mắt EOG. Điều này đồng nghĩa với việc trong khi khử
nhiễu, các tín hiệu điện não thực sự trong các vùng giải tần không xuất hiện EOG
cũng bị ảnh hưởng và thay đổi bởi các phương pháp ICA.
Chỉ số tương quan tần số FC cung cấp thông tin chi tiết hơn về ảnh hưởng của
các phương pháp này đối với các giải tần số cụ thể khi thực hiện việc khử nhiễu. Chỉ
số FC khẳng định chắc chắn hơn quan sát đã thấy với chỉ số PSD. Cụ thể, các phương
pháp SOBI, JADE, Infomax thay đổi tín hiệu ban đầu trên hầu như toàn bộ giải tần
tín hiệu điện não có ích (từ 0 – 50 Hz). Các phương pháp ICA này không chỉ tập
trung vào vùng tần số thấp như các phương pháp dựa trên biến đổi wavelet. DWSAE
tác động một chút đến các giá trị tần số cao, chứ không chỉ trên giải tần xuất hiện
giả tượng EOG. Lý do là phương pháp DWSAE được tích hợp thêm một thuật toán
dò đếm tín hiệu bất thường do nháy mắt EOG. DWSAE chỉ được triển khai trên các
vùng tín hiệu chứa EOG và sau đó kết quả khử nhiễu được ghép nối để thay thế vùng
tín hiệu ban đầu chứa nhiễu. Chính quá trình ghép nối này làm thay đổi tần số tại
vùng giải tần giả tượng EOG không xuất hiện. Hiện tượng này không xuất hiện đối
với kết quả khử nhiễu thực hiện bởi WNN và WT bởi vì các phương pháp này không
được tích hợp phần dò tìm vùng nhiễu và ghép nối tín hiệu như vậy.
Giữa ba phương pháp khử nhiễu dựa trên wavelet, DWSAE cho thấy khả năng
khử tín hiệu bất thường do nháy mắt EOG hiệu quả hơn hai phương pháp còn lại
71
với giá trị MSE của tín hiệu trước và sau khi khử nhiễu trên đoạn tín hiệu bán giả
lập chứa nhiễu thấp nhất (Bảng 2). Ngoài ra, DWSAE có lợi thế hơn so với WNN là
DWSAE sử dụng mạng học sâu tự mã hóa thưa, một phương pháp học tự động với
dữ liệu không cần nhãn, để làm máy khử nhiễu do đó cả phần huấn luyện và thực
hiện khử nhiễu của DWSAE đều có thể thực hiện tự động. DWSAE cũng không yêu
cầu một mô hình mô phỏng để tạo ra tín hiệu gán nhãn dùng cho huấn luyện WNN.
Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não
Phương pháp/ Đặc
tính
Chạy đơn
kênh
Tự động khử
nhiễu
Theo thời
gian thực
Khử nhiều
loại nhiễu
DWSAE Có Có Có Chưa khảo sát
WT Có Có Có Không
WNN Có Bán tự động Có Không
SOBI Không Không Không Có
Infomax Không Không Không Có
JADE Không Không Không Có
Bảng 3 tổng kết các đặc điểm của mỗi phương pháp được so sánh ở đây. Theo
đấy, phương pháp đề xuất DWSAE giống như 02 phương pháp dựa trên wavelet còn
lại đều có thể khử nhiễu đơn kênh tức là không cần chạy trên cả tập dữ liễu. Phương
pháp DWSAE và WT có thể khử nhiễu và tích hợp vào hệ thống chạy theo thời gian
thực được. Trong khi đó WNN cũng có thể khử nhiễu theo thời gian thực nhưng cần
phải được huấn luyện mô hình Mạng nơ-ron off-line. Cần nhấn mạnh là DWSAE đã
khắc phục được hạn chế này của WNN trong đó cả bước huấn luyện và bước khử
nhiễu đều có thể thực hiện tự động hoàn toàn. Trong khi đó tất cả các phương pháp
ICA đều không chạy đơn kênh, không tự động khử nhiễu mà cần có bước can thiệp
thủ công bằng cách quan sát, loại bỏ các thành phần IC có tính chất nhiễu, do đó các
phương pháp này không thể tích hợp vào các hệ thống theo thời gian thực. Ưu điểm
của các phương pháp ICA là kết quả khử nhiễu rất tốt và có khả năng khử nhiều loại
72
nhiễu khác nhau như nhiễu cơ, nhiễu tim… chứ không chỉ là khử tín hiệu bất thường
do nháy mắt EOG.
5. Kết luận Chương 2
Chương này của luận án đã trình bày một phương pháp mới trong khử nhiễu tín
hiệu điện não gọi là Mạng học sâu tự mã hóa thưa Wavelet (DWSAE). Kết quả khử
nhiễu bởi DWSAE được so sánh với các phương pháp khác như SOBI, JADE,
Infomax, WNN và Wavelet thresholding cho thấy đây là một phương pháp hiệu quả
trong khử tín hiệu bất thường do nháy mắt EOG. So với các phương pháp dựa trên
phân tích thành phần độc lập ICA, DWSAE có ưu điểm là có thể thực hiện tự động
trên đơn kênh dữ liệu. So với WNN, DWSAE không phải trải qua pha huấn luyện
off-line mà có thể được huấn luyện và sử dụng để khử nhiễu theo thời gian thực, tự
động. Điều này rất cần thiết khi tích hợp phương pháp khử nhiễu này trong các hệ
giao diện não máy tính BCI theo thời gian thực.
Khả năng khử EOG của DWSAE chứng tỏ máy học sâu tự mã hóa thưa đã tự tìm
được các đặc tính của tín hiệu điện não sạch qua đó cân chỉnh các giá trị bị ảnh
hưởng bởi EOG của tín hiệu điện não đầu vào cần làm sạch. Do là một phương pháp
học máy có thể tự động hóa quy trình huấn luyện, việc triển khai thành công DWSAE
cho thấy tiềm năng của việc một máy học có khả năng tự suy luận và giải quyết các
vấn đề chưa được đặt ra trong quá trình huấn luyện.
Tăng cường chất lượng tín hiệu điện não, như đã trình bày ở chương này, thường
được thực hiện trong bước tiền xử lý của mô hình phân loại tín hiệu điện não.
Chương 3 tiếp theo sẽ trình bày một cách tổng thể mô hình phân loại tín hiệu điện
não và đề xuất một số cách tiếp cận dựa trên các phương pháp học máy có giám sát.
73
CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU
ĐIỆN NÃO DỰA TRÊN HỌC MÁY
1. Đặt vấn đề
Giao diện não-máy tính (Brain computer interface - BCI) là một cách thức
truyền thông giữa não và các thiết bị bên ngoài. Giao diện não máy tính cho phép
chuyển tải thông điệp người sử dụng muốn chỉ thông qua tín hiệu đã được phân tích,
xử lý và “dịch” bởi hệ thống mà không cần bất kỳ can thiệp nào khác. Trong các
phương thức thu tín hiệu có thể được sử dụng để thực hiện Giao diện não – máy tính,
tín hiệu điện não là cách thức phổ biến nhất [7].
Có nhiều cách để thực hiện các Giao diện não – máy tính bao gồm sử dụng
đặc trưng P300 (xuất hiện khoảng 300 ms sau khi xuất hiện kích thích bất thường),
Xung phản ứng kích thích thị giác trạng thái ổn định SSVEP, nhịp vận động cảm
giác (sensorimotor), nhịp alpha và beta, đặc trưng N400, hình ảnh vận động (Motor
imagery)… Phân tích chi tiết và mô tả một số hệ giao diện não máy tính được đưa
ra ở Chương 4 của luận án này. Chương này tập trung phân tích nguyên lý chung
của hệ BCI dựa trên phân loại trạng thái suy nghĩ từ đó đề xuất ra một số mô hình
phân loại trạng thái suy nghĩ tín hiệu điện não làm cơ sở để phát triển các hệ giao
diện não máy tính.
Những hệ BCI như vậy được phát triển dựa trên việc yêu cầu người sử dụng
tưởng tượng về các trạng thái, tác vụ suy nghĩ khác nhau. Ví dụ, Chiappa, S., 2006
[44] phát triển một phương pháp dựa trên phân tích thành phần độc lập để phân loại
tín hiệu điện não cho tập dữ liệu được thu khi yêu cầu đối tượng thực hiện ba loại
tác vụ suy nghĩ gồm tưởng tượng liên tục việc cử động tay trái, tưởng tượng liên tục
việc cử động tay phải và tưởng tượng việc tạo ra một từ với chữ cái bất kỳ được chọn
ngẫu nhiên. Kết quả tốt nhất đạt được trong việc phân loại 3 tác vụ này là 77,3%.
Nhiệm vụ của khối xử lý tín hiệu của những hệ BCI như vậy là phân loại các trạng
thái suy nghĩ, chuyển thành các mệnh lệnh tương tác, điều khiển.
Trong một thiết kế thí nghiệm và tập dữ liệu khác [45], đối tượng được yêu
cầu thực hiện hai tác vụ suy nghĩ bao gồm tác vụ cơ sở và tưởng tượng thực hiện
74
phép nhân. Kết quả phân loại cao nhất đạt được khoảng 96.5% với một mô hình
mạng nơ-ron nhân tạo được huấn luyện với các đặc trưng trích chọn bởi mô hình tự
hồi quy đa biến.
Về cơ bản, mỗi hệ BCI phân loại trạng thái suy nghĩ (và một số hệ BCI có
mục đích tương tự) đều cần tích hợp một khối xử lý tín hiệu có nhiệm vụ phân loại
tín hiệu điện não sau đó chuyển kết quả phân loại này thành các mệnh lệnh điều
khiển hay tương tác thiết bị tương ứng. Khối xử lý tín hiệu hay bộ phân loại tín hiệu
thường gồm các module sau:
- Module tiền xử lý: nhiễu hoặc các thành phần tín hiệu bất thường tác động
lên tín hiệu điện não được loại bỏ. Mục tiêu để tạo ra nguồn tín hiệu đầu vào
có chất lượng tốt nhất, loại bỏ các thông tin không cần thiết gây ảnh hưởng
đến hiệu quả của hệ thống phân loại tín hiệu, cho các bước xử lý tín hiệu tiếp
theo.
- Module trích chọn đặc trưng: tín hiệu “sạch” sau khi được tiền xử lý sẽ được
chuyển đổi từ miền thời gian sang các miền không gian khác như miền tần số
hay thời gian tần số. Như vậy, tín hiệu ban đầu sẽ được thể hiện một cách
khác đi và qua đó thể hiện các thông tin có giá trị thường khó khai thác nếu
giữ nguyên định dạng ban đầu. Các thông tin này được gọi là các đặc trưng
sẽ được lựa chọn để sao cho chỉ có các đặc trưng cần thiết nhất mới được lựa
chọn với cách tiếp cận sao cho phản ánh được các thông tin cần thiết nhất của
tín hiệu điện não ban đầu nhưng với số chiều thông tin tối thiểu.
- Module phân loại tín hiệu: các mô hình phân loại cho phép phân tín hiệu
thành các nhóm tương ứng với ý định hay tính chất của nhóm tín hiệu đó.
Luận án này tiếp cận phát triển các mô hình phân loại dựa trên học máy có
giám sát.
Việc thu nhận tín hiệu là bước đầu tiên trong toàn bộ hệ thống BCI. Để hệ
thống có thể hoạt động một cách hiệu quả thì bước thu nhận dữ liệu cần phải được
tiến hành một cách cẩn thận theo một qui trình đồng nhất. Hiện nay, rất nhiều nghiên
cứu trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí. Tuy nhiên cách
75
tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào cũng phù
hợp với mục tiêu của nghiên cứu. Một số nghiên cứu khác có chủ động tiến hành thu
nhận và sử dụng dữ liệu thu được. Những nghiên cứu này sử dụng các qui trình thu
nhận dữ liệu khác nhau, tuy nhiên phần lớn trong số đó đều khá phức tạp.
Sau khi tham khảo các nghiên cứu và học liệu nước ngoài, cùng với việc dựa
vào đặc thù điều kiện phần cứng và yêu cầu của nhiệm vụ nghiên cứu, giải quyết các
vấn đề đã đặt ra với hệ BCI được phát triển ở các nghiên cứu trước đây, nghiên cứu
trong khuôn khổ luận án này tập trung phát triển một qui trình thu nhận dữ liệu, thiết
kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI dựa trên phân loại tín
hiệu điện não. Sử dụng tập dữ liệu này, Luận án tập trung đề xuất 03 mô hình phân
loại tín hiệu điện não dựa trên các phương pháp học máy có giám sát: phương pháp
máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối, phương pháp mạng
nơ-ron nhân tạo kết hợp phân tích thành phần chính và phương pháp học sâu với đặc
trưng lựa chọn bởi phân ngưỡng SURE. Phần tiếp theo sẽ trình bày thiết kế thí
nghiệm, mô tả các phương pháp được đề xuất, kết quả thí nghiệm để kiểm chứng
các phương pháp này, sau đó đưa ra thảo luận, đánh giá về kết quả thu được.
2. Cơ sở dữ liệu thử nghiệm
2.1. Cơ sở dữ liệu đã có
Tập EID-M [46]: Tập dữ liệu này được thu trên 8 đối tượng (5 nam, 3 nữ)
tuổi từ 24-28. Trong khi thực hiện thí nghiệm, đối tượng được yêu cầu đưa não bộ
về trạng thái thả lỏng, nhắm mắt. Thiết bị thu là Emotiv Epoc+ có 14 kênh và tần số
lấy mẫu là 128 Hz. Mỗi đối tượng thực hiện ba phiên đo và mỗi phiên đo tạo ra 7.000
mẫu tín hiệu điện não (tương đương 54,8 giây). Tổng số mẫu của tập EID-M gồm
168.000 mẫu tín hiệu điện não.
Link truy cập:
https://drive.google.com/drive/folders/1t6tL434ZOESb06ZvA4Bw1p9chzxzbRbj
(truy cập lần cuối 09/07/2020)
Tập Mind Wandering [47]: Tập dữ liệu này được thu trên hai đối tượng là
phụ nữ (S1 25 tuổi, S2 31 tuổi). Hai đối tượng này đều tự nguyện tham gia thí nghiệm
76
và đã ký giấy xác nhận đồng ý. Cả hai đối tượng đều có thị lực bình thường hoặc đã
chữa mắt để có thị lực bình thường. Hai đối tượng đều thuận tay phải và không có
vấn đề về tâm lý hay các bệnh lý thần kinh. Hai đối tượng không nhận tiền cho việc
tham gia thí nghiệm này. Thiết kế thí nghiệm được thông qua bởi hội đồng y đức
của cơ sở nghiên cứu (CPP 2010-A00744-35). Cả hai đối tượng đã có thời gian luyện
tập các nhiệm vụ suy nghĩ trước đó và đều tập thiền.
Trong khi thực hiện thí nghiệm, đối tượng ngồi trước mặt một màn hình máy
tính (cách 60 cm) trong một phòng có ánh sáng yếu. Hướng dẫn thí nghiệm được
trình chiếu trên màn hình trước mỗi phiên thu tín hiệu. Nhiệm vụ của đối tượng là
đếm ngược từ 10 tới 1 dựa trên nhịp thở của mình. Khi đã đếm hết đến 1, đối tượng
được yêu cầu quay lại đếm ngược từ 10. Đối tượng được yêu cầu thông báo lại bất
kỳ trường hợp nào bị mất tập trung và không nhớ đã đếm đến số nào bằng cách bấm
vào chuột trái ( con chuột máy tính). Ngay sau khi nhận được tín hiệu bấm chuột,
một bảng câu hỏi về hiện tượng (dài khoảng 1 trang màn hình) sẽ xuất hiện. Bảng
câu hỏi, thường mất khoảng 30 giây để hoàn thành, sẽ đánh giá đặc điểm của tình
trạng “lạc suy nghĩ” (mind wandering).
Tín hiệu điện não được thu bởi một hệ thống Biosemi Active Two gồm 64
kênh. Trong khi thực hiện việc đếm ngược hơi thở, đối tượng sẽ bị gây nhiễu bởi âm
thanh. Hai đối tượng đã được hướng dẫn trước khi vào thí nghiệm nếu nghe thấy các
âm thanh này thì cần bỏ qua và tiếp tục tập trung vào nhiệm vụ đếm ngược. Mỗi
phiên thu tín hiệu dài 20 phút (không bao gồm thời gian điền câu hỏi). Mười phiên
thu tín hiệu với nhiệm vụ đếm ngược được thực hiện cho mỗi đối tượng.
Link truy cập: https://drive.google.com/drive/folders/0B0LQHOLfcq-
hMFlhOEFKUXFPTkE (truy cập lần cuối 09/07/2020)
Tập BCI-V [29]: Tập dữ liệu BCI-V thu tín hiệu điện não trên ba đối tượng
có tình trạng sức khỏe bình thường trong bốn phiên. Đối tượng ngồi trên một ghế
tựa, với tay trong trạng thái thoải mái đặt trên đùi. Đối tượng được yêu cầu thực hiện
ba tác vụ suy nghĩ: tưởng tượng việc lập đi lập lại việc tự chuyển động tay trái, tưởng
tượng việc lập đi lập lại việc tự chuyển động tay phải và tưởng tượng việc tạo ra một
77
từ bắt đầu bởi một chữ cái ngẫu nhiên. Cả bốn phiên thu tín hiệu trên một đối tượng
đều được thực hiện trong cùng một ngày. Mỗi phiên kéo dài 4 phút và có 5-10 phút
nghỉ giữa mỗi phiên. Khi bắt đầu thu tín hiệu, đối tượng được yêu cầu thực hiện một
trong ba tác vụ trong vòng khoảng 15 giây sau đó sẽ được ra tín hiệu để chuyển sang
một tác vụ khác. Điều này có nghĩa là trong quá trình thu tín hiệu của một phiên, lúc
nào đối tượng cũng thực hiện các tác vụ đã cho.
Thiết bị thu được sử dụng là hệ thống Biosemi với 32 điện cực, tần số lấy mẫu
là 512 Hz. Tín hiệu được giữ nguyên và không sử dụng các phương pháp loại bỏ
nhiễu hay cân chỉnh tín hiệu.
Link truy cập: http://www.bbci.de/competition/iii/desc_V.html (truy cập lần
cuối 09/07/2020)
2.2. Cơ sở dữ liệu của luận án
Sau khi xác định được các đặc trưng được dùng trong hệ thống BCI, một thiết
kế thí nghiệm phù hợp đã được đề xuất và triển khai. Cụ thể hơn, khi tiến hành thí
nghiệm để thu thập dữ liệu cho tập huấn luyện, đối tượng thí nghiệm và môi trường
thí nghiệm được lựa chọn như sau:
- Đối tượng thí nghiệm: là người trưởng thành trong tình trạng sức khỏe bình thường,
không bị ảnh hưởng bởi cồn hoặc các chất kích thích thần kinh, trong độ tuổi từ 22-
35. Hai đối tượng được yêu cầu cắt tóc ngắn để tăng cường khả năng tiếp xúc của
các điện cực. Các đối tượng đều tự nguyện tham gia thí nghiệm.
- Môi trường thí nghiệm: Phòng thí nghiệm khép kín ở điều kiện nhiệt độ bình thường
~26 độ C. Điều kiện ánh sáng bình thường, được giữ ổn định trong quá trình thu tín
hiệu. Không gian thu tín hiệu được giữ không làm ồn để tránh làm mất tập trung đối
tượng thu tín hiệu.
Mô tả thí nghiệm:
- Thí nghiệm 1 – N (Neutral): Đo tín hiệu EEG khi đối tượng ở trạng thái thư giãn,
không suy nghĩ tập trung. Thông thường đối tượng cố gắng đưa về trạng thái thiền,
78
cố không suy nghĩ đến vấn đề gì, thở chậm, đều; trong một số trường hợp đối tượng
sẽ nhắm mắt để dễ thực hiện tác vụ này hơn.
- Thí nghiệm 2 – L (Light): Đo tín hiệu EEG khi đối tượng đang suy nghĩ hình dung
về việc bật sáng đèn. Ví dụ đối tượng sẽ hình dung tới hành động bật đèn theo các
bước trình tự như sau: Nghĩ đến công tắc đèn → Nghĩ đến việc đứng dậy → Nghĩ
đến việc đi tới chỗ công tắc → Nghĩ tới việc bật công tắc → Nghĩ tới bóng đèn sáng
lên.
- Thí nghiệm 3 – P (Paper): Đo tín hiệu EEG khi đối tượng đang tập trung đọc một
bài báo khoa học. Ở thí nghiệm này, một bài báo khoa học bằng tiếng Anh, có hàm
lượng khoa học cao và nội dung rất phức tạp lấy từ tạp chí SCIENCE được sử dụng.
Đối tượng cố gắng tập trung để hiểu được nội dung của bài báo. Trước mỗi lần thu
tín hiệu, đối tượng được giành khoảng 5-10 phút để học thuộc lòng 2 câu bất kỳ
trong bài báo, tương đương khoảng 10-15 từ. Sau đó, trong quá trình đo, đối tượng
sẽ tập trung nhớ lại nội dung đã đọc trong bài báo. Với mức độ phức tạp của bài báo,
sau khi bắt đầu tiến hành mỗi phiên thu tín hiệu, đối tượng cần nghỉ ngơi trong
khoảng 5 phút.
Qui trình thí nghiệm như sau: Tiến hành 3 loại thí nghiệm. Đối với mỗi đối tượng,
mỗi thí nghiệm tiến hành 3 lần. Thời gian mỗi lần lấy mẫu là 90 giây và nghỉ 2-3
phút trước khi tiếp tục lấy mẫu. Sau 3 lần lấy mẫu liên tiếp thì đối tượng được nghỉ
dài hơn 10 phút. Sau mười phút nghỉ, đối tượng được yêu cầu chuyển sang thực hiện
tác vụ khác. Thiết bị thu là Emotiv Epoc+ có 14 đầu thu tín hiệu, tần số lấy mẫu là
128 Hz.
Ba thí nghiệm được thiết kế như trình bày ở trên đây có cách thức tương đồng
với các tập dữ liệu đã trình bày ở mục 3.1 tại các công bố [29, 46-47] ở khía cạnh
đều yêu cầu đối tượng phải thực hiện một số tác vụ suy nghĩ nhất định. Thiết kế thí
nghiệm này không yêu cầu phải có thiết bị hỗ trợ như trong trường hợp các bộ dữ
liệu sử dụng P300, SSVEP, ERD (đều yêu cầu phải có màn hình thể hiện thông tin
để kích thích sản sinh các đặc trưng tín hiệu điện não này). Số lượng các đối tượng
79
tham gia thí nghiệm trong nghiên cứu trình bày ở luận án này cũng đảm bảo nếu kể
đến trong một số trường hợp như tại tập dữ liệu kể trên có chỉ 2 đối tượng tham gia
thu tín hiệu. Các điều kiện thu tín hiệu cũng đảm bảo để có thể thu được tín hiệu có
chất lượng đáng tin cậy. Ngoài ra, việc thiết kế ba thí nghiệm như kể trên dựa trên
giả thiết đối tượng sẽ tăng dần mức độ tập trung khi chuyển trạng thái từ N L
P. trong đó N là trạng thái không suy nghĩ, sẽ đưa tín hiệu về trong giải tần alpha, L
sẽ có xu hướng đưa tín hiệu chứa nhiều dải tần alpha và P chứa các tín hiệu có dải
tần gamma.
3. Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên
học máy
Tín hiệu điện não có tính chất không dừng, với các đặc tính có thể thay đổi từ
người này sang người khác, từ lần đo này sang lần đo khác đối với cùng một thiết
kế thí nghiệm thu tín hiệu. Việc sử dụng các phương pháp dựa trên quy luật (rule-
based) hay thống kê thường khó đem lại kết quả tốt trong xử lý, phân tích tín hiệu
điện não. Do đó, việc sử dụng các phương pháp học máy, vốn được “dạy” để tự tìm
ra các đặc tính, mối liên hệ của dữ liệu để suy diễn, thực hiện các nhiệm vụ phân
tích, xử lý tín hiệu là cách tiếp cận phù hợp. Những phương pháp phân loại tín hiệu
điện não được đề xuất ở phần tiếp theo dựa trên máy vec-tơ hỗ trợ, mạng nơ-ron
nhân tạo hay mạng học sâu chứng tỏ học máy có giám sát có hiệu quả nếu được ứng
dụng trong lĩnh vực này cũng như có tiềm năng có thể triển khai trong các ứng dụng
thực tế.
3.1. Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet
tương đối
Kĩ thuật năng lượng wavelet tương đối (relative wavelet engery - RWE) để
xử lí tín hiệu kết hợp với thuật toán phân loại SVM (Hình 30) đã được phát triển
trong khuôn khổ nghiên cứu của luận án này [48]. Hệ thống này được thử nghiệm
cho bài toán phân lớp với ba lớp dữ liệu.
80
Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM
Như đã trình bày ở trên, nhìn chung một hệ thống phân loại với đầu vào là tín
hiệu điện não EEG thường qua ba bước là tiền xử lý, trích chọn đặc trưng và phân
loại. Bước tiền xử lí nhằm mục đích loại bỏ các nhiễu và tín hiệu giả tượng (artifact)
không mong muốn để tăng cường chất lượng thông tin của tín hiệu ở đầu vào hệ
thống. Trong phương pháp này, kĩ thuật phân tích thành phần độc lập được sử dụng
trong tiền xử lí tín hiệu.
Kĩ thuật ICA được Herault và Jutten đề xuất vào năm 1986. Đây là một kĩ
thuật tách nguồn mù rất nổi tiếng và được áp dụng nhiều trong xử lí nhiễu ở tín hiệu
Tín hiệu EEG
Khử nhiễu với ICA
Trích chọn đặc trưng với năng
lượng wavelet tương đối
Phân loại tín hiệu với SVM
Trạng thái suy nghĩ
Trích xuất đoạn dữ liệu dài
90 s
Biến đổi wavelet
81
điện não. Kĩ thuật ICA được sử dụng dùng thuật toán tối đa thông tin (information
maximization - Infomax) và cho kết quả rất tốt khi lọc được hầu hết các tín hiệu bất
thường do nháy mắt và các gai nhiễu khác, giúp cho tín hiệu đầu vào sạch hơn và
tăng hiệu năng chung cho hệ thống.
Ở bước trích chọn đặc trưng, kĩ thuật năng lượng wavelet tương đối RWE để
trích chọn các đặc trưng phù hợp với hệ thống được sử dụng với hàm wavelet phân
tích Db4 thuộc họ wavelet Daubechies. Hàm Db4 được lựa chọn bởi hàm này có khả
năng phát hiện rất tốt các thay đổi trong tín hiệu EEG. Nhiều thí nghiệm được tiến
hành và thu được kết quả tối ưu với 6 mức phân rã wavelet.
Như đã trình bày ở trên, thuật toán máy vec-tơ hỗ trợ SVM được sử dụng cho
bước phân loại tín hiệu. Kết quả thu được khi kết hợp các đặc trưng của RWE với
SVM là rất tốt cho cả bài toán phân loại hai lớp lẫn bài toán phân loại ba lớp, kể cả
khi so sánh với một số thuật toán phân loại tiên tiến như ANN và LDA.
3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu
điện não
Giá trị năng lượng wavelet tương đối - relative wavelet energy RWE [49]
cũng là một loại đặc trưng được sử dụng nhiều trong các hệ thống phân loại tín hiệu
điện não. Để thu được đặc trưng này cần sử dụng biến đổi wavelet để phân tích tín
hiệu EEG. Khác với phép biến đổi Fourier vốn bị hạn chế bởi nguyên lý bất định
Heisengber cho các thành phần tần số cao và tần số thấp, biến đổi wavelet cho thấy
mối liên hệ giữa miền thời gian và miền tần số một cách toàn diện hơn.
Bước đầu tiên của biến đổi wavelet là lựa chọn số mức phân rã tín hiệu và lựa
chọn hàm wavelet phân tích phù hợp. Nếu số mức phân rã được chọn là N thì ta sẽ
thu được (N+1) băng tần. Năng lượng ở mức phân rã 𝑗 là tổng năng lượng của tất cả
các hệ số 𝑐𝑗,𝑘 tại mức phân rã đó. Cho 𝑎𝑘 được định nghĩa là hệ số ở băng tần con
N+1. Như vậy có thể tính được năng lượng tại mỗi băng tần con với công thức sau:
𝑊𝑗 = ∑ |𝑐𝑗,𝑘|2
𝑘 𝑗 = 1,… ,𝑁 (22)
𝑊𝑁+1 = ∑ |𝑎𝑘|2
𝑘 (23)
82
Tổng năng lượng của tín hiệu ở tất cả các băng tần con được cho bởi công thức:
𝑊 = ∑ 𝑊𝑗𝑁+1𝑗=1 (24)
Như vậy giá trị relative wavelet energy (RWE) ở băng tần con 𝑗 được tính như
sau:
𝑟𝑗 =𝑊𝑗
𝑊 𝑗 = 1,… , 𝑁 + 1 (25)
Từ đó có thể tự suy ra rằng tổng của 𝑟𝑖 bằng 1.
3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não
Hình 31. Siêu phẳng phân cách bởi SVM
(Các điểm được khoanh tròn là các vectơ hỗ trợ)
Máy Vectơ hỗ trợ (Support vector machine - SVM) là một phương pháp học có
giám sát được tạo ra bởi Vapnik, 1998 [50] vào những năm 1960 và đến này vẫn
được ứng dụng rộng rãi trên các chủ đề khác nhau [51-52]. Ý tưởng cơ bản của SVM
chính là tạo ra một hoặc nhiều siêu phẳng trong không gian phục vụ bài toán hồi quy
hoặc phân loại. SVM được chia thành hai loại: tuyến tính và phi tuyến. Để hiểu rõ
phương pháp SVM được triển khai như thế nào, luận án này sẽ phát biểu bài toán sử
dụng SVM trong phân loại hai lớp. Giả sử tập dữ liệu huấn luyện được gán nhãn
như sau {𝑥𝑖 , 𝑦𝑖}, 𝑖 = 1,… , 𝑙; 𝑦𝑖 ∈ {1,−1} và 𝑥𝑖 ∈ 𝑅𝑑. Tiếp tục giả sử tồn tại một
siêu phẳng có khả năng phân biệt các mẫu có giá trị âm và các mẫu có giá trị dương.
Điểm x nằm ở trên siêu phẳng đó thỏa mãn phương trình 𝑤𝑥 + 𝑏 = 0 được gọi là
các vec-tơ hỗ trợ, cũng đồng thời là các điểm thuộc tập dữ liệu có khoảng cách đến
H
𝑯𝟏 𝑯𝟐
𝒙𝒔𝒗
𝒙𝒔𝒗
𝒙𝒔𝒗
Giá trị biên
𝒚𝒊= +𝟏
𝒚𝒊= −𝟏
83
siêu phẳng gần nhất. w là vec-tơ pháp tuyến của siêu phẳng và |𝑏|/||𝑤|| là khoảng
cách trực giao từ siêu phẳng tới điểm x. Tập các vec-tơ hỗ trợ luôn được giảm thiểu
nhỏ nhất có thể để đảm bảo việc ước lượng không quá phức tạp [53].
Nếu định nghĩa biên (margin) là tổng khoảng cách từ các vectơ hỗ trợ có khoảng
cách gần nhất, các máy vectơ hỗ trợ tuyến tính có nhiệm vụ tìm ra một siêu phẳng
có khả năng phân cách dữ liệu đầu vào để biên đạt giá trị cao nhất (Hình 31). Việc
này tương ứng với giải phương trình ràng buộc sau:
𝑤𝑥𝑖 + 𝑏 > +1 𝑛ế𝑢 𝑦𝑖 = +1
𝑤𝑥𝑖 + 𝑏 < −1 𝑛ế𝑢 𝑦𝑖 = −1
Đối với mỗi vectơ hỗ trợ 𝑥𝑠𝑣, khoảng cách giữa 𝑥𝑠𝑣 với siêu phẳng là 𝑟 =
𝑦𝑠(𝒘𝒙𝒔𝒗+𝑏)
||𝒘|| và khi đó biên có giá trị
2
||𝒘||. Bài toán bây giờ có thể được phát biểu thành
việc giải một phương trình tối ưu hóa bậc hai như sau:
Tìm w và b để 2
||𝒘|| đạt giá trị lớn nhất và đối với mọi {𝑥𝑖 , 𝑦𝑖}, 𝑖 = 1,… , 𝑙:
𝑦𝑖(𝒘𝑇𝒙𝒊 + 𝑏) ≥ 1.
Phương trình trên có thể được phát biểu lại như sau:
Tìm w và b để 𝜽(𝒘) = ||𝒘||2 = 𝒘𝑇𝒘 đạt giá trị nhỏ nhất đối với mọi
(𝑥𝑖 , 𝑦𝑖), 𝑖 = 1,… , 𝑛: 𝑦𝑖(𝒘𝑇𝒙𝒊 + 𝑏) ≥ 1.
Bài toán này có thể được tổng quát hóa như là một bài toán kép trong đó mỗi
toán tử Lagrange 𝛼𝑖 được gắn với một bất đẳng thức ràng buộc trong bài toán sau:
Tìm 𝛼1 … 𝛼𝑛 để (𝜶) = ∑𝛼𝑖 −1
2∑∑𝛼𝑖 𝛼𝑗𝑦𝑖𝑦𝑗𝒙𝑖
𝑇𝒙𝑗 đạt giá trị lớn nhất với
điều kiện ∑𝛼𝑖𝑦𝑖 = 0 và 𝛼𝑖 ≥ 0 với mọi 𝛼𝑖.
Khi đó nếu tồn tại một tập giá trị 𝛼1 … 𝛼𝑛 thỏa mãn bài toán kép ở trên, lời
giải cho bài toán cơ bản là 𝑤 = ∑𝛼𝑖𝑦𝑖𝒙𝑖 và 𝑏 = 𝑦𝑘 − ∑𝛼𝑖𝑦𝑖𝒙𝑖𝑇𝒙𝑘 với mọi 𝛼𝑖 ≥
0. Mỗi giá trị khác không 𝛼𝑖 thể hiện 𝒙𝑖 chính là giá trị vectơ hỗ trợ tương ứng.
Hàm phân loại có thể được định nghĩa lại như sau:
𝑓(𝒙) = ∑𝛼𝑖𝑦𝑖𝒙𝑖𝑇𝒙 + 𝑏 (26)
84
Hàm phân loại ở trên phụ thuộc vào tích trong giữa điểm x và vectơ hỗ trợ
𝒙𝑖.Và bài toán tối ưu hóa ở trên có thể được giải bằng cách tính toán giá trị của tích
trong giữa toàn bộ dữ liệu huấn luyện.
Trong trường hợp SVM phi tuyến, hàm phân loại được phát biểu như sau
𝑓(𝒙) = ∑𝛼𝑖𝑦𝑖𝑲(𝒙𝑖 , 𝒙𝑗) + 𝑏 (27)
Trong đó K là hàm lõi phi tuyến.
3.2. Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần
chính
Phương pháp phân loại tín hiệu điện não trình bày ở mục 3.1 kết hợp SVM
với biến đổi đặc trưng năng lượng wavelet tương đối và khử nhiễu với ICA. Phần
khử nhiễu ICA cần phải thực hiện off-line do đó không tự động hóa được quy trình
này. Trong phần tiếp theo luận án đề xuất hai phương pháp khác dựa trên cách tiếp
cận về mạng nơ-ron nhân tạo và mạng học sâu sử dụng đặc trưng PSD trên miền tần
số. Những đề xuất này dựa trên giả thuyết các máy học dạng mạng nơ-ron nhân tạo
có thể tìm kiếm, trích xuất các thông tin về liên hệ từ dữ liệu tín hiệu điện não một
cách hiệu quả do cùng chia sẻ một cách thức tổ chức mô hình giống với mô phỏng
cấu trúc sinh học của não bộ.
Luận án này đề xuất cách tiếp cận giải quyết bài toán phân loại các trạng thái
suy nghĩ dựa trên mạng nơron nhân tạo kết hợp phân tích thành phần chính. Trong
cách tiếp cận này, hai kĩ thuật là mật độ phổ công suất (Power Spectral Density -
PSD) và phân tích thành phần chính (Principal Component Analysis - PCA) được
sử dụng để trích chọn ra các đặc trưng phù hợp cho đầu vào thuật toán phân loại
mạng nơ-ron nhân tạo [48].
Tín hiệu EEG thô được xử lí qua bộ lọc thông cao Butterworth với tần số cắt
0.5Hz để làm mịn tín hiệu. Tín hiệu sau đó được loại nhiễu bằng kĩ thuật wavelet
neural network (WNN). Về cơ bản, kĩ thuật WNN gồm 3 bước chính: Bóc tách tín
hiệu bằng phân rã wavelet, nhận dạng nhiễu và loại nhiễu bằng một mạng neuron
ANN và tổng hợp lại tín hiệu bằng tái tạo wavelet. Để kĩ thuật WNN đạt được hiệu
85
quả tốt nhất, mạng ANN cần được huấn luyện với tín hiệu EEG mô phỏng để có thể
nhận dạng nhiễu một cách chính xác nhất.
Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron
Tín hiệu EEG
Lọc thông cao với
Butterworth filter
Tính toán đặc trưng PSD
Chuẩn hóa dữ liệu
Trạng thái suy nghĩ
Trích xuất đoạn dữ liệu dài
90 s
Khử nhiễu với mạng WNN
Giảm số chiều dữ liệu với
PCA
Phân loại tín hiệu với ANN
86
Tín hiệu sau khi qua xử lí nhiễu sẽ được trích chọn đặc trưng bằng kĩ thuật
PSD. Phương pháp đồ thị hàm số Welch được dùng để tính toán các đặc trưng PSD.
Các đặc trưng PSD thu được sẽ được chuẩn hóa để đưa về các giá trị trong khoảng
{0,1}. Như đã trình bày ở phần trước, một số đặc trưng PSD ở dải tần delta, theta và
một vài đặc trưng tần số cao ở dải gamma sẽ bị loại đi để tăng hiệu năng cho hệ
thống.
Các đặc trưng thu được từ kĩ thuật PSD sẽ được áp dụng thuật toán PCA để
giảm số chiều. Một điều lưu ý rằng ở bước này, luận án này đã phát triển thành công
kĩ thuật chọn ngưỡng dựa trên cơ sở thuật toán Donoho thresholding [54] để tìm ra
số chiều cần giữ lại trong thuật toán PCA nhằm tối ưu hóa hiệu suất của hệ thống.
Việc sử dụng kĩ thuật chọn ngưỡng cho thuật toán PCA là một đóng góp có tính mới
của luận án, không chỉ giúp giảm khối lượng tính toán cho hệ thống mà còn góp
phần không nhỏ làm tăng độ chính xác của bộ phân loại thông qua việc cải thiện chất
lượng của các đặc trưng.
Sau khi được giảm số chiều bằng thuật toán PCA, các đặc trưng được đưa vào
mạng ANN để phân loại. Ở hệ thống này, mô hình mạng ANN đa lớp kiểu kết nối
đầy đủ được sử dụng. Mạng ANN này được huấn luyện bởi thuật toán Output Weight
Optimization - Backpropagation (OWO - BP) [55]. Thuật toán OWO – BP là một
phương pháp học có giám sát. Phương pháp này là sự kết hợp giữa hai kĩ thuật BP
và OWO. Kĩ thuật BP (Backpropagation - lan truyền ngược) được sử dụng để tìm
trọng số của lớp ẩn. Trong khi đó trọng số đầu ra được tìm bằng cách giải các phương
trình tuyến tính với kĩ thuật OWO. Thuật toán OWO – BP cho hiệu quả tốt khi huấn
luyện mạng ANN, đặc biệt là với dữ liệu đầu vào không ổn định như tín hiệu điện
não EEG. Hình 32 thể hiện các bước thực hiện phương pháp đang được bàn tới.
3.2.1. Phân tích thành phần chính cho giảm số chiều tín hiệu điện não
Phân tích thành phần chính (Principal component analysis - PCA) là một
phương pháp phân tích thống kê đa biến được dùng phổ biến trong việc giảm số
chiều dữ liệu nhằm giảm độ phức tạp khi tính toán, xử lý dữ liệu mà vẫn không mất
đi thông tin cần thiết [56]. Về cơ bản, PCA là một phép biến đổi tuyến tính trực giao
87
dựa trên phương sai của các chiều thông tin trong tập dữ liệu bằng cách chuyển dữ
liệu ban đầu sang một hệ tọa độ mới.
PCA có một số lợi ích sau:
- Giảm chiều dữ liệu: PCA giúp giảm số chiều dữ liệu làm giảm độ phức tạp
tính toán hay trực quan hóa khi dữ liệu có quá nhiều chiều thông tin.
- Tối đa tính biến thiên (Maximize the variability): việc xoay trục tọa độ xây
một trục tọa độ mới đảm bảo độ biến thiên của dữ liệu và giữ lại được nhiều
thông tin nhất mà không ảnh hưởng tới chất lượng của các mô hình dự báo
khi dữ liệu ban đầu có số chiều lớn (nhiều biến).
- Chuyển dữ liệu sang hệ tọa độ mới: sử dụng biến đổi PCA xây dựng những
biến (thành phần chính) mới là tổ hợp tuyến tính của những biến trong tọa độ
ban đầu.
- Phát hiện những đặc tính mới: Trong không gian mới, việc khai phá những
thành phần chính mới được biến đổi giúp có thêm những thông tin hữu ích
mới khi mà tại chiều thông tin cũ những thông tin hữu ích này bị không hiển
thị rõ.
PCA được định nghĩa như sau:
Với một tập dữ liệu ban đầu {𝑥1, 𝑥2… 𝑥𝑛} ∈ 𝑅𝑚 gồm n biến, thành phần
chính đầu tiên là kết quả của biến đổi tuyến tính được định định nghĩa như sau:
𝑝1 = 𝛼1𝑇𝑥𝑗 = ∑ 𝛼𝑖1𝑥𝑖𝑗
𝑚𝑖=1 , 𝑗 = 1, 2,… , 𝑛 (28)
Trong đó vec-tơ 𝛼𝑖 = (𝛼𝑖1, 𝛼𝑖2, … , 𝛼𝑖𝑛) và 𝑥𝑗 = (𝑥1𝑗 , 𝑥2𝑗 , , … , 𝑥𝑛𝑗 , ) được lựa
chọn sao 𝑝1 đạt giá trị tối đa. Có nhiều phương pháp để triển khai PCA trong đó có
thể kể đến phương pháp Phân rã giá trị đơn (Singular value decomposition - SVD).
3.2.2. Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP
Mạng nơ-ron nhân tạo (Artificial neural network - ANN) là một mô hình toán
học mô phỏng cấu trúc và hoạt động của não bộ. Một ANN gồm ba lớp đầu vào, ẩn
và đầu ra (Hình 33). Mỗi lớp lại có một số lượng các nơ-ron thần kinh hay nút được
kết nối với nhau bởi bộ trọng số. Mục tiêu của bất kỳ một thuật toán huấn luyện nào
88
đều là tìm ra một bộ trọng số phù hợp để có thể được sử dụng như một mô hình phổ
quát (universal model) giải quyết các bài toán hồi quy và phân loại. Với phương
pháp đề xuất trong Chương này của Luận án, thuật toán Lan truyền ngược – tối ưu
trọng số lớp đầu ra OWO - BP được sử dụng [55] để huấn luyện ANN phục vụ mục
đích phân loại tín hiệu điện não.
Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp
OWO – BP là phương pháp học có giám sát được thực hiện bằng cách kết hợp
phương pháp lan truyền ngược BP và tối ưu trọng số lớp đầu ra OWO để tìm ra bộ
trọng số tốt nhất cho mạng nơ-ron truyền thẳng. Trong quá trình huấn luyện, thuật
toán BP cập nhật giá trị của các trọng số trong lớp ẩn 𝒘ℎ, kết nối các nút đầu vào
𝒙𝑝 với các nút ẩn 𝒏𝒆𝒕𝑯𝑝. Phương pháp OWO đảm nhiệm phần giải các phương
trình tuyến tính để tìm ra bộ trọng số đầu ra 𝒘𝑜, kết nối các nút ẩn sau kích hoạt 𝑂𝑝
với nút ở lớp đầu ra 𝒚𝑝 (Hình 34). Nút ẩn sau kích hoạt được tính toán bằng cách
biến đổi giái trị của nút ẩn bằng hàm sigmoid. OWO đồng thời tính toán các trọng
số bypass (kết nối lớp đầu vào và lớp đầu ra). OWO-BP được định nghĩa dựa trên
toán học như sau.
Hàm mất mát khi huấn luyện cho đầu ra ith được định nghĩa như sau:
𝐸(𝑖) =1
𝑁𝑣∑ [�̃�𝑝(𝑖) − 𝑦𝑝(𝑖)]
2𝑁𝑣𝑝=1 (29)
89
Trong đó 𝑦𝑝(𝑖) và �̃�𝑝(𝑖) lần lượt là giá trị đầu ra thực tế và mong muốn tại nút
đầu ra thứ ith; 𝑁𝑣 là số lượng các mẫu dùng trong huấn luyện.
Nếu hàm cơ sở được định nghĩa như sau:
�̃�𝑝(𝑗) = {
𝑥𝑝(𝑗), 1 ≤ 𝑗 ≤ 𝑁
𝑂𝑝(𝑗 − 𝑁 − 1), 𝑁 + 2 ≤ 𝑗 ≤ 𝑁 + 𝑁ℎ + 1
1, 𝑗 = 𝑁 + 1
, (30)
Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP
Trong đó 𝑁ℎ là số lượng các nút ẩn.
Giá trị đầu ra thực tế được tính bởi công thức sau:
𝑦𝑝(𝑖) = ∑ 𝑤𝑐(𝑖, 𝑗)�̃�𝑝𝑁𝑜𝑗=1 (𝑗) (31)
Trong đó 𝑤𝑐(𝑖, 𝑗) là trọng số đầu ra kết nối hàm cơ sở thứ jth với nút đầu ra
thứ ith và 𝑁𝑜 là số lượng hàm cơ sở.
Đạo hàm bậc nhất của 𝐸(𝑖) với biến là 𝑤𝑐(𝑖, j) được định nghĩa như sau:
𝜕𝐸(𝑖)
𝜕𝑤𝑐(𝑖,𝑗)= −2[𝜌(𝑖, 𝑗) − ∑ 𝑤𝑐(𝑖, 𝑗)
𝑁𝑜𝑗=1 . 𝛼(𝑖, 𝑗)] (32)
Trong đó 𝛼(𝑖, 𝑗) và 𝜌(𝑖, 𝑗) là các ma trận tự tương quan và tương quan chéo
và 𝑁𝑜 = 𝑁 +𝑁ℎ + 1
3.3. Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng
SURE
Một vấn đề khác cần bàn tới trong đề xuất nghiên cứu này là sử dụng phương
pháp học sâu - deep neural network/deep learning [57] thay thế mạng nơ-ron nhân
90
tạo có cấu trúc cạn (shallow ANN) đã trình bày ở mục 3.2 trong chương này. Học
sâu đã được áp dụng thành công vào nhiều bài toán như nhận dạng chữ số viết tay,
tổng hợp và nhận dạng tiếng nói, thị giác máy tính [57], phân loại tín hiệu điện não
[58] … Lưu đồ phương pháp dựa trên học sâu [66] được đề xuất tại Hình 35.
Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu
Tín hiệu EEG
Lọc thông cao với Butterworth filter
Tính toán đặc trưng PSD
Chuẩn hóa dữ liệu
Trạng thái suy nghĩ
Trích xuất đoạn dữ liệu dài 90 s
Khử nhiễu với mạng WNN
Phân tích thành phần chính PCA
Phân loại tín hiệu với mạng học sâu
Lấy ngưỡng thích nghi SURE
Chọn số thành phần chính
91
Cấu trúc của mạng học sâu gồm một lớp đầu vào, nhiều lớp ẩn (khác với mạng
nơ ron nhân tạo thông thường chỉ gồm một lớp ẩn) và một lớp đầu. Số lượng các nút
(nơ-ron) của mạng học sâu là rất lớn do đó các phương pháp để huấn luyện mạng là
một vấn đề phức tạp. Huấn luyện học sâu trải qua 2 bước: tiền huấn luyện (pre-
trainning) và cân chỉnh trọng số (fine-tuning). Trong đó, pha tiền xử lý sử dụng dữ
liệu không gán nhãn (un-labeled) nhằm tạo ra một khởi tạo mạng thật tốt phục vụ
cho việc cân chỉnh trọng số sử dụng dữ liệu gán nhãn bằng phương pháp cổ điển lan
truyền ngược trong pha cân chỉnh trọng số. Học sâu khắc phục được việc mạng nơ-
ron sâu trong quá trình học có thể bị hội tụ tại một cục bộ địa phương, tăng tốc độ
quá trình học và đưa ra một kết quả phân loại và hồi quy chính xác hơn. Học sâu là
một sự thay thế phù hợp để tăng cường khả năng phân loại của hệ thống dựa trên
mạng nơ-ron truyền thống huấn luyện bởi OWO-BP.
Ngoài ra, với phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành
phần chính đã đề xuất, PCA được dùng để phân tách các đặc trưng PSD của tín hiệu
EEG thành các thành phần chứa thông tin thiết yếu biểu diễn bởi các thành phần
chính (Principal component - PC) và số lượng thành phần chính đang được xác định
“cứng”, tức là lấy một số lượng thành phần chính nhất định. Thuật toán lấy ngưỡng
SURE [4] là phương pháp thích nghi (adaptive) để lựa chọn được số thành phần độc
lập phù hợp dựa trên đặc tính của tín hiệu.
3.3.1. Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE
Để loại trừ các đặc trưng tín hiệu trên miền tần số không cần thiết sử dụng bởi
bộ phân loại ở bước tiếp theo của phương pháp đề xuất trong mục 3.3 này, PCA
được sử dụng để giảm số chiều đặc trưng đầu vào của bộ phân loại. Việc thực hiện
giảm chiều dữ liệu giúp giảm độ phức tạp trong tính toán và tăng hiệu quả phân loại.
Mục 3.2 đã đề xuất phương pháp lựa chọn “cứng” số lượng thành phần chính được
giữ lại. Tuy nhiên, cách làm này không hẳn luôn cho kết quả tốt nhất, nhất là trong
điều kiện tín hiệu điện não biến đổi từ người này sang người khác dẫn đến số lượng
các thành phần chính có thể cần thay đổi để phù hợp với tính chất tín hiệu điện não
thu được từ một người sử dụng cụ thể. Do đó, số lượng thành phần chính cần thiết
92
trong bước trích chọn đặc trưng cần được lựa chọn một cách thích nghi và theo đặc
tính của dữ liệu thu được. Trong nghiên cứu này, một thành phần chính được giữ lại
nếu phương sai của nó có giá trị bé hơn ngưỡng được tìm thấy. Luận án này đề xuất
một phương pháp lựa chọn các thành phần chính sử dụng hàm phân ngưỡng mềm
(soft) SURE [4]. Hàm phân ngưỡng SURE là một thuật toán thích nghi cho phép xác
định ngưỡng thích hợp để loại bỏ các thành phần chính không cần thiết. Việc sử
dụng phân ngưỡng thích nghi SURE để lựa chọn các thành phần chính đảm bảo luôn
có thể chọn được một phân ngưỡng phù hợp, loại bỏ các thành phần chính không
cần thiết và dựa trên đặc tính của dữ liệu điện não.
3.3.2. Mạng học sâu Deep belief net trong phân loại tín hiệu điện não
Mạng Nơ-ron học sâu (Deep neural network) là một mô hình học máy nhiều
lớp. Học sâu là phương pháp học bán giám sát nhằm mục đích huấn luyện DNN một
cách hiệu quả và giúp tránh được vấn đề over-fitting [59]. Học sâu bao gồm hai giai
pha: tiền huấn luyện (pre-training) và hiệu chỉnh trọng số (fine-tuning). Trong pha
tiền huấn luyện, máy học Boltzman (Restricted Boltzman machine - RBM) (xem
Hình 36) được sử dụng để khởi tạo trọng số tốt nhất cho mô hình với dữ liệu không
cần được gán nhãn. Trong pha tiếp theo hiệu chỉnh trọng số, DNN tiếp tục được
huấn luyện bằng phương pháp lan truyền ngược cổ điển với dữ liệu được gán nhãn.
So với phương pháp huấn luyện mạng nơ-ron thông thường, học sâu có hai ưu điểm
chính là tạo ra một liên kết sau huấn luyện tốt hơn giữa các đặc trưng mô hình học
được và khả năng phân tích đặc trưng theo lớp rất hiệu quả.
Hình 36. Thiết kế máy học Boltzman
h
v
W
93
Một máy học Boltzman bao gồm lớp đầu vào và đầu ra tương ứng với tên gọi
visible và hidden. Các nút trong lớp hiện (visible) hoặc lớp ẩn (hidden) không có
liên kết nội khối nhưng tồn tại liên kết đối xứng và đầy đủ (full connections) giữa
các nút thuộc lớp hiện và lớp ẩn. Các liên kết này tạo nên một bộ trọng số W. Các
nút ẩn và hiện, được thể hiện lần lượt dưới dạng 𝑣 ∈ {0,1}𝑀 và ℎ ∈ {0,1}𝑁 đều là
các giá trị nhị phân ngẫu nhiên. Theo đó, số lượng các trọng số thuộc W là 𝑀𝑥𝑁.
Mục đích của bất kỳ thuật toán học không giám sát nào đối với RBM là nhằm tối đa
hóa xác suất 𝑝(𝑣;𝑊) của sự kiện bộ trọng số phù hợp nhất W được gán cho một
vec-tơ hiện v.
𝑝(𝑣;𝑊) = 1/𝛿(𝑊)∑ 𝐸𝑥𝑝(−𝐸(𝑣, ℎ;𝑊)ℎ ) (33)
Trong phương trình trên, δ(W) là một hằng số chuẩn hóa được định nghĩa bởi
𝛿(𝑊) = ∑ ∑ 𝑒𝑥𝑝(−𝐸(𝑣, ℎ;𝑊))ℎ𝑣 (34)
Trong phương trình trên, 𝐸(𝑣, ℎ;𝑊) = −1
2{𝑣𝑇𝑊ℎ + 𝛼𝑇𝑣 + 𝛽𝑇ℎ } với α và
β là các thành phần bias.
Tìm giá trị 𝑝(𝑣;𝑊) cao nhất hay nói cách khác là tạo lập một mô hình gán
trọng số W phù hợp nhất đối với đầu vào v là một vấn đề không dễ giải quyết. Mặc
dù vậy, một phương án khác để tiếp cận và giải quyết vấn đề dựa trên việc giải bất
đẳng thức ở dưới đây:
𝑙𝑜𝑔 𝑝(𝑣;𝑊) ≥ ∑ 𝑞(𝑣, ℎ;𝑊){𝑙𝑜𝑔 𝑝(𝑣, ℎ;𝑊)} +ℋ(𝑞(ℎ|𝑣))ℎ (35)
Trong đó ℋ(𝑞(ℎ|𝑣)) là hàm entropy của phân bố xấp xỉ 𝑞(ℎ|𝑣). Mục tiêu là
tìm ra một bộ trọng số W tốt nhất kết nối lớp hiện và ẩn trong máy học RBM tương
đương với việc tìm giá trị lớn nhất của cận dưới bất đẳng thức (35) sử dụng phương
pháp học hội tụ đối nghịch (contrastive divergence learning). Cách tiếp cận này được
gọi là học biến thiên (variational learning) được áp dụng hiệu quả để tiền huấn luyện
DNN và Deep belief net (DBN) (Hình 37) được cấu thành bởi nhiều máy học RBM.
Các nút đầu ra/ẩn của một máy học RBM trong lớp ngay trước nó chính là đầu vào
hay các nút hiện của máy học RBM ở lớp kế tiếp. Quá trình học biến thiên được lập
lại n lần nếu DBN có n lớp ẩn và khi thực hiện học biến thiên cho máy học RBM
94
thứ i trong tổng số n máy học RMB, tất cả các máy học RBM trước đó cần được
“đóng băng” tức là dừng việc học.
Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman
Với cấu trúc gồm nhiều lớp, mạng học sâu DBN là một phương pháp học máy
thích hợp cho mục đích phân loại tín hiệu điện não
4. Kết quả và thảo luận
Trong phần này, kết quả khi thực hiện 03 phương pháp phân loại tín hiệu điện
não dựa trên (1) máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối
(SVM+) và (2) mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính (ANN++)
và (3) học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE (DNN+++) sẽ được
báo cáo theo các giai đoạn tiền xử lý, trích chọn đặc trưng và phân loại. Các phương
pháp khác như Naïve Bayesian (NB), phân tích tuyến tính (linear discriminant
analysis - LDA), K láng giềng gần nhất (K-nearest neighbor), máy vectơ hỗ trợ
(SVN) và mạng nơ-ron nhân tạo (ANN) được triển khai cho mục đích so sánh. Bốn
phương pháp NB, LDA, KNN và SVM được khai triển với đặc trưng là các tín hiệu
được biến đổi thành miền tần số PSD nhưng không tích hợp khâu khử nhiễu tín hiệu
và giảm số chiều đặc trưng đầu vào của bộ phân loại. Phương pháp ANN được thiết
RBM thứ hai
RBM thứ n
RBM thứ nhất
95
kế khá tương đồng với phương pháp được đề xuất DNN++ trong đó các đặc trưng tần
số được chọn trong khoảng từ 8-50 Hz và số chiều giảm từ 42 còn 10. Hệ thống
baseline DNN được thực hiện gồm tất cả các bước giống như miêu tả phương pháp
DNN+++ trong mục 3.3. Đặc trưng trong hệ thống baseline này cũng được giảm số
chiều với PCA và sau đó lựa chọn 10 thành phần chính đầu tiên làm đầu vào cho bộ
phân loại. Hệ thống baseline sau đó được thêm các bước khử nhiễu với WNN và lựa
chọn, giảm số chiều đặc trưng với PCA-SURE. Kết quả theo từng bước thực hiện
DNN+++ cũng được báo cáo để cho thấy hiệu quả của hệ thống phân loại tín hiệu
điện não theo các bước. Trong hương pháp DNN+++ , cấu trúc của mạng học sâu
DBN là 13-200-100-20-2/3 (13 nút đầu vào, ba lớp ẩn với lần lượt 200, 100, 20 nút
ẩn và 2/3 nút đầu ra). Số vòng lặp cho bước tiền xử lý và bước cân chỉnh trọng số
lần lượt là 200 và 100. Ngoài ra, phần hiển thị kết quả các vùng não bị kích hoạt
trong quá trình thu tín hiệu sẽ được thể hiện.
4.1. Tiền xử lý dữ liệu
Nhiễu là một thành phần thường xuất hiện trong tín hiệu điện não. Có một số
loại nhiễu cơ bản như nhiễu cơ (EMG), nhiễu tim (EKG), tín hiệu bất thường do
nháy mắt (EOG)… Khử nhiễu là bước cần thiết nhằm tập hợp được tín hiệu “sạch”,
có chất lượng tốt để tăng chất lượng khi sử dụng các mô hình học máy trong việc
phân loại trạng thái với tín hiệu điện não. Tín hiệu bất thường do nháy mắt gây ra
khi đối tượng nháy mắt và luôn xuất hiện. Trong phạm vi nghiên cứu của chương
này, tín hiệu bất thường do nháy mắt EOG được tập trung xử lý. Hai phương pháp
được dùng để khử nhiễu là Phân tích thành phần độc lập (ICA) và mạng nơ-ron
wavelet (wavelet neural network). Với phương pháp ICA, sau khi phân tích tín hiệu
điện não ban đầu sẽ thu được các thành phần độc lập (Independent components) và
một số thành phần độc lập có dạng giống tín hiệu bất thường do nháy mắt EOG (tập
trung nhiều thông tin gây ra nhiễu EOG) sẽ được loại bỏ và thay bằng giá trị 0. Tập
ICs mới này sẽ được biến đổi ICA ngược để cho ra kết quả là tín hiệu điện não đã
được khử nhiễu. Kết quả của các bước biến đổi được thể hiện ở Hình 38.
96
Tín hiệu ban đầu Các thành phần độc lập Tín hiệu đã khử nhiễu
Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não
Hình 39. Kết quả khử nhiễu với ICA
Hình 40. Kết quả khử nhiễu với WNN
97
a) b)
c)
Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá
trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P
ICA là một phương pháp khử nhiễu cho kết quả tốt nhưng có nhược điểm là
quá trình khử nhiễu bằng ICA không thể tự động hóa được do bước loại các IC “xấu”
cần phải thực hiện thủ công. Mạng nơ-ron wavelet (WNN) là một phương pháp tiếp
cận khác có thể khử nhiễu tự động, theo thời gian thực và thực hiện trên đơn kênh.
Một số kết quả khử nhiễu được thể hiện ở Hình 39-40. Các kết quả khử nhiễu cho
thấy, các phương pháp được áp dụng đã khử tín hiệu bất thường do nháy mắt một
cách hiệu quả trong khi các thông tin về tín hiệu điện não cần thiết đưa vào bộ phân
loại vẫn được giữ nguyên vẹn.
LORETA là phương pháp cho phép hiển thị vùng não bộ hoạt động với đầu
vào tín hiệu điện não. Phần màu đỏ trên Hình 41 tương ứng với vị trí vùng não bị
kích hoạt và nếu sự kích hoạt càng mạnh thì màu càng đỏ đậm. Kết quả trên cho thấy
khi cho đối tượng thực hiện các tác vụ suy nghĩ như thiết kế thí nghiệm đã trình bày
ở phần trên, các vùng não bị kích hoạt thay đổi liên tục, và vị trí các vùng não bộ
cũng thay đổi thường xuyên. Quan sát này cho thấy để đảm bảo thu được đủ thông
98
tin các tín hiệu cần thiết, vị trí đặt các cảm biến thu tín hiệu điện não nên được bố trí
tại nhiều vùng não bộ khác nhau thay vì chỉ đặt tập trung tại một số vị trí nhất định.
4.2. Phân loại trạng thái
Bảng 4 thể hiện kết quả thí nghiệm phân loại 02 trạng thái suy nghĩ và không
suy nghĩ (tương ứng Neutral và non-neutral). Phương pháp dựa trên học sâu DBN
đã được so sánh với các phương pháp phân loại học máy khác. Kết quả cho thấy
phương pháp đề xuất dựa trên DBN cho kết quả tốt nhất với độ chính xác cao nhất
là 96.83% và độ chính xác trung bình là 92.55%. Trong khi phương pháp gần nhất
là phân loại dựa trên ANN đạt độ chính xác dưới 90% và phương pháp dựa trên
Naïve Bayes cho độ chính xác thấp nhất là 59.43%. Độ chính xác phân loại đối với
tất cả dữ liệu từ bốn đối tượng trong tập dữ liệu đều đạt kết quả tốt nhất với phương
pháp DBN so với các phương pháp còn lại. Trong phạm vi luận án này, S1, S2, S3
và S4 thể hiện 4 đối tượng trong tập dữ liệu tín hiệu điện não thu riêng cho luận án.
Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ
Bảng 5 thể hiện kết quả phân loại với hệ thống dựa trên DNN cơ sở và tích
hợp phương pháp khử nhiễu WNN và chọn thành phần độc lập tự động PCA-SURE.
Kết quả cho thấy với mỗi bước tích hợp thêm này, độ chính xác thường tăng thêm
khoảng 1%.
Phương
pháp
Độ chính xác (%)
S1 S2 S3 S4 Trung bình
NB 52.28 40.96 71.19 73.30 59.43
LDA 69.09 65.96 67.80 66.52 67.34
KNN 79.54 62.23 92.80 90.25 81.20
SVM 85.95 80.16 90.28 90.78 86.79
ANN 87.29 82.13 93.95 95.23 89.65
DBN 90.87 85.98 96.52 96.83 92.55
99
Bảng 6 thể hiện kết quả khi phân loại 03 trạng thái của đối tượng là N, L và
P. Kết quả phân loại cho thấy độ chính xác cao nhất đạt được với phương pháp dựa
trên DNN được đề xuất là 76.90% và với độ chính xác trung bình là 74.22%. Trong
khi đó phương pháp đạt độ chính xác gần nhất là dựa trên ANN kém khoảng 2% và
độ chính xác thấp nhất ghi nhận với phương pháp NB chỉ đạt 55.36%.
Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
Baseline DBN 87.89 84.13 94.80 96.35 90.79
+WNN 88.59 85.94 95.45 96.17 91.53
+PCA-SURE 90.87 85.98 96.52 96.83 92.55
Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
NB 52.32 55.56 58.68 54.90 55.36
LDA 62.60 61.34 64.89 59.78 62.15
KNN 67.16 63.12 66.25 68.15 66.17
SVM 67.25 71.18 67.27 72.89 69.64
ANN 70.25 73.62 69.94 75.45 72.31
DNN 71.08 75.71 73.19 76.90 74.22
Bảng 7, tương tự Bảng 5, cho thấy kết quả phân loại 03 trạng thái suy nghĩ N,
L, P theo các bước. Đầu tiên là phương pháp đề xuất chỉ dùng DNN sau đó tích hợp
thêm WNN và PCA-SURE. Kết quả cho thấy mỗi bước làm tăng độ chính xác lên
khoảng 0.5%. Rõ ràng là độ phân loại tốt nhất cho 03 trạng thái đạt được 76.90% từ
giảm gần 20% so với kết quả tốt nhất đạt được cho phân loại 02 trạng thái. Điều này
chứng tỏ đặc tính của tín hiệu điện não giữa lớp N và (L, P) có khác biệt khá rõ trong
khi đó đặc tính của tín hiệu lớp L và P không có nhiều khác biệt.
100
Bảng 8 và 9 báo cáo kết quả phân loại 2 và 3 trạng thái suy nghĩ với hai
phương pháp đề xuất dựa trên ANN kết hợp PCA và SVM kết hợp RWE. Cả hai
phương pháp được đề xuất đều cho kết quả phân loại tốt nhất khoảng 95%. Cần lưu
ý rằng trong phương pháp SVM+++ sử dụng ICA trong khử nhiễu tín hiệu điện não
do đó phương pháp này không thể khai triển cho các hệ thống chạy theo thời gian
thực.
Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
Baseline DNN 69.15 74.92 70.25 74.85 72.29
+WNN 70.68 74.79 72.14 76.24 73.46
+PCA-SURE 71.08 75.71 73.19 76.90 74.22
Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên
mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
ANN++ 88.75 84.20 95.36 94.67 90.745
SVM+++ 90.50 84.80 94.25 93.45 90.75
Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên
mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
ANN++ 69.65 74.59 71.18 76.84 73.065
SVM+++ 73.80 66.68 75.39 71.47 71.835
5. Kết luận chương 3
Nội dung Chương này đã trình bày về thiết kế thí nghiệm, ba phương pháp được
đề xuất dựa trên học máy SVM, mạng nơ-ron nhân tạo và mạng học sâu DBN trong
101
phân loại tín hiệu điện não. Kết quả đã được công bố trên các hội thảo và tạp chí
quốc tế cho thấy phương pháp dựa trên học sâu DBN cho kết quả phân loại tốt nhất
với độ chính xác đạt khoảng 96.8% và 77% cho phân loại 2 và 3 trạng thái suy nghĩ.
Một quy trình hoàn chỉnh gồm các bước tiền xử lý, trích chọn đặc trưng, phân loại
được kiểm chứng thực nghiệm thu được các kết quả tín hiệu điện não tốt với các bộ
phân loại dựa trên SVM với các đặc trưng của RWE và phương pháp sử dụng mạng
neural nhân tạo kết hợp PCA có thể là gợi mở để có những phát triển sâu hơn trong
việc áp dụng các phương pháp phân loại này vào các hệ giao diện não máy tính.
Một vấn đề đặt ra là trong cả ba phương pháp đã đề xuất, không phương pháp
nào tỏ ra hoàn toàn ưu việt hơn hai phương pháp còn lại. Cụ thể, kết quả phân loại
cao nhất đạt được cho DNN nhưng trong một số trường hợp, kết quả phân loại của
các phương pháp khác đôi khi lại cao hơn phân loại dựa trên DNN. Điều này cho
thấy, khó có một mô hình cụ thể phù hợp trong phân loại tín hiệu điện não cho nhiều
đối tượng với các đặc tính não bộ khác nhau. Chương 4 tiếp theo sẽ trình bày tổng
quan về hệ giao diện não máy tính qua đó đề xuất thực hiện hệ giao diện não máy
tính trong điều khiển các thiết bị điện tử gia dụng thông minh dựa trên việc kết hợp
các mô hình phân loại và tăng cường tín hiệu đã đề xuất ở các chương trước đó.
102
CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG
ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG
MINH
1. Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng
thông minh
Luận án này đề xuất mô hình hệ thống giao diện não-máy tính trong điều khiển
thiết bị điện tử gia dụng thông minh (Hình 42) có khả năng giải mã, chuyển đổi và
truyền thông một chiều từ não bộ của người dùng vào đến hoạt động cụ thể của một
thiết bị điện tử thông minh dưới dạng tín hiệu điều khiển hoạt động. Hệ thống này
gồm bốn phần chính là khối thu tín hiệu, khối xử lý tín hiệu số (Digital signal
processing - DSP), khối kết nối và điều khiển thiết bị không giây (Wireless Internet
of Things - WIOT) và khối các thiết bị thông minh. Phần tiếp theo sẽ mô tả chi tiết
các thành phần chính của hệ giao diện não máy tính này.
Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển
các thiết bị điện tử gia dụng thông minh.
103
1.1. Khối thu tín hiệu và thiết bị Emotiv Epoc+
Nghiên cứu này sử dụng thiết bị đo tín hiệu điện não EPOC+ do công ty Emotiv
sản xuất. Thiết bị đo tín hiệu có độ phân giải cao EPOC+ gồm hai thành phần, một
thành phần có dạng như một chiếc mũ để đặt lên đầu người dùng (Hình 43), một
thành phần gắn với cổng USB của máy tính để đảm nhận việc truyền tín hiệu từ
chiếc mũ đến máy tính thông qua sóng Wifi.
Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv)
Thiết bị EPOC+ bao gồm 14 điện cực tương ứng với 14 vị trí để thu thập tín hiệu
sóng điện não trên đầu người dùng. Khi sử dụng, để nhận được tín hiệu sóng điện
phát ra từ não người, các điện cực này phải được làm ẩm bằng dung dịch đi kèm với
thiết bị hoặc dung dịch multi-purpose dùng cho kính áp tròng (contact lense). Tần
số lấy mẫu của thiết bị là 128 Hz.
Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench
104
1.2. Khối DSP
BCI có nhiệm vụ thu nhận tín hiệu não (EEG) từ các điện cực trên da đầu
(hoặc bề mặt vỏ não hoặc từ bên trong não).
Sau đó tín hiệu này được lọc tách các đặc trưng riêng biệt mà nó phản ánh ý
định của người dùng (ví dụ như biên độ của điện thế, nhịp cảm quan vận động vỏ
não, tốc độ độ kích hoạt của các nơ ron vỏ não). Các đặc trưng này sẽ được chuyển
đổi thành các câu lệnh và gửi tới thiết bị WIoT được gắn trên các thiết bị điện tử
(đèn/quạt/tivi, v.v.) qua mạng truyền thông không dây.
Thực tế hệ thống BCI có thể được tích hợp 1 máy tính PC để bàn, 1 laptop,
hoặc một máy tính bảng mạch đơn… có khả năng đảm nhiệm được chức năng đặt
ra, xử lý dữ liệu trong thời gian thực. Thiết bị này thường có kích thước nhỏ gọn,
cấu hình: CPU, memory, RAM, v.v. đủ mạnh để có thế nhúng hoặc chạy khối
chương trình xử lý tín hiệu não DSP vốn cần thực hiện nhiều bước như huấn luyện,
phân tách đặc trưng, phân loại, v.v. từ tín hiệu não EEG nhận về. Ngoài ra, khối DSP
cũng có kết nối ngoại vi USB, GPIO, GMAC, UART, LRADC, CAN, v.v., kết nối
không dây như wifi, bluetooth, v.v để có thể tương tác với bộ cảm biến đo tín hiệu
não và thực hiện gửi câu lệnh điều khiển tới khối WIoT.
Khối DSP thường gồm các module tiền xử lý, trích chọn đặc trưng, bộ phân
loại để chuyển đổi tín hiệu điện não thu được thành các mệnh lệnh điều khiển thể
hiện ý định của người sử dụng. Nghiên cứu này tập trung giải quyết bài toán BCI
theo hướng tiếp cận phân loại trạng thái suy nghĩ: Đối tượng thực hiện việc điều
khiển não về 1 trong ba trạng thái suy nghĩ N, L, P như đã trình bày ở các chương
trước.
1.3. Khối WIoT
Bộ phận WIoT có nhiệm vụ nhận lệnh điều khiển từ khối DSP qua truyền
thông không dây và thực thi lệnh điều khiển. Ví dụ, khối DSP nhận dạng được ý
định của người dùng là bật/tắt đèn thì WIoT thực hiện bật/tắt đèn tương ứng.
105
WIoT được thiết kế dạng một bo mạch nhỏ gọn, tiêu thụ điện năng thấp, dễ
dàng tích hợp vào các thiết bị khác nhau như thiết bị điện gia dụng, hệ thống cảm
biến, điều khiển robot, v.v. Nguồn vào của WIoT từ 100-250V, load capacity 250V-
10V, giao diện kết nối ngoại vi: UART, I2C, ADC, GPIO, Wi-Fi Direct (P2P), soft-
AP, 802.11 b/g /n, built-in TCP/IP protocol stack. WIoT có built-in low-power 32-
bit CPU. CPU này có thể tăng gấp đôi như một bộ xử lý ứng dụng, v.v.
Hình 45. Mô hình tương đương module ESP 8266
Thiết bị thu nhận tín hiệu wifi được dủng trong đề tài là module truyền nhận
WiFi đơn giản dựa trên chip ESP8266 SoC (System on Chip) của hãng Espressif.
Module ESP8266 V1 thường được sử dcho các ứng dụng IoT ( Internet of Things).
Module này đã được nạp sẵn firmware giúp người dùng giao tiếp với wifi rất dễ dàng
qua tập lệnh AT thông qua giao tiếp UART ( baudrate mặc định 9600) quen thuộc.
Bộ xử lí đủ mạnh để giao tiếp với các loại cảm biến và thiết bị thông qua các cổng
GPIO.Với một thiết bị bình thường không có khả năng kết nối Internet, cần có một
vi điều khiển và một module không dây để truyền nhận dữliệu IoT. Bằng cách sử
dụng ESP 8266, có thể bỏ qua được vi điều khiển và module không dây vì cả hai
chức năng này đã tích hợp trên một module ESP
2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín
hiệu điện não cho hệ giao diện não máy tính trong điều khiển các thiết bị điện
tử gia dụng thông minh
Các tập dữ liệu thường có tính chất và phân bố khác nhau vì vậy khó có một
thuật toán học máy nào là luôn tốt và cho hiệu suất cao nhất cho mọi ứng dụng và
trên mọi tập dữ liệu. Kết quả thực nghiệm ở chương 3 cho thấy các mô hình phân
loại điện não đã được đề xuất có thể đạt kết quả tốt nhất trong một số trường hợp,
cho một đối tượng cụ thể nhưng không tỏ ra tối ưu đối với mọi trường hợp. Vì vậy
106
việc thử các thuật toán khác nhau để tìm được những thuật toán máy học tốt cho tập
một tập dữ liệu cụ thể là việc làm cần thiết và cần nhiều thời gian.
Sau khi tìm ra một số mô hình học máy phù hợp, các mô hình này thể được
hiệu chỉnh, tối ưu hóa bộ tham số để thu được độ chính xác cao nhất cho từng mô
hình cho vấn đề đang giải quyết. Học cộng đồng (ensemble learning), tức là kết hợp
các mô hình học máy đã đề xuất với nhau để tạo ra một mô hình học máy tối ưu hơn
mỗi mô hình thành phần, là một phương thức thường được sử dụng để tăng hiệu quả
của mô hình học máy đã đạt được trước đó.
Hai nguyên tắc cơ bản để học cộng đồng phát huy hiệu quả là: (i) các bộ phân
loại yếu (weak learner) có khả năng tốt hơn là phán đoán ngẫu nhiên (random guess)
và (ii) các bộ phân loại yếu này có tính chất khác biệt đáng kể và đa dạng [60].
Tăng cường (boosting), đóng bao (bagging) và xếp ngăn (stacking) là các
phương thức phổ dụng nhất để thực hiện việc học cộng đồng, trong đó:
Boosting được thực hiện bằng cách xây dựng nhiều thuật toán học cùng lúc
và kết hợp chúng lại. Mục đích là để có một cụm hoặc một nhóm các máy học yếu
sau đó kết hợp chúng lại để tạo ra một mô hình máy học mạnh duy nhất.
Bagging được thực hiện bằng cách sử dụng những tập dữ liệu con khác nhau
từ tập dữ liệu huấn luyện để xây dựng một số lượng các mô hình (thường là cùng
loại). Sử dụng bagging là một cách thức hiệu quả để giảm overfitting trong những
mô hình phức tạp [61].
Stacking được thực hiện bằng cách xây dựng một mô hình tổng hợp từ một số
mô hình cơ sở (thường là khác loại) nhằm đạt được một mô hình tổng hợp có hiệu
quả phân loại tốt hơn [62].
Trong phạm vi nghiên cứu, luận án này đã đề xuất ba mô hình học máy dựa
trên máy vec-tơ hỗ trợ, mạng nơ-ron nhân tạo và mạng học sâu để phân loại hiệu
quả trạng thái suy nghĩ dựa trên tín hiệu điện não. Để có thể tận dụng và tăng cường
hiệu quả phân loại, học cộng đồng (ensemble learning) là cách tiếp cận phù hợp để
xây dựng một hệ giao diện não máy tính có khả năng điều khiển các thiết bị điện tử
gia dụng thông minh. Phần tiếp theo của luận án sẽ đề xuất mô hình học cộng đồng
107
và báo cáo, thảo luận một số kết quả phân loại ban đầu đạt được với cách tiếp cận
này.
Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín
hiệu điện não
Kết hợp các bộ phân loại yếu để tạo nên một bộ phân loại mạnh là nguyên lý cơ
bản của các phương thức tiếp cận dựa trên máy học cộng đồng (ensemble learning).
Luận án này đề xuất một cách kết hợp mới (Hình 46) dựa trên các phương pháp phân
loại trạng thái suy nghĩ từ tín hiệu điện não ở Chương 3 và phương pháp DWSAE
trong khử nhiễu tín hiệu điện não bất thường EOG ở Chương 2. Chương 3 đề xuất
03 phương án dựa trên SVM kết hợp năng lượng wavelet tương đối WRE (phương
pháp SVM+++), mạng nơron ANN kết hợp chọn đặc trưng dựa trên phân tích thành
phần chính PCA (phương pháp ANN++) và mạng học sâu kết hợp lựa chọn thành
phần chính với phân ngưỡng thích nghi SURE (phương pháp DNN+). Phương pháp
SVM+++ sử dụng ICA trong khử tín nhiễu tín hiệu điện não trong đó có tín hiệu điện
não bất thường EOG. Phương pháp ANN++ và DNN+ sử dụng WNN trong khử tín
Học cộng đồng
108
hiệu điện EOG. Phương pháp phân loại trạng thái suy nghĩ dựa trên học cộng đồng
được đề xuất ở Chương 4 này sẽ thay ICA và WNN bằng phương pháp khử nhiễu
tín hiệu điện não bất thường gây ra do nháy mắt Mạng học sâu tự mã hóa thưa
wavelet DWSAE đã được đề xuất ở Chương 2. Trong pha huấn luyện, các mô hình
học máy được thực hiện tuần tự với tập dữ liệu như đã trình bày tại Chương 3. Ở
pha phân loại trạng thái suy nghĩ, thay vì sử dụng một mô hình học máy, luận án đề
xuất cách tiếp cận sử dụng hội đồng máy học (commitee machine) [63].
Một hội đồng máy học đơn giản với luật đánh giá được đề xuất như sau:
- Trong trường hợp phân loại 2 trạng thái, nếu có ít nhất 2 trong 3 bộ phân loại
đưa ra cùng một phương án thì đó là phương án được chọn
- Trong trường hợp phân loại 3 trạng thái, nếu ít nhất 2 trong 3 bộ phân loại đưa
ra cùng một phương án thì đó là phương án được chọn. Nếu cả 3 bộ phân loại đều
đưa ra 3 phương án khác nhau, trọng số lớn hơn và quyền quyết định thuộc về
phương án được chọn bởi mô hình học sâu.
3. Kết quả và thảo luận
Bảng 10 và Bảng 11 lần lượt báo cáo kết quả phân loại của phương pháp học
cộng đồng được đề xuất so với các kết quả phân loại của các mô hình phân loại được
đề xuất ở Chương 3 cho phân loại 2 và 3 tác vụ suy nghĩ trên cùng tập dữ liệu đã
được báo cáo ở Chương 3.
Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy
học cộng đồng so với các phương pháp thành phần
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
DNN+ 90.87 85.98 96.52 96.83 92.55
ANN++ 88.75 84.20 95.36 94.67 90.745
SVM+++ 90.50 84.80 94.25 93.45 90.75
Máy học cộng đồng 91.35 88.15 96.75 95.90 93.04
109
Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy
học cộng đồng so với các phương pháp thành phần
Phương pháp Độ chính xác (%)
S1 S2 S3 S4 Trung bình
DNN+ 71.08 75.71 73.19 76.90 74.22
ANN++ 69.65 74.59 71.18 76.84 73.065
SVM+++ 73.80 66.68 75.39 71.47 71.835
Máy học cộng
đồng 72.31 77.42 76.19 76.54 75.615
Ghi chú: DNN+ , ANN++ và SVM+++ là các phương pháp học máy dựa trên
học sâu kết hợp phân ngưỡng SURE trong lựa chọn thành phần chính thích hợp,
mạng nơ-ron kết hợp phân tích thành phần chính và máy vec-tơ hỗ trợ sử dụng đặc
trưng năng lượng wavelet tương đối RWE trong phân loại tín hiệu điện não đề xuất
ở Chương 3
Kết quả phân loại cho thấy với phân loại 2 trạng thái suy nghĩ, kết quả cao
nhất đạt được với phương pháp máy học cộng đồng đề xuất tại Chương 4 là 96.75%,
kém hơn so với độ chính xác cao nhất đạt được với phương pháp dựa trên học sâu
DNN+. Tuy nhiên, độ chính xác trung bình trên toàn bộ các đối tượng đạt được với
phương pháp máy học cộng đồng là 93.04% tăng 0.49% so với kết quả phân loại
trung bình cao nhất đạt được với DNN+. Trong khi đó, độ chính xác thấp nhất đạt
được của phương pháp dựa trên máy học cộng đồng là 88.15% là cao hơn so với độ
chính xác thấp nhất đạt được của phương pháp DNN+.
Đối với phân loại 3 trạng thái suy nghĩ, kết quả cao nhất đạt được với phương
pháp máy học cộng đồng là 77.42% cao hơn 0.52% so với kết quả phân loại đạt được
với phương pháp DNN+. Trong khi đó, kết quả phân loại chính xác trung bình với
phương pháp máy học cộng đồng đạt được tăng 1.395% so với độ chính xác trung
bình cao nhất đạt được bởi phương pháp DNN+. Đối với hai đối tượng S2 và S3, kết
110
quả phân loại dựa trên phương pháp máy học cộng đồng đều tăng thêm đáng kể so
với các phương pháp đã được đề xuất.
Các kết quả đã báo cáo từ Bảng 10 - 11 cho thấy phương pháp học cộng đồng
tỏ ra hiệu quả trong việc phân loại trạng thái suy nghĩ và thực tế là đã tăng cường
khả năng phân loại so với phương án tốt nhất được đề xuất trước đó dựa trên học
sâu. Phương án dựa trên học cộng đồng không mang lại kết quả phân loại vượt trội
trong trường hợp bộ phân lớp khác đã có kết quả phân loại tốt nhưng cải thiện đáng
kể kết quả phân loại đạt được bởi các bộ phân loại đã đề xuất có giá trị không cao
(trường hợp các bộ phân loại bị coi là yếu). Nhìn chung, kết quả phân loại trung bình
cho 2 và 3 tác vụ với bộ phân loại dựa trên máy học cộng đồng đều khá hơn so với
độ trung bình cao nhất đạt được với DNN+, nhất là trong trường hợp phân loại 3 tác
vụ suy nghĩ.
Đối với việc thực hiện một hệ giao diện não máy tính, cụ thể trong điều khiển
thiết bị điện tử gia dụng thông minh, vấn đề quan trọng là cần đảm bảo tính ổn định
của hệ thống trong điều kiện người sử dụng đa dạng và có đặc tín tín hiệu sóng điện
não khác nhau. Phương pháp học cộng đồng xếp ngăn kết hợp các mô hình phân loại
đã được đề xuất là một giải pháp hiệu quả trong việc khắc phục vấn đề này, tạo ra
một bộ phân loại có khả năng hoạt động hiệu quả trong nhiều trường hợp người sử
dụng với đặc tính khác nhau.
4. Kết luận Chương 4
Chương này đã trình bày chi tiết về hệ giao diện não máy tính, đồng thời đưa ra
các phân tích về một số ứng dụng BCI qua đó đề xuất một cách tiếp cận mới dựa
trên học cộng đồng với đầu vào là tín hiệu điện não đã được khử tín hiệu điện não
mạnh sinh ra do nháy mắt. Kết quả bước đầu cho thấy, mô hình học cộng đồng được
đề xuất có khả năng phân loại tốt, trong một số trường hợp cho kết quả phân loại tốt
hơn so với các mô hình thành phần đã được đề xuất. Kết quả này khẳng định đây là
một cách tiếp cận phù hợp để tăng cường hiệu năng của hệ giao diện não máy tính
trong điều khiển các thiết bị điện tử gia dụng thông minh trong điều kiện tín hiệu
111
điện não thường có tính chất rất khác biệt giữa người sử dụng này qua người sử dụng
khác và từ phiên thu tín hiệu này sang phiên thu tín hiệu khác.
112
PHẦN KẾT LUẬN VÀ KIẾN NGHỊ
Nghiên cứu về tín hiệu sóng điện não và hệ giao diện não máy tính BCI đòi
hỏi sự liên kết giữa các vấn đề nghiên cứu khác nhau cả về công nghệ kết hợp với
phân tích và tìm hiểu lý thuyết thần kinh học và cấu trúc của não bộ. Luận án này đã
trình bày về các cơ sở lý thuyết tín hiệu điện não, hệ giao diện não – máy tính, đề
xuất một số phương pháp xử lý, phân tích tín hiệu điện não dựa trên học máy, trình
bày và phát triển hệ giao diện não máy tính ứng dụng trong điều khiển các thiết bị
điện tử gia dụng thông minh. Các tiếp cận giải quyết bài toán dựa trên các phương
pháp học máy cho thấy đây là một hướng đi phù hợp để tiến tới hiện thực hóa và
triển khai thực nghiệm hệ giao diện não máy tính này. Để cải tiến chất lượng của hệ
giao diện não máy tính, luận án đã đề xuất cách tiếp cận dựa trên việc kết hợp biến
đổi wavelet với mạng học sâu tự mã hóa thưa. Kết quả thực nghiệm cho thấy các
phương pháp được đề xuất đều cho kết quả tốt và có khả năng ứng dụng trong các
hệ BCI thực tế.
Những đóng góp khoa học chính của luận án bao gồm đề xuất 06 phương pháp
mới trong xử lý, phân tích tín hiệu điện não dựa trên học máy và hệ thống giao diện
não máy tính ứng dụng trong điều khiển thiết bị điện tử gia dụng thông minh:
Thứ nhất, khử tín hiệu điện não bất thường EOG tự động sử dụng mạng mã
hóa thưa – Sparse Autoencoder.
Thứ hai, nhận diện, dò đếm tín hiệu bất thường do nháy mắt EOG dựa trên
biến đổi wavelet với hàm cơ sở wavelet Haar và
Thứ ba, phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân
lớp SVM kết hợp biến đổi năng lượng wavelet tương đối,
Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron với đặc trưng lựa
chọn bởi phân tích thành phần chính,
Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu (deep neural
network),
113
Thứ sáu, đề xuất hệ giao diện não máy tính hoàn chỉnh trong điều khiển thiết
bị điện tử gia dụng.
Thứ bảy, phân loại tín hiệu điện não sử dụng mô hình dựa trên học cộng đồng,
Những kết quả thực nghiệm với các phương pháp đề xuất cho thấy:
- Sử dụng các phương pháp học máy là cách tiếp cận phù hợp trong xử
lý và phân tích tín hiệu điện não trong điều kiện tín hiệu điện não có tính chất không
dừng (non-stationary).
- Các phương pháp học có giám sát như mạng học sâu, mạng nơ-ron nhân
tạo, máy học vec-tơ hỗ trợ có khả năng phân loại trạng thái suy nghĩ tốt và có khả
năng được phát triển để thực hiện hệ BCI trong điều khiển thiết bị điện tử gia dụng
thông minh.
- Mô hình phân loại gồm các cấu phần tiền xử lý, trích chọn đặc trưng,
phân loại có ưu điểm hơn việc sử dụng các bộ phân loại trực tiếp trên tín hiệu EEG
thô.
- Học máy/trí tuệ nhân tạo có khả năng thực hiện các tác vụ mà không
cần học trước nếu được triển khai một cách thích hợp. Đây là cách tiếp cận gần với
tư duy con người: không cần được học mọi kiến thức để giải quyết các vấn đề mới
phát sinh.
- Mô hình phân loại dựa trên học sâu kết hợp phân ngưỡng SURE cho
lựa chọn thành phần chính có kết quả phân loại tốt nhất so với các mô hình được đề
xuất khác và so với các mô hình phân loại dựa trên học máy được dùng trong đối
sánh. Việc áp dụng thành công phương pháp phân ngưỡng thích nghi SURE cho
lựa chọn thành phần chính là cơ sở để áp dụng cách tiếp cận này trong các bài toán
sử dụng PCA khác.
- Khó tồn tại một mô hình phân loại tốt cho mọi trường hợp. Mô hình
học cộng đồng là một hướng đi thích hợp để thực hiện hệ BCI trong điều kiện tín
hiệu EEG có sự khác biệt từ người này sang người khác, từ thời điểm thu này sang
thời điểm thu khác.
114
- Thiết kế thí nghiệm đóng vai trò quan trọng trong việc thực hiện hiệu
quả hệ BCI.
Những nghiên cứu của luận án này cũng chỉ ra một số hạn chế đối với các
phương pháp được đề xuất cũng như cách tiếp cận giải quyết bài toán xử lý, phân
loại tín hiệu điện não, phát triển các hệ BCI theo hướng đã trình bày, cụ thể như sau:
- Những mô hình phân loại được đề xuất mới chỉ tích hợp phần khử tín
hiệu bất thường sinh ra do nháy mắt EOG để làm tăng chất lượng đầu vào cho hệ
thống. Trong điều kiện tín hiệu EEG rất dễ bị ảnh hưởng bởi các loại nhiễu, gây ảnh
hưởng nghiêm trọng đến thông tin thực sự sinh ra do các hoạt động của não bộ, tín
hiệu điện não sử dụng trong luận án này có thể bị tác động bởi nhiều loại nhiễu khác
gây ra do chuyển động, nói chuyện, cử động cơ, tim…
- Cách tiếp cận xây dựng cơ sở dữ liệu và thiết kế thí nghiệm dựa trên
phân loại tác vụ suy nghĩ có ưu điểm là không cần thêm thiết bị hỗ rợ như các cách
thức tạo ra các đặc trưng P300, N400, hình dung ảnh vận động, xung kích thích thị
giác trạng thái ổn định… nhưng tín hiệu thu được lại rất phụ thuộc vào việc đối
tượng tuân thủ chính xác hướng dẫn thí nghiệm. Việc tuân thủ này thường khá khó
xác nhận tính chính xác.
- Các mô hình phân loại đều đang sử dụng tín hiệu điện não thu được bởi
toàn bộ 14 điện cực của thiết bị EPOC+. Nhiều nghiên cứu khác trên thế giới chỉ ra
rằng trong một số tác vụ và thiết kế thí nghiệm nhất định, tín hiệu EEG từ một bộ
phận các điện cực, đặt ở các vị trí phù hợp, có thể đem lại kết quả tốt hơn là sử dụng
toàn bộ các điện cực.
Dựa trên phân tích ở trên, một số hướng nghiên cứu tiếp theo là:
- Thực hiện các hệ BCI dựa trên các phương pháp được đề xuất
- Phát triển các phương pháp dựa trên học cộng đồng như adaboost để
tăng cường khả năng phân loại tín hiệu điện não
115
- Tiếp tục áp dụng các phương pháp học máy để cải tiến DWSAE hướng
tới khử các loại nhiễu tín hiệu điện não khác cũng như loại nhiễu trên các loại tín
hiệu hình ảnh, âm thanh…
- Nghiên cứu và phát triển hệ BCI dựa trên đặc trưng P300, nhịp vận
động cảm giác và các đặc trưng tín hiệu điện não khác
- Tích hợp biến đổi wavelet package để cải tiến phương pháp DWSAE
- Phát triển các thuật toán huấn luyện mạng học sâu kết nối từng phần
(partly-connected), nút kích hoạt theo nhiệm vụ (activated by task) hướng đến xây
dựng máy học đa nhiệm
116
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ
1. Nguyen The Hoang Anh, Thanh Ha Le and The Duy Bui. A deep wavelet sparse
autoencoder method for online and automatic EOG artifact removal. Neural
Computing and Applications (2020). https://doi.org/10.1007/s00521-020-04953-0
(ISI-indexed)
2. Nguyen The Hoang Anh, T. T. Quyen Bui, Nguyen Truong Thang, Thanh Ha Le,
The Duy Bui. A Robust PCA-SURE Thresholding Deep Neural Network Approach
for Mental Task Brain Computer Interface. Journal of Informatics and Mathematical
Sciences. Journal of Informatics and Mathematical Sciences 11.3-4 (2019): 383-
406. ISSN 0975-5748 (online); 0974-875X (print)
3. Hoang-Anh The Nguyen, Anh Tuan Do, Thanh Ha Le and The Duy Bui. “A deep
sparse autoencoder method for automatic EOG artifact removal”, 2019 19th
International Conference on Control, Automation and Systems (ICCAS 2019), Oct.
15~18, 2019; ICC Jeju, Jeju, Korea, ISBN: 978-89-93215-18-2. IEEE.
4. Hoang-Anh The Nguyen, Thanh Ha Le, The Duy Bui. “A Stacking Ensemble
Learning Model for Mental State Recognition Towards Implementation of Brain
Computer Interface”, the 2019 6th NAFOSTED Conference on Information and
Computer Science (NICS), Dec. 12-13, 2019; Hanoi, Vietnam, p. 39-43, ISBN: 978-
1-7281-5162-5. IEEE,
5. Huy Hoang Tran, Hoang Anh T. Nguyen, Quoc-Vuong Do and Thanh Ha Le. “EOG
Detection using Haar Wavelet Transform toward implementation of an IOT Brain
computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018.
6. Nguyễn Thế Hoàng Anh, Huy Hoàng Trần, Anh Tuấn Đỗ, Quốc Vương Đỗ and
Thanh Hà Lê. “Phương pháp sử dụng mạng tự mã hóa thưa trong loại nhiễu tín hiệu
điện não tự động, theo thời gian thực”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 22,
2019.
7. Nguyen The Hoang Anh, Tran, H.H., Vu, T.T. and Bui, T.Q.2016, October. A
combination of independent component analysis, relative wavelet energy, and
support vector machine for mental state classification. In Control, Automation and
Systems (ICCAS), 2016 16th International Conference on (pp. 733-738). IEEE.
8. Nguyen The Hoang Anh, Hoang, T.H., Thang, V.T. and Bui, T.Q. 2016, November.
An Artificial Neural Network approach for electroencephalographic signal
classification towards brain-computer interface implementation. In Computing &
Communication Technologies, Research, Innovation, and Vision for the Future
(RIVF), 2016 IEEE RIVF International Conference on (pp. 205-210). IEEE.
117
9. Nguyễn Thế Hoàng Anh, Trần Huy Hoàng, Bùi Thị Thanh Quyên Phương pháp và
hệ thống thu nhận tín hiệu điện não để điều khiển thiết bị điện tử trong ứng dụng
nhà thông minh (Đơn sáng chế được Cục Sở hữu trí tuệ, Bộ KHCN chấp nhận đơn
hợp lệ).
118
TÀI LIỆU THAM KHẢO
1. Lupu, R. G., Irimia, D. C., Ungureanu, F., Poboroniuc, M. S., & Moldoveanu,
A. (2018). BCI and FES based therapy for stroke rehabilitation using VR facilities.
Wireless Communications and Mobile Computing, 2018.
2. Saeedi S, Chavarriaga R, Millán JD. Long-term stable control of motor-
imagery BCI by a locked-in user through adaptive assistance. IEEE Transactions on
Neural Systems and Rehabilitation Engineering. 2017 Apr;25(4):380-91.
3. Citi, L., Poli, R., Cinel, C., & Sepulveda, F. (2008). P300-based BCI mouse
with genetically-optimized analogue control. IEEE transactions on neural systems
and rehabilitation engineering, 16(1), 51-61.
4. Zhang, X.P. and Desai, M.D., 1998. Adaptive denoising based on SURE risk.
IEEE signal processing letters, 5(10), pp.265-267.
5. Churchland, P.S., Sejnowski, T.J. and Poggio, T.A., 2016. The computational
brain. MIT press.
6. Herculano-Houzel, S. (2009). The human brain in numbers: a linearly scaled-
up primate brain. Frontiers in human neuroscience, 3, 31.
7. Kevric, J. and Subasi, A., 2017. Comparison of signal decomposition methods
in classification of EEG signals for motor-imagery BCI system. Biomedical Signal
Processing and Control, 31, pp.398-406.
8. Ahi, S. T., Kambara, H., & Koike, Y. (2010). A dictionary-driven P300 speller
with a modified interface. IEEE transactions on neural systems and rehabilitation
engineering, 19(1), 6-14.
9. Wolpaw, J.R. and McFarland, D.J., 2004. Control of a two-dimensional
movement signal by a noninvasive brain-computer interface in humans. Proceedings
of the national academy of sciences, 101(51), pp.17849-17854.
10. Hotson, G., McMullen, D.P., Fifer, M.S., Johannes, M.S., Katyal, K.D., Para,
M.P., Armiger, R., Anderson, W.S., Thakor, N.V., Wester, B.A. and Crone, N.E.,
2016. Individual finger control of a modular prosthetic limb using high-density
119
electrocorticography in a human subject. Journal of neural engineering, 13(2),
p.026017.
11. Hamedi, M., Salleh, S.H. and Noor, A.M., 2016. Electroencephalographic
motor imagery brain connectivity analysis for BCI: a review. Neural computation,
28(6), pp.999-1041.
12. Farwell LA., Donchin E., "Talking off the top of your head: toward a mental
prosthesis utilizing event-related brain potentials," Electroencephalography and
Clinical Neurophysiology, 70 (6): 510–23, 1988.
13. Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R.,
“BCI2000: A general –purpose brain-computer interface system,” IEEE Trans. on
Biomedical Engineering, vol.51, no.6, 1034-1043, June 2004.
14. Naseer, N. and Hong, K.S., 2015. fNIRS-based brain-computer interfaces: a
review. Frontiers in human neuroscience, 9, p.3.
15. Kundu, P., Voon, V., Balchandani, P., Lombardo, M. V., Poser, B. A., &
Bandettini, P. A. (2017). Multi-echo fMRI: a review of applications in fMRI
denoising and analysis of BOLD signals. Neuroimage, 154, 59-80.
16. Glover, G. H. (2011). Overview of functional magnetic resonance imaging.
Neurosurgery Clinics, 22(2), 133-139.
17. Fleming, I.N., Manavaki, R., Blower, P.J., West, C., Williams, K.J., Harris,
A.L., Domarkas, J., Lord, S., Baldry, C. and Gilbert, F.J., 2015. Imaging tumour
hypoxia with positron emission tomography. British journal of cancer, 112(2),
p.238.
18. Sanei, S. and Chambers, J.A., 2013. EEG signal processing. John Wiley &
Sons.
19. Kim, J., Lee, J., Han, C. and Park, K., 2019. An Instant Donning Multi-
Channel EEG Headset (with Comb-Shaped Dry Electrodes) and BCI Applications.
Sensors, 19(7), p.1537.
120
20. Jung, T.P., Makeig, S., Humphries, C., Lee, T.W., Mckeown, M.J., Iragui, V.
and Sejnowski, T.J., 2000. Removing electroencephalographic artifacts by blind
source separation. Psychophysiology, 37(2), pp.163-178.
21. Rioul O., Vetterli M., Wavelet and signal processing, IEEE Signal Process
Mag.8(4)(2002)14–38.
22. Kalayci T., Ozdamar O., Wavelet preprocessing for automated neural network
detetion of EEG spikes, IEEE Eng. Med. Biol. Mag. 14(2) (1995) 160–166.
23. Rosso, O. A., Martin, M. T., Figliola, A., Keller, K., & Plastino, A. (2006).
EEG analysis using wavelet-based information tools. Journal of neuroscience
methods, 153(2), 163-182.
24. De Clercq, W., Vergult, A., Vanrumste, B., Van Paesschen, W. and Van
Huffel, S., 2006. Canonical correlation analysis applied to remove muscle artifacts
from the electroencephalogram. IEEE transactions on Biomedical Engineering,
53(12), pp.2583-2587.
25. Nguyen, H.A.T., Musson, J., Li, F., Wang, W., Zhang, G., Xu, R., Richey, C.,
Schnell, T., McKenzie, F.D. and Li, J., 2012. EOG artifact removal using a wavelet
neural network. Neurocomputing, 97, pp.374-389.
26. Donoho DL. De-noising by soft-thresholding. IEEE transactions on
information theory. 1995 May;41(3):613-27.
27. Pascual-Marqui, R.D., 2002. Standardized low-resolution brain
electromagnetic tomography (sLORETA): technical details. Methods Find Exp Clin
Pharmacol, 24(Suppl D), pp.5-12.
28. Vidal J.J., “Real-time detection of brain events in EEG,” Proceedings of
IEEE, 65 (5): 633–641, 1977.
29. Blankertz, B., Muller, K.R., Krusienski, D.J., Schalk, G., Wolpaw, J.R.,
Schlogl, A., Pfurtscheller, G., Millan, J.R., Schroder, M. and Birbaumer, N., 2006.
The BCI competition III: Validating alternative approaches to actual BCI problems.
IEEE transactions on neural systems and rehabilitation engineering, 14(2), pp.153-
159.
121
30. McFarland, D.J. and Wolpaw, J.R., 2017. EEG-based brain–computer
interfaces. current opinion in Biomedical Engineering, 4, pp.194-200.
31. Urigüen, J.A. and Garcia-Zapirain, B., 2015. EEG artifact removal—state-of-
the-art and guidelines. Journal of neural engineering, 12(3), p.031001.
32. Pizzagalli, D.A., 2007. Electroencephalography and high-density
electrophysiological source localization. Handbook of psychophysiology, 3, pp.56-
84.
33. Hagemann, D. and Naumann, E., 2001. The effects of ocular artifacts on
(lateralized) broadband power in the EEG. Clinical Neurophysiology, 112(2),
pp.215-231.
34. Li, X., Guan, C., Zhang, H. and Ang, K.K., 2017. Discriminative ocular
artifact correction for feature learning in EEG analysis. IEEE Transactions on
biomedical engineering, 64(8), pp.1906-1913.
35. Yang, B., Duan, K., Fan, C., Hu, C. and Wang, J., 2018. Automatic ocular
artifacts removal in EEG using deep learning. Biomedical Signal Processing and
Control, 43, pp.148-158.
36. Bengio, Y., Lamblin, P., Popovici, D. and Larochelle, H., 2007. Greedy layer-
wise training of deep networks. In Advances in neural information processing
systems (pp. 153-160).
37. Goodfellow I., Le Q., Saxe A., Lee H., and Ng A., “Measuring invariances in
deep networks,” in Proc. NIPS, Vancouver, Canada, 2009, pp. 646–654.
38. Zhu, C., Byrd, R.H., Lu, P. and Nocedal, J., 1997. Algorithm 778: L-BFGS-
B: Fortran subroutines for large-scale bound-constrained optimization. ACM
Transactions on Mathematical Software (TOMS), 23(4), pp.550-560.
39. Turnip, A., 2015. Comparison of ICA-Based JADE and SOBI methods EOG
artifacts removal. Journal of Medical and Bioengineering, 4(6).
40. Belouchrani, A., Abed-Meraim, K., Cardoso, J.F. and Moulines, E., 1997. A
blind source separation technique using second-order statistics. IEEE Transactions
on signal processing, 45(2), pp.434-444.
122
41. Bell, A. J., & Sejnowski, T. J. (1995). An information-maximization approach
to blind separation and blind deconvolution. Neural computation, 7(6), 1129-1159.
42. He, T., Clifford, G., & Tarassenko, L. (2006). Application of independent
component analysis in removing artefacts from the electrocardiogram. Neural
Computing & Applications, 15(2), 105-116.
43. Krishnaveni, V., Jayaraman, S., Anitha, L. and Ramadoss, K., 2006. Removal
of ocular artifacts from EEG using adaptive thresholding of wavelet coefficients.
Journal of Neural Engineering, 3(4), p.338.
44. Chiappa, S. and Barber, D., 2006. EEG classification using generative
independent component analysis. Neurocomputing, 69(7-9), pp.769-777.
45. Anderson, C.W., Stolz, E.A. and Shamsunder, S., 1998. Multivariate
autoregressive models for classification of spontaneous electroencephalographic
signals during mental tasks. IEEE Transactions on Biomedical Engineering, 45(3),
pp.277-286.
46. Zhang, X., Yao, L., Kanhere, S.S., Liu, Y., Gu, T. and Chen, K., 2017.
MindID: Person identification from brain waves through attention-based recurrent
neural network. ACM J. Comput. Cult. Herit., Vol. 9, No. 4, Article 39.
47. Grandchamp, R., Braboszcz, C. and Delorme, A., 2014. Oculometric
variations during mind wandering. Frontiers in psychology, 5, p.31.
48. Nguyen, H.A.T., Tran, H.H., Vu, T.T. and Bui, T.Q., 2016, October. A
combination of independent component analysis, relative wavelet energy, and
support vector machine for mental state classification. In Control, Automation and
Systems (ICCAS), 2016 16th International Conference on (pp. 733-738). IEEE.
49. Guo, L., Rivero, D., Seoane, J.A. and Pazos, A., 2009. Classification of EEG
signals using relative wavelet energy and artificial neural networks. In Proceedings
of the first ACM/SIGEVO Summit on Genetic and Evolutionary Computation (pp.
177-184).
50. Vapnik, Vladimir Naumovich, and Vlamimir Vapnik, Statistical learning
theory. Vol. 1. New York: Wiley, 1998.
123
51. Tong, S., & Koller, D. (2001). Support vector machine active learning with
applications to text classification. Journal of machine learning research, 2(Nov), 45-
66.
52. Harris, T. (2015). Credit scoring using the clustered support vector machine.
Expert Systems with Applications, 42(2), 741-750.
53. Burges, Christopher JC. "A tutorial on support vector machines for pattern
recognition." Data mining and knowledge discovery 2.2 (1998): 121-167.
54. Gavish, M. and Donoho, D.L., 2014. The optimal hard threshold for singular
values is 4/√3. IEEE Transactions on Information Theory, 60(8), pp.5040-5053.
55. Yu, C., Manry, M. T., Li, J., Narasimha, P. L., “An efficient hidden layer
training method for the multilayer perceptron,” Neurocomputing, Vol. 70, No. 1, pp.
525–535, 2006.
56. Abdi, H. and Williams, L.J., 2010. Principal component analysis. Wiley
interdisciplinary reviews: computational statistics, 2(4), pp.433-459.
57. LeCun, Y., Bengio, Y. and Hinton, G., 2015. Deep learning. nature,
521(7553), pp.436-444.
58. Deng L., Yu D., “Deep learning for signal and information processing,”
Microsoft Research Monograph, 2013.
59. Hinton, G.E., Osindero, S. and Teh, Y.W., 2006. A fast learning algorithm for
deep belief nets. Neural computation, 18(7), pp.1527-1554.
60. Zhang, X. L., & Wang, D. (2016). A deep ensemble learning method for
monaural speech separation. IEEE/ACM Transactions on Audio, Speech and
Language Processing (TASLP), 24(5), 967-977.
61. Kulesa A, Krzywinski M, Blainey P, Altman N. Points of significance:
Sampling distributions and the bootstrap. Nature Methods. 2015;12(6).
62. Wang, G., Hao, J., Ma, J., & Jiang, H. (2011). A comparative assessment of
ensemble learning for credit scoring. Expert systems with applications, 38(1), 223-
230.
124
63. Tresp, V., 2000. A Bayesian committee machine. Neural computation, 12(11),
pp.2719-2741.
64. Mai, J. K., Majtanik, M., & Paxinos, G. (2015). Atlas of the human brain.
Academic Press.
65. Huy Hoang Tran, Hoang Anh T. Nguyen, Quoc-Vuong Do and Thanh Ha Le,
“EOG Detection using Haar Wavelet Transform toward implementation of an IOT
Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018.
66. Nguyen The Hoang Anh, T. T. Quyen Bui, Nguyen Truong Thang, Thanh Ha
Le, The Duy Bui. A Robust PCA-SURE Thresholding Deep Neural Network
Approach for Mental Task Brain Computer Interface. Journal of Informatics and
Mathematical Sciences, 11(3-4), pp.383-406.
67. Ng, A., 2011. Sparse autoencoder. CS294A Lecture notes, 72(2011), pp.1-19.
68. Blankertz, B., Losch, F., Krauledat, M., Dornhege, G., Curio, G. and Müller,
K.R., 2008. The Berlin Brain-Computer Interface: Accurate performance from first-
session in BCI-naive subjects. IEEE transactions on biomedical engineering, 55(10),
pp.2452-2462.