1

Klasifikasi Emosi Berdasarkan Gelombang OtakSinyal EEG Menggunakan Metode k-Nearest

NeighbourImania Puspita Sari1, Dr. Diah Puspito W, ST., M.Sc.1 and Dr. Ir. Yoyon Kusnendar S, M.Sc.1

1Departmen Teknik Komputer, Fakultas Teknologi Elektro, Institut Teknologi Sepuluh NopemberEmail : imania.puspita.sari13@mhs.te.its.ac.id, diah@te.its.ac.id, yoyonkusnendar@ee.its.ac.id

Abstrak—Penelitian mengenai pengenalan emosi pada manusiabeberapa diantaranya menggunakan ekspresi wajah, suara, dansinyal EEG sebagai datanya. Pada penelitian kali ini digunakansinyal EEG. Electroencephalography atau EEG merupakan suatuteknik pencitraan medis yang mampu mencatat hasil pereka-man aktivitas listrik di kulit kepala manusia. Data berupasinyal EEG didapatkan dari DEAP Dataset yang terdiri darirekaman gelombang otak 32 orang responden. Selama prosesperekaman, setiap responden distimulus dengan beberapa videomusik dan diminta melakukan sebuah self assessment terhadaptingkat valence dan arousal. Sinyal EEG yang digunakan diambildari empat channel yaitu F8, T7, F3, dan C4. Sinyal terse-but kemudian didekomposisi menjadi lima kelompok frekuensiberbeda (alpha, beta, gamma, delta, theta) dan ditransformasikanmenggunakan Continous Wavelet Transform fungsi sym8. Prosesklasifikasi dilakukan menggunakan metode k-Nearest Neighbourdan dilakukan pengujian untuk mengetahui kinerjanya. Denganmengubah beberapa parameter seperti nilai k, frekuensi, sertachannel, maka didapatkan nilai f-measure tertinggi sebesar 0,82ketika melibatkan frekuensi delta dan 0,78 ketika melibatkanseluruh frekuensi tanpa frekuensi theta.

Keywords—Emosi; EEG; Wavelet Transform; K-Nearest Neigh-bour

Abstrak—Some research on human emotion recognition usingfacial expressions, voices, and EEG signals as the data. In thisresearch, EEG signal are used. Electroencephalography or EEG isa medical imaging technique which is able to record the electricalactivity in the human scalp. The data in the form of EEG signalsobtained from DEAP Dataset which is consist of recordings of brainwaves 32 people respondents. During the recording process, eachof the respondents stimulated with some musicvideos and asked todo a self assessment against the level of arousal and valence. EEGsignals that are used are taken from the four channel T7, F8, F3,and C4. Then, the signal is decomposed into five groups of differentfrequencies (alpha, beta, gamma, delta, theta) and transformedusing Continous Wavelet Transform function sym8. The processof classification is performed using k-Nearest Neighbour and dotesting to know its performance. By changing some parameterssuch as the value of k, the frequency, and channel, then the f-measure is obtained the highest value in 0.82 when involving deltafrequencies and 0.78 when involves the entire frequency withoutfrequency theta.

Keywords—Emotion; EEG, Wavelet Transform, K-NearestNeighbour

I. PENDAHULUAN

EMOSI merupakan salah satu fitur penting dan kompleksyang dimiliki oleh manusia [1]. Keberadaan emosi ini

juga penting terkait dengan hubungan antara manusia danmesin. Tanpa adanya kemampuan mengolah emosi, mesinatau komputer akan kesulitan bahkan tidak bisa berkomu-nikasi dengan manusia secara alami. Seperti yang kita ketahuibahwa keberadaan mesin kini dapat membantu kerja manusiasehingga lebih mudah, namun hal tersebut tentunya tidakakan tercapai ketika mesin tidak dapat memahami bahasadan maksud manusia, dalam hal ini yang dimaksud adalahemosi. Beberapa tahun terakhir, penelitian pada bidang HumanComputer Interaction (HCI) sedang fokus pada penguatanfungsi mesin dalam mengenali dan memahami emosi manusia.Sebagian besar diantaranya menggunakan pengenalan wajah,namun adapula yang menggunakan sinyal gelombang otakatau Electroencephalograph (EEG) ketika responden diperden-garkan musik atau sebuah video [2].

Electroencephalography (EEG) merupakan teknik penci-traan medis yang memungkinkan untuk membaca aktivitaslistrik di kulit kepala yang dihasilkan oleh struktur otak. Elec-troencephalogram adalah alat untuk merekam aktivitas listrikdari otak dengan menggunakan pena yang menulis di atasgulungan kertas. Tes ini mampu menunjukkan tanda penyakitalzheimer dan epilepsy. Sumber lain menjelaskan bahwa EEGadalah sebuah pemeriksaan penunjang yang berbentuk reka-man gelombang elektrik sel saraf yang berada di otak yangmemiliki tujuan untuk mengetahui adanya gangguan fisiologifungsi otak [3]. Para peneliti meyakini bahwa keadaan otakikut berubah seiring dengan perubahan yang terjadi padaperasaan seseorang sehingga EEG ini cocok untuk melakukanperekaman adanya perubahan gelombang otak yang berbeda-beda sesuai dengan perasaan atau emosi[4]. EEG memi-liki beberapa kelebihan sehingga dipilih untuk mempelajariemosi manusia. Beberapa kelebihannya yaitu high-speed, non-invasive dan tidak menimbulkan rasa sakit pada subjek. Haltersebut penting untuk mendapatkan emosi asli dari subjek[3]. Namun perlu diperhatikan adanya beberapa noise diluarobjek pengukuran yang mungkin muncul seperti halnya faktorkelelahan tubuh atapun faktor eksternal lainnya [4].

Electroencephalograph (EEG) dapat didekomposisi ke

2

dalam lima frekuensi berbeda yaitu delta, theta, alpha, beta,dan Gamma. Rentang frekuensi tersebut menunjukkan adanyaperbedaan kondisi fisik pada seseorang [5], akan tetapi pemba-gian frekuensi tersebut belum cukup untuk mengenali emosiseseorang. Sebab, dalam sebuah rekaman sinyal EEG terda-pat beberapa frekuensi berbeda yang membentuk pola ter-tentu. Dengan mengalami proses ekstraksi fitur menggunakanContinous Wavelet Transform (CWT) dan metode pengelom-pokan kNN (k-Nearest Neighbour), diharapkan dapat menge-nali keadaan emosi seseorang.

II. DESAIN SISTEM DAN IMPLEMENTASI

Tujuan dari penelitian ini yaitu dapat mengenali dan mengk-lasifikasi emosi manusia ke dalam 2 kelompok emosi yaituemosi senang dan tidak senang. Dengan menggunakan sinyalEEG, berikut ini adalah alur metodologi yang dilalui untukmencapai tujuan tersebut di atas.

Gambar 1: Diagram Alur Metodologi PengklasifikasianEmosi pada Sinyal EEG

1) Pengumpulan DataSinyal EEG yang dijadikan input atau masukan

untuk proses klasifikasi didapatkan dari DEAP Dataset[6]. Sinyal tersebut merupakan sinyal preprocessed data,sudah dihilangkan noise dan artefact nya serta sudahmelalui proses downsample sehingga frekuensi sam-plingnya menjadi 128 Hz. Kemudian sinyal-sinyal terse-but dipilih sesuai dengan kriteria atau parameter yangsudah ditentukan yakni dengan melihat nilai valence danarousalnya serta memilih channel tertentu.

2) Preprocessing DataSetelah semua data yang memenuhui kriteria dan

parameter dikumpulkan, sinyal-sinyal tersebut akan didekomposisi ke dalam lima kelompok frekuensi gelom-bak otak yakni delta, theta, alpha, beta dan gamma.Setelah didekomposisi, sinyal tersebut ditransformasikandengan menggunakan metode wavelet transform.

Wavelet adalah sebuah bentuk gelombang dengandurasi terbatas yang memiliki nilai rerata nol [7] . JikaFourier Transform mengubah sinyal berdomain waktumenjadi domain frekuensi, maka Wavelet Transformmengubah sinyal berdomain waktu menjadi berdomainskala-waktu. Sedangkan Continous Wavelet Transformadalah jumlah keseluruhan sinyal yang telah dikalikandengan fungsi wavelet yang berskala atau dapat dilihatpada persamaan 1.

C(s,τ) =

∫ ∞−∞

f(t)ψ(s,τ) (1)

Setelah didekomposisi dan ditransformasikan den-gan fungsi CWT, maka didapatkan nilai koefisian CWTuntuk setiap kelompok frekuensi. Langkah berikutnyaadalah menghitung nilai entropy dari setiap koefisientersebut.

3) Klasifikasi DataProses klasifikasi data menggunakan metode K-

Nearest Neighbour. k-Nearest Neighbour adalah algo-ritma supervised learning yang sederhana dan banyakdigunakan untuk melakukan proses klasifikasi padasinyal dan gambar [4]. Pengambilan keputusan padakNN dilakukan berdasarkan nilai mayoritas sejum-lah k-titik terdekat dengan data yang akan diklasi-fikasikan. Dengan kata lain, suatu data uji akan diklasi-fikasikan berdasarkan data training sejumlah titik yangdiinginkan. Menentukan jarak antar titik terdekat dihi-tung berdasarkan jarak Euclidian dengan perhitungansebagai berikut [8]:

di =

√√√√ p∑i=1

(x2i − x1i)2 (2)

dengan x1i sebagai data training, x2i sebagai data test-ing, p sebagai dimensi data dan d adalah jarak atauEuclidian.

3

Gambar 2: Flowchart Algoritma k-Nearest Neighbour

Ketepatan algoritma kNN, salah satunya dipengaruhioleh ada tidaknya fitur-fitur yang tidak relevan atauterlalu berpengaruh nilainya selama proses klasifikasi.Beberapa penelitian yang menggunakan kNN melakukanpercobaan hingga berkali-kali dengan beberapa skenariopengurangan fitur hingga didapatkan fitur-fitur yangberpengaruh terhadap nilai klasifikasi.

III. PENGUJIAN

Untuk mengetahui bagaimana performansi suatu metode,maka diperlukan suatu proses pengujian. Pada tugas akhir ini,proses pengujian data menggunakan perhitungan F-measureyang persamaannya dapat dilihat pada persamaan 3.

F =2× precision× recall

precision+ recall(3)

Pengujian yang dilakukan terdiri dari tiga skenario pengu-jian dengan data dan parameter yang berbeda-beda. Skenariopengujian yang dilakukan adalah:

A. Pengujian Jumlah Channel

Total keseluruhan data yang digunakan berasal dari 4 chan-nel yakni channel F8, T7, F3 dan C4. Pengujian pertamaini melibatkan seluruh channel dan menggunakan nilai rata-rata f-measure. Diambil nilai rata-rata F-measure karena padasetiap channel menggunakan setidaknya 11 tipe parameter

yang berbeda, yaitu perhitungan F-measure ketika menggu-nakan kelima frekuensi, ketika menggunakan per frekuensi,dan ketika dikurangkan satu frekuensi untuk perfrekuensinya.Gambar menunjukkan perbedaan performansi nilai rata-rata F-measure di setiap channel untuk semua nilai K.

Gambar 3: Perbandingan nilai F-measure untuk setiap nilai K

Dengan melihat visualisasi data pada gambar , setiap titik-titik data saling terhubung menjadi suatu garis, dan setiap garismewakili setiap channel. Garis berwarna biru menyatakan nilaiF-measure untuk keempat channel yakni F8, T7, F3, dan C4.Jika dibandingkan dengan 4 single channel lainnya, dapatdilihat bahwa grafik untuk keempat channel menunjukkankonsistensi nilai data dan nilainya relatif lebih tinggi dibandingdengan keempat channel lainnya, nilai maksimum f-measurepada pengujian ini yakni sebesar 0,63. Dengan melihat grafiktersebut dapat disimpulkan bahwa penambahan jumlah chan-nel berpengaruh terhadap kenaikan nilai f-measure. Semakinbanyak channel yang digunakan maka nilai f-measure jugasemakin tinggi.

B. Pengujian Frekuensi

Selain melakukan proses pengujian terhadap pengaruh jum-lah channel, juga dilakukan pengujia terhadap frekuensi. Padatahap pengujian frekuensi ini, proses pengujian akan dibagike dalam dua jenis yakni pengujian frekuensi tunggal dengankelima frekuensi dan pengujian dengan pengurangan satufrekuensi dari kelima frekuensi.

1) Pengujian terhadap Frekuensi TunggalPada pengujian ini, akan nilai f-measure pada setiapfrekuensi akan dibandingkan dengan nilai f-measurepada kelima frekuensi untuk melihat channel ataufrekuensi manakah yang berpengaruh terhadap nilai f-measure.Jika dilihat pada gambar , terlihat bahwa nilai f-measureberada di posisi tinggi atau nilai yang relatif lebhhtinggi pada saat menggunakan kelima frekuensi secarabersamaan dan pada saat hanya menggunakan frekuensiDelta. Grafik untuk frekuensi Delta mencapai maksi-mum dengan nilai f-measure sebesar 0,82. Sedangkan

4

Gambar 4: Perbandingan nilai F-measure untuk setiapfrekuensi

untuk frekuensi lainnya kisaran nilainya masih berada dibawah nilai frekuensi Delta. Melihat sebaran nilai ini,dapat disimpulkan bahwa Frekuensi Delta merupakanFrekuensi yang memiliki pengaruh besar dalam naiknyaatau tinggi nya nilai f-measure.

2) Pengujian terhadap Pengurangan Frekuensi Jikapada poin sebelumnya yang diujikan adalah satu persatu frekuensi, maka pada poin ini yang diujikan yaknidengan mengurangkan satu frekuensi. Pengujian ini di-lakukan untuk mengetahui frekuensi-frekuensi mana sa-jakah yang mungkin tidak atau kurang berpengaruh ter-hadap nilai F-measure khususnya dalam proses pengk-lasifikasian emosi senang dan tidak.

Gambar 5: Perbandingan nilai F-measure untuk setiapfrekuensi

Gambar menunjukkan nilai untuk kelompok frekuensitanpa Theta memiliki nilai yang relatif lebih tinggi biladibandingkan dengan kelompok frekuensi lainnya yaknidengan nilai maksimum f-measure sebesar 0,78. Selainitu, disusul dengan kelompok frekuensi tanpa Beta.Dengan ini dapat disimpulkan bahwa frekuensi Thetamerupakan frekuensi yang paling kurang berpengaruh

terhadap nilai f-measure.

C. Pengujian Jumlah K

Setelah melakukan proses pengujian terhadap jumlah chan-nel dan variasi penggunaan frekuensi, di tahap pengujian yangketiga ini yang akan diuji adalah pengaruh perubahan nilai K.

Gambar 6: Perbandingan nilai F-measure untuk setiap nilai K

Grafik tersebut menggunakan kelompok frekuensi tanpaTheta dan frekuensi Delta, karena pada pengujian sebelumnyakelompok ini memiliki sebaran nilai f-measure yang lebihtinggi dari kelompok lainnya. Untuk frekuensi delta yangdirepresentasikan menggunakan warna jingga, dapat dilihatbahwa grafiknya mengalami kenaikan nilai. Nilai f-measurecenderung meningkat dan semakin tinggi ketika nilai k nyasemakin besar dan nilai f-measurenya maksimal pada titikk = 17 dengan angka 0.82 dari skala 0 hingga 1. Sedangkanpada frekuensi tanpa theta, nilai f-measure cenderung menurundan semakin kecil ketika nilai k nya semakin besar, dan nilaif-measurenya maksimal hanya pada titik k = 5 yakni dengannilai 0, 78 dari skala 0 hingga 1 .

IV. KESIMPULAN

Dalam tugas akhir ini, proses klasifikasi emosi darisinyal otak gelombang EEG dilakukan dengan melakukanpengumpulan data dari DEAP Dataset kemudian data yangada dilakukan ekstraksi fitur berupa nilai entropy dan dik-lasifikasikan dengan metode kNN. Dari tahapan metodologitersebut hingga proses pengujian, maka didapatkan kesimpulansebagai berikut :

1) Nilai rata-rata F-Measure cenderung stabil pada angkayang tinggi ketika melibatkan banyak channel biladibandingkan dengan nilai f-measure untuk single chan-nel seperti yang dapat dilihat pada gambar III-A.

2) Pada pengujian terhadap frekuensi, didapatkan hasila) frekuensi delta merupakan frekuensi yang paling

berpengaruh dalam penelitian ini yakni dengannilai f-measure sebesar 0, 82 dari skala 0 hingga1, seperti yang dapat dilihat pada gambar 4.

5

b) frekuensi theta merupakan frekuensi yang palingkurang berpengaruh dalam penelitian ini yaknidengan nilai f-measure untuk tanpa frekuensi thetasebesar 0, 78 dari skala 0 hingga 1, seperti yangdapat dilihat pada gambar 2.

3) Pada pengujian nilai k didapatkan hasil (lihat gambar 6)a) Ketika melibatkan kelompok frekuensi yang

banyak, nilai f-measure menurun seiring kenaikannilai k. Nilai f-measure tertinggi sebesar 0, 78 padanilai k = 5 yakni ketika pengujian menggunakanseluruh frekuensi tanpa frekuensi theta.

b) Ketika melibatkan satu frekuensi, nilai f-measuremeningkat seiring kenaikan nilai k. Nilai f-feasuretertinggi sebesar 0, 82 pada nilai k = 17 yakniketika pengujian hanya menggunakan frekuensidelta.

DAFTAR PUSTAKA

[1] S. G. Aydin, T. Kaya, and H. Guler, “Wavelet-based study of va-lence–arousal model of emotions on eeg signals with labview,” BrainInformatics, vol. 3, pp. 109–117, Jan 2016.

[2] S. Koelstra, C. Muhl, M. Soleymani, J. S. Lee, A. Yazdani, T. Ebrahimi,T. Pun, A. Nijholt, and I. Patras, “Deap: A database for emotion analysis;using physiological signals,” IEEE Transactions on Affective Computing,vol. 3, pp. 18–31, Jan 2012.

[3] M. Teplan, “Fundamental of eeg measurement,” IEEE MeasurementScience Review, vol. 2, pp. 1–11, 2002.

[4] M. Murugappan, “Human emotion classification using wavelet transformand knn,” in 2011 International Conference on Pattern Analysis andIntelligence Robotics, vol. 1, pp. 148–153, June 2011.

[5] S. Saeid and C. J.A., EEG Signal Processing. John Wiley Sons, Ltd,2007.

[6] I. Patras, “Deapdataset : a dataset for emotion analysis using eeg,physiological and video signals,” Januari 2012.

[7] Baharuddin and R. Anggraini, “Transmisi citra medis pada kanal wire-less,” Teknika UNAND, vol. 2, April 2008.

[8] S. R. Yohanes, L. A. S.M, and S. S. R.U.A, “Simulasi sistem pengacaksinyal dengan metode fft,” e-journal Teknik Elektro dan Komputer, 2014.