뇌파 기반 수학교육 프로젝트

2015.11.10.

김종진, 이승주거북거북

뇌파 기반 프로젝트 개요

뇌파를 활용한 수학교육연구란 무엇일까?

- 왜 뇌파인가?

- 어떤 이점이 있을까?

- 어떤 요소를 갖추어야 할까?

- 요구되는 관련 지식은 무엇일까?

- 선행연구는 무엇이 있나?

- 선행연구를 통해 얻을 수 있는 점은?

- 선행연구에서의 비판점과 개선점은?

뇌파 기반 프로젝트 개요

1. 이론적 배경

2. 연구문제

3. 연구방법

4. 결론

~~에서 학생들의 오개념 / 학습의 어려움 발견

어떻게 하면 이를 극복할 수 있을까?

사전 Test

교육적 처방

사후 Test : 지필검사 등의 결과를 분석

기존의 수학교육 연구

뇌파 기반 프로젝트 개요

1. 이론적 배경

2. 연구문제

3. 연구방법

4. 결론

사전 Test

교육적 처방

+ 뇌파

+ 사고 과정에 관한 분석이 가능사후 Test : 지필검사 등의 결과를 분석

+ 심리상태 등의 기존 설문지나지필검사 등으로 알기 어려웠던 것들에 대한 연구가 가능

~~에서 학생들의 오개념 / 학습의 어려움 발견

어떻게 하면 이를 극복할 수 있을까?

기존의 수학교육 연구 + 뇌파로 Upgrade

뇌파 기반 프로젝트 개요

1. 이론적 배경

2. 연구문제

3. 연구방법

4. 결론

? 연구문제

? 실험 과제 설정 – Well-define 하는 것이 중요!

? 어떤 지표를 분석할 것인가

• 뇌파 생각• 뇌파 두뇌활동의 정도• 측정 시 Noise 의 위험성 ↑

? 결과를 어떻게 해석할 것인가

? 참고할 만한 선행연구

계획시 고려해야 할 점

의학

신호처리이론

하드웨어, 코딩통계학

생물학

뇌파 기반 프로젝트 개요

어디까지 알아야 할까?

EEGEEG

뇌파 기반 프로젝트 개요 DATA 추출 이후에??어떻게 분석하지??

연구 문제

과제 설정

뇌파 측정

지표 설정

의미 해석

근거로 삼을만한 과학적 사실이나 선행연구를 참고(Like axiom)

참고 - 측정 부위

International 10-20 system

F-Frontal lobeT-Temporal lobeC-Central lobeP-Parietal lobeO-Occipital lobe

Fp1 Cognitive emotional valence

Fp2 Emotional inhibition

F7 Working memory

F8 Prosody

F3 Short-term memory – verbal episodic retrieval

F4 Short-term memory – spatial/object retrieval

C3, C4 Sensory & Motor functions

F8 Prosody

T3 Language comprehension

T4 Personality

T5 Meaning construction

T6 Facial recognition

P3 Information organization problems

P4 Visual processing

O1, O2 Visual processing

Left Right

참고 – 지표 1.집중지표강병근, <뇌파 집중력 분석을 이용한 제어 신호 발생>

연구문제 – 집중력을 나타내는 EEG parameter는 무엇일까?

결론 – , , , 등 여러 지표를 비교한 결과 집중 상태와 휴식 상태에 가장 달라지는 index는

참고 – 지표 2.CoherenceR.W. Thatcher, <EEG and Intelligence : Relations between EEG coherence, EEG phase delay and power >

실험과정 – Weschler 지능검사 후 IQ가 높은 그룹과 낮은 그룹 으로 나누어 뇌파를 측정

결론 – EEG Coherence 가 IQ와 밀접한 관련이 있음을 발견- Neural efficiency 와 Brain Complexity가 지능과 관련이 깊다

연구문제 – 지능과 관련 있는 EEG parameter 는 무엇일까?

권석원, <뇌파 기반 초등학교 과학영재 변별척도 개발>

실험과정 – 기존의 영재 판별 검사 후 분류된 두 그룹의 뇌파를 관찰

결론 – EEG Coherence 에서의 유의미한 차이를 발견- 과학영재아는 일반아에 비해 전뇌 사용이 더 뛰어나다

연구문제 – 과학영재아와 일반아를 신경생리학적으로 판별할 수 있는 척도 개발

참고 – 연구Hyangsook Lee, <THE BRAIN AND LEARNING: EXAMINING THE CONNECTION BETWEEN BRAIN ACTIVITY, SPATIAL INTELLIGENCE, AND LEARNING OUTCOMES IN ONLINE VISUAL INSTRUCTION>

연구문제 – 공간지능과 두뇌 활동에는 어떠한 관계가 있는가학습에서 시각자료 제시형태에 따른 학습결과는 어떠한가

실험과정 – Neurosky 로 1ch 측정 / 남 47, 여 73 명 / alpha power 분석

MentalRotation

High

Low

2D

3D

Still frame

Animation

Still frame

Animation

RecallTask

EEG Recording EEG Recording

LASIK surgery process

참고 – 연구Hyangsook Lee, <THE BRAIN AND LEARNING: EXAMINING THE CONNECTION BETWEEN BRAIN ACTIVITY, SPATIAL INTELLIGENCE, AND LEARNING OUTCOMES IN ONLINE VISUAL INSTRUCTION>

결론

(X) Visual presentation style─alpha power

(O) Visual presentation styles ─ recall

(X) Low and high spatial intelligence groups ─ alpha power

(X) Low and high spatial intelligence groups ─ recall

(O) Spatial intelligence and visual presentation styles ─ alpha power

⋮

개선점

- Neurosky의 data 처리 과정에 대한 맹신

- 한 가지 지표만을 사용(alpha power)

⋮

참고 – 제언

기타 지표

- ERP (Event Related Potential)

- ERS/ERD (Event Related Synchronization / Event Related Desynchronization)

- Phase delay

- Absolute power / Relative power

⋮

의미 해석이 중요

심리학 / 인지과학 연구와의 차별화

- Well-define 된 과제와 교육적 처방에 의한 변화가 필수 요소가 되어야 함

- 뇌파는 어디까지나 가설과 결론을 탄탄하게 뒷받침하는 근거가 되는 것

Neurosky를 활용한뇌파 분석 방법

2015.11.10 (Tues.)

Jongjin Kim

뇌파 분석 단계

Signal Acquisition

- Device

Signal Processing

- Python Coding

Statistical Processing

- Excel, R

Results

- Table & Figure

뇌파 데이터

• 뇌파 데이터의 포맷은 뇌파 측정장비에 따라 다르다.

• Raw Data 확장자• .edf (European Data Format) – 뇌파 Data Format• .eeg (ElectroEncephaloGraphy) - 뇌파 Data Format• .txt (text file) – raw data의 나열• .csv (Comma Seperated Variable) – raw data의 나열 comma로 구분됨• 등등..

• txt나 csv 파일은 같은 확장자일지라도 Data의 포맷이 다를 수 있다.

• raw data가 어떻게 주어지는지를 아는 것이 뇌파 분석의 시작.

Data1 – Bandtest.txt in Bandtest

• 측정장비에 대한 정보 및 Sampling Rate 등을 담는 Header가 없다.

• 각 Data가 어느 시간에 찍혔는지를 알려주는 TimeStamp도 없다.

• 16채널의 뇌파 정보를 제공하지만, 각 채널의 지점에 대한 정보가 없다.

• 채널 별 데이터가 Time series. 주파수 분석을 위해서 Coding이 필요.

• 이러한 형태의 time series data는 분석의 자유도가 더 높지만, 분석이 어렵다.

Data2 – OpenBCI_Alpha.txt in Alphatest

• 측정장비 – OpenBCI

• Header – 5 rows

• 1st Column Data– timestamp

• 2nd~last Column Data - 8channel + 1 Aux

OpenBCIOpenBCI는 머리에 각 node를 직접 붙이는 방식각 node의 위치를 실험자가 기억을 해야 함. (Data 안에는 나타나지 않는다.)Data 2는 EEGHacker 로부터 받은 것으로 정확한 실험 설계를 알기 어렵다.직접 실험할 경우 자유도가 높으며 교육 환경으로의 적용에 적당하다.

Data3 – NeuroSky Data

Data3 – NeuroSky Data

• raw Data• 대표 주파수별 파워 (Delta, Theta, L/H Alpha, L/H Beta, L/H Gamma)• 집중도와 이완도(Attention and Meditation)

• Time Series 역시 제공됨• Brainwave Visualizer에서 확인 가능. • Consider() 모듈에는 time series를 받을 수 없다.• NeuroPy() 모듈에 Raw data 존재.

• 1채널, 전두엽에 한정된다.• Coherence 분석에 사용할 수 없음.

Data3 – NeuroSky

• Bluetooth 통신과 Thinkgear 프로토콜을 거친 Raw data는 각 주파수별 파워로 제공된다.

• 제공되는 Data의 Processing 과정은 Neurosky Developer에서 확인가능.

NeuroSky Programs

• NeuroSky Apps• Mindwave Visualizer• http://store.neurosky.com/collections/apps

• Python Modules• Thinkgear - Thinkgear Protocol• NeuroPy – interface with headset• NeuroPi – Raspberry Pi• Consider – parser for thinkgear• Mindcontrol – python wrapper

Neurosky를 활용한LED 제어 체험 과정

2015.11.10(Tues.)

Jongjin Kim

이론적 배경 – Constructionism

구성주의 (Constructivism)학습은 학습자의 인지구조의 구성이며 새로운 경험을 마주할 때

자신의 인지구조 안에 포함시키는 동화(Assimilation) 또는자신의 인지구조를 변화시켜 받아들이는 조절(Accomodation) 작용

에 의한 내적 평형상태(Equilibrium)를 이루는 것이다.

Constructionism – 구성주의 + 학생이 학습할 수 있는 환경을 제공해야 한다.LOGO – ‘가자’와 ‘돌자’를 기반으로 Turtle Geometry를 할 수 있는 환경

“컴퓨터로부터 정말 배우려면, 아이들은 프로그래머가 되어야 한다＂

이론적 배경 – Educational Neuroscience

인지신경과학

교육철학

교육공학교육이론

발달인지신경과학

연구 문제

• 학생들이 뇌파를 학습할 수 있는 환경은 어떠한 것이 있을까?

• 뉴로피드백을 이용한 교육과정을 개발할 수 있을 것인가?

Brain-controlled Hexbug Robot

• 영상

https://youtu.be/zlUZ6bhUcBk

Outline

Bluetooth

ThinkGear

SerialDigitalOutput

Embedded Programming

LED On Off 시연

Code Analysis #1

# 필요한 library들을 import# consider – Thinkgear Parser# sound – 뇌파에 반응해 소리가 나타나도록 설정하는 library

# CWD – 현재 작업폴더 설정# PORT – Arduino Port 설정# BAUDRATE – Serial 통신을 위한 설정

Code Analysis #2

# File명에 현재시간이 들어가도록 설정.# .csv 파일로 Output file을 생산.# Header에 각 column별 이름을 넣도록 설정# KeyboardInturrupt (Ctrl+C 시에 파일이 닫히도록 설정)# main이 실행되면 record(out) 함수가 실행된다.

# main() 함수를 실행 시 수행한다.

Code Analysis #3

# con – Thinkgear protocol을 얻기 위한 cursor# threshold 값들을 설정(학생이 조작할 수 있도록 하면 더욱 좋을 것)# ser – Arduino와 연결된 Serial port Open

# p : packet_generator 에서 온 packet으로 뇌파 정보를 포함# data를 ,로 나누어서 file에 쓴다.

Code Analysis #4

# 조건에 따라 print와 함수를 호출# meditation threshold를 넘을 경우sound.play_meditation_sound() 함수 호출 및 씨리얼 통신에 l command를 쓴다.

# Arduino쪽에서는 Command Handler 필요.

Hexbug.ino

• 아두이노에 Hexbug.ino 파일을 업로드하여 Embedded로 돌아갈 수있도록 설정.

Event Handler Command Handler

Event가 도착하면, LED가 On/Off 되도록 설정

감사합니다.

참고문헌

Fang Chen, <Cognitive Load Measurement using Physiological Features>

강병근, <뇌파 집중력 분석을 이용한 제어 신호 발생>

Steven Warner, <Cheat Sheet for Neurofeedback>

R.W. Thatcher, <EEG and Intelligence : Relations between EEG coherence, EEG phase delay and power >

권석원, <뇌파 기반 초등학교 과학영재 변별척도 개발>

자바매쓰 http://www.javamath.com