저 시-비 리- 경 지 2.0 한민

는 아래 조건 르는 경 에 한하여 게

l 저 물 복제, 포, 전송, 전시, 공연 송할 수 습니다.

다 과 같 조건 라야 합니다:

l 하는, 저 물 나 포 경 , 저 물에 적 된 허락조건 명확하게 나타내어야 합니다.

l 저 터 허가를 면 러한 조건들 적 되지 않습니다.

저 에 른 리는 내 에 하여 향 지 않습니다.

것 허락규약(Legal Code) 해하 쉽게 약한 것 니다.

Disclaimer

저 시. 하는 원저 를 시하여야 합니다.

비 리. 하는 저 물 리 목적 할 수 없습니다.

경 지. 하는 저 물 개 , 형 또는 가공할 수 없습니다.

공학석사학 청구논문

디지털 보청기에서의 포먼트 강조에 의한 음향 마스킹

효과 연구

AStudyonAcousticMaskingEffectbyFormant

EnhancementinDigitalHearingAid

2009년 2월

인하 학교 학원

자공학과(정보공학 공)

유용

지도교수 이 상 민

이 논문을 석사학 논문으로 제출함

이 논문을 유용의 석사학 논문으로 인정함

년 월 일

주심

부심

원

- ii -

목 차

그림 목차 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․ ii

표 목차 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․․ iii

국문 요약 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․ iv

문 요약 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․ vi

I.서론 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․ 1

II.이론 배경 ․․․․․․․․․․․․․․․․․․․․․․․․․․ 4

2.1.인간의 청각과 심리음향 ․․․․․․․․․․․․․․․․․․ 4

2.2.음향 마스킹 ․․․․․․․․․․․․․․․․․․․․․․․․ 5

III.음성 포먼트 향상 방법 ․․․․․․․․․․․․․․․․․․․․ 8

IV.실험 조건 ․․․․․․․․․․․․․․․․․․․․․․․․․․ 13

4.1포먼트 향상 음성 ․․․․․․․․․․․․․․․․․․․․․․ 13

4.2피험자 ․․․․․․․․․․․․․․․․․․․․․․․․․․․ 13

4.3실험 장소 실험 기기 ․․․․․․․․․․․․․․․․․․․ 15

V.실험 과정 결과 ․․․․․․․․․․․․․․․․․․․․․․․ 17

5.1.기 검사 ․․․․․․․․․․․․․․․․․․․․․․․․․․ 17

5.2.기 검사 결과 ․․․․․․․․․․․․․․․․․․․․․․․ 18

5.3.순음 마스킹 검사 ․․․․․․․․․․․․․․․․․․․․․․ 19

5.4.순음 마스킹 검사 결과 ․․․․․․․․․․․․․․․․․․․ 20

5.5.음성 마스킹 검사 결과 ․․․․․․․․․․․․․․․․․․ 20

5.6.객 인 평가 ․․․․․․․․․․․․․․․․․․․․․․․ 22

IV.결론 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․․ 25

참고 문헌 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․ 26

부록 ․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․ 29

- iii -

그림 목차

그림 1. 역 잡음 마스커(narrowbandnoisemasker)와 순음

로 (puretoneprobe)를 이용한 마스킹 패턴․․․ 2

그림 2.등청감곡선 (equalloudnesscontour) ․․․․․․․․․․․ 4

그림 3.1kHz마스커에 의한 spreadingfunction ․․․․․․․․․ 6

그림 4.인간 귀의 비동시 마스킹 특성 ․․․․․․․․․․․․․․ 7

그림 5.음성 강조(speechenhancement)방법 ․․․․․․․․․․ 8

그림 6.음성의 워 스펙트럼과 포락선과

포먼트를 향상시키기 한 이득의․․․․․․․․․․․ 10

그림 7.원본 음성과 포먼트 강조된 음성 ․․․․․․․․․․․․․ 11

그림 8.정상 청각 피험자와 난청 피험자의 주 수별 순음 검사 결과 13

그림 9.방음 부스 규격 ․․․․․․․․․․․․․․․․․․․․․ 14

그림 10.GNOtometricsItera ․․․․․․․․․․․․․․․․․․ 14

그림 11.FujitsuLIFEBOOKP7120 ․․․․․․․․․․․․․․․ 14

그림 12.실험 차 ․․․․․․․․․․․․․․․․․․․․․․․ 15

그림 13.SRT테스트,WRS테스트의 결과 ․․․․․․․․․․․․ 16

그림 14.순음 마스킹 검사 결과 ․․․․․․․․․․․․․․․․․ 18

그림 15.SRS-EFG검사 결과 ․․․․․․․․․․․․․․․․․․ 19

그림 16.SRS-SFFG검사의 결과 ․․․․․․․․․․․․․․․․ 20

그림 17.각 세트 LLR의 평균과 표 편차 ․․․․․․․․․․․․ 21

그림 18.두 번째 세트에서의 어음 인지도와 LLR ․․․․․․․․․ 22

그림 19.마스킹이 일어나는 단어의 주 수 특성 ․․․․․․․․․ 22

- iv -

표 목차

표 1.한 음성 세트 구성 단어 ․․․․․․․․․․․․․․․․․․ 12

표 2.실험에 참가한 피험자 정보 ․․․․․․․․․․․․․․․․ 13

- v -

국 문 요 약

청력 손실을 보상하고 난청인이 다른 사람들과 화할 수 있도록 디지털 보

청기 알고리즘은 개발 되어 왔음에도 불구하고,디지털 보청기 사용자들은 음성

을 듣는데 어려움이 있다고 불만을 토로한다.그 이유는 피드백 (feedback)이나

잔여 잡음 등에 의해 디지털 보청기를 통한 음성의 질이 이해하기에 불충분하

기 때문이다. 다른 이유로 포먼트 (formant)사이에서 일어나는 마스킹

(masking) 상이 될 수 있다.음성 향상 알고리즘 포먼트 향상 알고리즘

(formant enhancement algorithms)은 난청인의 낮아진 주 수 선택도

(frequencyselectivity)를 향상시켜 음성을 더욱 렷하게 듣도록 하기 해 사

용된다.이러한 포먼트의 향상에 의해 포먼트 사이의 벨 차이가 더욱 커지게

되면 마스킹이 발생할 수 있게 된다.이 연구에서 정상 청각 피험자와 노인성

난청을 갖고 있는 난청인 피험자의 마스킹 특성을 측정하여 음성에서의 마스킹

에 의한 음성 인지 하를 확인하고 마스킹의 발생을 이기 한 한 가지 방

안을 제시한다.마스킹의 발생을 확인하고 제안된 알고리즘의 검증을 한 실험

으로 순음 (puretone)검사,어음 청취 역치 (speechreceptionthreshold,SRT)

검사,어음 명료도 (speechdiscriminationscore,SDS)검사,순음 마스킹 (pure

tonemasking)검사,동일 포먼트 이득 어음 명료도 (speech discrimination

scorebyequalformantgain,SDS-E)검사,상이 포먼트 이득 어음 명료도

(speechdiscriminationscorebydifferentformantgain,SDS-D)검사 의 6개

테스트로 이루어졌다.순음 검사,어음 청취 역치 검사,어음 명료도 검사는 이

비인후과 청력검사실에서 기본 으로 실시하는 검사로,기본 인 청력도를 알아

보기 해 수행하 다.순음 마스킹은 역 (narrowband)잡음과 순음을 이

용하여 환자의 마스킹 특성을 알아보기 한 검사이며,2가지 어음 인지도 검사

는 마스킹에 의해서 어음의 인지도가 어느 정도 향을 받는지를 알아보기

한 검사다.어음 인지도 검사의 경우 어음 인지도가 왜곡에 의해서 향을 받는

지 음향 마스킹에 의해 향을 받는지 구분하기 해,각 어음의 왜곡을 객

으로 평가하는 loglikelihoodratio(LLR)를 도입하 다.동일 포먼트 이득 어음

명료도 (SDS-E)검사 결과 포먼트 향상의 양을 늘리면 늘릴수록 어음 인지는

낮아졌고,이를 개선하기 해서 첫 음성의 첫 번째 포먼트의 이득을 다른 포먼

- vi -

트의 이득보다 작게 만들어 포먼트를 향상시키고,그 어음을 이용하여 상이 포

먼트 이득 어음 명료도 (SDS-D)검사를 실시한 결과 어음 인지도가 유의하게

향상된 것을 볼 수 있었다.각 SDS-E검사와 SDS-D검사에서 사용한 음성들

의 LLR을 비교한 결과 비슷한 LLR(약 1%)을 갖지만 어음 인지는 그 지 않게

나타났다.이것은 왜곡이 아닌 음향 마스킹이 어음 인지에 향을 다는 것을

의미한다.실제로 피험자들 부분이 맞추지 못한 음성을 주 수 분석한 결과

첫 번째와 두 번째 포먼트 사이의 벨 차이가 약 35dB이며 이는 순음 마스킹

실험 결과(정상 청각 피험자:36.36dB,난청인 피험자:32.86dB)와 비슷한 양상을

보 다.이로 인해 포먼트 향상에 의해 음성 자체에서 마스킹이 발생할 수 있으

며,첫 번째 포먼트의 이득을 낮추는 것으로 마스킹의 발생을 일 수 있다는

것을 확인하 다.

- vii -

문 요 약

Although digital hearing aid algorithms have been developed to

compensatehearinglossandtohelphearingimpairedpeopletocommunicate

withothers,digitalhearingaiduserstillcomplainaboutdifficultyofhearing

the speech.The reason could be the quality ofspeech through digital

hearing aid isinsufficienttounderstand thespeech caused by feedback,

residualnoiseandetc.Andanotherthingismaskingeffectamongformants

thatmakessoundquality low.Inthespeechenhancementalgorithm,the

formant enhancement algorithm or the spectral contrast enhancement

algorithm isused to enhancethefrequency selectivity and to listen to

speechclearlyforhearingimpairedpeople.Bythisalgorithm,leveldifference

among formantsgrow upandacousticmasking canbeoccurred.Inthis

study,wemeasured themasking characteristics ofnormallistenersand

hearingimpairedlistenershavingpresbyacusistoconfirm maskingeffectin

speechitselfandproposeamethodtoreduceinfluenceofacousticmasking.

Toconfirm theacousticmaskingeffectbyformantenhancementandverify

theefficiency ofproposedmethod,6testsareperformed;puretonetest,

speech reception threshold (SRT)test,speech discrimination score(SDS)

test,puretonemasking test,speech discrimination scoretestusing the

speechthatformantsareenhancedbyequalformantgain(SDS-E)andby

differentformantgain(SDS-D).Puretonetest,SRTtestandSDStestisa

fundamentalhearing testmethod used in the hospitalto confirm the

fundamentalhearing capacities.Puretonemasking testistoconfirm the

maskingcharacteristicsusingnarrow bandnoiseandpuretone,and2types

ofspeech discrimination scoretestusing formantenhanced speech isto

confirm theefficiencyofacousticmaskingeffectintospeechdiscrimination

score.And tocertify thatspeech recognition scoreisinfluenced by the

distortion oracousticmasking,log likelihoodration (LLR)evaluating the

distortionobjectivelyisintroduced.AsaresultofSDS-Etest,thescoreis

- viii -

decreasedbyformantenhancement,andtoimprovethisresultwereduced

firstformantgain relatively,as a resultofSDS-D test,the score is

increasedsignificantly.SpeechrecognitionscorebetweenSDS-EandSDS-D

test, LLR issimilar.Itmeansthatthescoreisinfluencedby acoustic

masking,notdistortion.Inactuality,according totheresultoffrequency

analysisofthespeechthatpeoplecannotanswercorrectly,leveldifference

betweenfirstformantandsecondformantisabout35dB,anditissimilarto

resultofpuretonemasking test(normalhearing subject:36.36dB,hearing

impaired subject:32.86dB).According to these tests,itis confirmed that

acoustic masking effect is occurred among formants by formant

enhancement,anditisefficienttoreducethefirstformantgainforreducing

theacousticmaskingeffect.

Keywords:hearingaid,acousticmasking,formantenhancement

- 1 -

I.서 론

청력 손실이 있는 사람의 청력을 보상하기 해 다양한 디지털 보청기 알고

리즘이 개발되어 왔음에도 불구하고 디지털 보청기 사용자의 불만 큰 비

을 차지하는 것이 말소리를 알아듣기 힘들다는 것이다.이러한 문제는 보청기가

소리 증폭을 통해 보청기 착용자에게 큰 소리를 제공하는 과정에서 왜곡이나

피드백 혹은 잡음 제거 미흡 등의 원인 때문에 소리의 질이 좋지 않게 될 수

있기 때문에 발생한다.이러한 좋지 않은 소리의 질은 소리의 인지를 나쁘게 하

여 난청인들의 음성에 의한 의사소통을 오히려 방해한다.

왜곡이나 피드백(feedback)외에 소리 인지를 나쁘게 만드는 요인 의 하나

는 음성의 포먼트 사이에서 발생하는 음향 마스킹(acousticmasking)이 될 수

있다[1]. 보청기에서 부분의 음성 향상 알고리즘(speech enhancement

algorithm)은 잡음 제거 알고리즘과 포먼트의 비를 높이는 것으로 이루어진

다.포먼트의 비를 높이기 해서 포먼트를 찾아서 포먼트 향상(formant

enhancement)을 한다.포먼트 향상 과정에서 각 음성의 포먼트에 비 을 더

많이 주게 되고,향상된 포먼트에 의해서 다른 포먼트나 다른 요소들이 마스킹

될 수 있다.이 게 되면 음성 인지를 높이기 한 포먼트 향상으로 인해서 음

성의 인지는 더 나빠질 수 있다[1].

음향 마스킹이란 주변 잡음으로 인해서 청각 역치(hearingthreshold)가 변하

는 상이다[2].즉 어떤 소리에 의해 다른 소리가 들리지 않는 상을 말한다.

마스킹은 크게 두 가지로 나 수 있는데 하나는 비동시 마스킹(non-

simultaneousmasking)이고 다른 하나는 동시 마스킹(simultaneousmasking)

이다.비동시 마스킹은 시간 으로 듣고자 하는 소리 이 혹은 이후에 다

른 소리가 존재 할 때 듣고자 하는 소리가 들리지 않게 되는 상을 말한다.동

시 마스킹은 다른 소리의 존재로 그와 동시에 존재하는 듣고자 하는 소리가

들리지 않게 되는 상을 말한다.여기서 우리가 듣고자 하는 소리를 로

(probe)라고 하고 듣고자 하는 소리를 들을 수 없도록 하는 소리를 마스커

(masker)라고 한다.Egan등은 간단한 청각 자극의 마스킹 패턴을 측정했다[3].

그들은 심 주 수가 고정된 역 잡음(narrowband noise)을 마스커

(masker)로 사용하고,순음(puretone)을 로 (probe)로 사용했다.그들의 결

- 2 -

과는 주 수 역에서 상 으로 주 가 고주 를 마스킹하는 상향 마스킹

(upwardspreadofmasking)이 고주 가 주 를 마스킹 하는 하향 마스킹

(downwardspreadofmasking)보다 넓다는 것을 보 다.그림 1은 그들의 실

험 결과를 나타내는 그림으로 각 피험자 데이터를 평균한 값을 그래 로 그린

것이다.그리고 Ehmer는 심 주 수가 다른 순음을 마스커와 로 로 사용해

서 마스킹 패턴을 측정했다[4].각 주 수의 마스커에 의한 마스킹 패턴은 유사

한 모양이 아니고 고주 쪽으로 비 칭 으로 확장했다는 것을 확인했다.

그림 1. 역 잡음 마스커(narrowbandnoisemasker)와 순음

로 (puretoneprobe)를 이용한 동시 마스킹 패턴

Figure1.Simultaneousmaskingpatternusingnarrowbandnoise

maskerandpuretoneprobe

Egan,Ehmer외에도 마스킹에 해서 많은 연구가 진행되면서,여러 자극

여러 피험자를 상으로 하는 마스킹 연구가 진행되었고 [5][6][7][8]마스킹의

기 실험뿐만 아니라 마스킹에 향을 수 있는 요인에 한 연구 [9][10],

마스킹을 이용하여 잡음을 제거 하거나 음성의 질을 높이는 연구[11][12][13]등

- 3 -

의 연구가 진행되어 왔다.하지만 이들 연구는 정상인을 기 으로 하는 임계 밴

드 (criticalband)와 SF(spreadingfunction)을 이용하여 마스커에 의해 바

청각 역치를 계산하여 용하기 때문에,난청인을 한 신호처리라고 난청인에

게 맞는 신호 처리는 아니다.지 까지 음성 강조,특히 포먼트 강조에 의해 발

생할 수 있는 마스킹에 한 연구는 거의 찾아 볼 수 없다.

이 연구에서 2음 단어를 이용해서 음성에서 발생하는 마스킹을 측정했다.

한 음성에서의 마스킹과 비교하여 마스킹을 정량화하고 라미터화 시키기

해서 순음과 역 잡음을 이용한 마스킹을 확인했고,이러한 마스킹의 발생

을 이기 한 방법에 하여 논하 다.

- 4 -

II.이론 배경

2.1.인간의 청각과 심리음향

청각은 단순하게 음 달의 기계 인 상이 아닌,감각 이고 인지 인

상이다.사람이 소리를 들을 때,공기를 통해 기계 인 소리가 달되지만 귀

안에서 신경의 활동 로 만들어져 뇌에 달되기 때문이다.그런 이유로 사람

은 소리를 물리 인 양과는 다르게 인지된다.가장 표 인 가 소리 크기의

인지다.사람의 청각은 같은 물리 에 지를 가지고 있는 소리라고 하더라도

주 수에 따라서 다르게 인지하는데,이러한 것을 그림으로 나타낸 것이 등청감

곡선(equalloudnesscontour)이다.그림 1은 Robinson과 Dadson이 1956년에 실

험 으로 측정하여 작성한 등청감 곡선으로 정상 청각을 갖고 있는 사람들이

주 수별로 소리를 동일하게 인지하는 크기를 선으로 그려 놓은 것이며 재

국제표 (ISO R226)으로 사용된다.그림에서 보면 사람의 인지 인 벨인 폰

(phon)이 물리 인 소리의 크기인 dBSPL(dBsoundpressurelevel)에 비선형

인 것을 알 수 있다.

그림 2.등청감곡선

Figure2.Equalloudnesscontour

- 5 -

이러한 등청각 곡선의 청각 역치는 Terhardt[14]에 의해 다음과 같이 식

(1)로 근사화 되었으며,정상 청각을 갖는 사람의 청각 역치로 음향 련 여러

응용 분야 ( ,MPEG,SB-ADPCM,AC-3,DCC등)에서 사용 되고 있다 [15].

(1)

사람의 소리 인지가 귀에서만 일어나는 것이 아닌 뇌에서도 일어나는 이벤트

이기 때문에 발생하는 상들을 심리음향이라고 한다.심리음향의 표 은

상은 음향 마스킹 효과(acousticmaskingeffect),양이 효과 (binauraleffect),

칵테일 티 효과 (cocktailpartyeffect)등이다 [16].음향 마스킹 효과는 주변

잡음으로 인해서 청각 역치가 변하는 상으로 시끄러운 곳에서 화가 불가능

한 것이 그 이다.양이 효과는 두 귀에 도달하는 소리의 시간,강도(intensity)

에 따라서 소리의 방향을 인지할 수 있는 것을 말하는 것으로 왼쪽이 오른쪽에

비해 강도가 더 큰 스테 오 소리에서 왼쪽의 강도를 작게,오른쪽이 강도

를 크게 하면 소리가 왼쪽에서 오른쪽으로 움직이는 것으로 인지하는 것

이 그 이다.칵테일 티 효과 (cocktailpartyeffect)는 여러 음원이 존재할

때,자신이 듣고 싶은 소리를 선별해서 들을 수 있는 상으로 음향 마스킹

상과는 반 되는 상이다.

2.2.음향 마스킹

음향 마스킹은 원하지 않는 소리에 의해 듣고자 하는 소리를 듣지 못하는 것

을 말한다.음향 마스킹은 크게 동시 마스킹 (simultaneousmasking)과 비동시

마스킹(non-simultaneousmasking)으로 구분할 수 있다.

동시 마스킹은 두 소리가 동일한 시간에 존재할 때,한 소리에 의해 다른 소

리가 들리지 않게 되는 것을 말한다.즉 동시 마스킹은 주 수 역의 특성이

며,마스커와 로 의 치에 따라 상향 마스킹 (upward spreading of

masking)과 하향 마스킹 (downwardspreadofmasking)으로 구분할 수 있다.

상향 마스킹은 상 으로 주 에 치한 마스커에 의해 고주 에 치한

로 가 마스킹 되는 상을 말하며,하향 마스킹은 그와 반 의 상을 말한다.

이러한 동시 마스킹은 Schroeder[17]에 의해 식 (2)와 같이 수식화 되었다.이

- 6 -

는 정상인에서 마스커에 의해 발생하는 마스킹의 범 를 나타내는 것으로 SF

(spreadingfunction)라고 한다.

(2)

이 때,는 barkscale로 1961년 Zwicker[18]에 의해 정의된 임계 밴드의 단

를 말하며 다음과 같이 정의된다.

(3)

그림 3은 식 (2)와 (3)으로 그린 1kHz마스커의 spreadingfunction이다.그림

에서 알 수 있듯이 상향 마스킹이 하향 마스킹에 비해 기울기가 작아 넓게 퍼

져 있다.이는 상향 마스킹이 하향 마스킹에 비해 더 강한 특성을 갖고 있어,

더 잘 발생할 수 있다는 것을 의미한다.

그림 3.1kHz마스커에 의한 spreadingfunction

Figure3.Spreadingfunctionby1kHzmasker

비동시 마스킹은 temporalmasking이라고 하며,두 소리가 짧은 시간에 연속

으로 발생할 때,한 소리에 의해 다른 소리가 들리지 않는 시간 역의 특성

- 7 -

을 지닌 마스킹 상을 말한다.비동시 마스킹의 경우 한 마스커와 로 의

계에 따라 방향 마스킹(forwardmasking혹은 post-masking)과 후방향 마

스킹(backwardmasking혹은 pre-masking)으로 구분할 수 있으며,마스커가

시간 으로 로 보다 먼 발생하 을 경우를 방향 마스킹,그 반 의 경우

를 후방향 마스킹이라고 한다.그림 4는 인간 귀의 비동시 마스킹 특성을 나타

낸 그림이다[19].그림에서 보는 것과 같이 비동시 마스킹의 경우는 방향 마

스킹이 더 강하게 작용하는 것을 알 수 있다.

그림 4.인간 귀의 비동시 마스킹 특성

Figure4.Non-simultaneousmaskingpropertyofthehumanhearing

- 8 -

III.음성 포먼트 향상 방법

포먼트 강조를 해 그림 5와 같은 알고리즘을 사용했다.(부록 1)포먼트를

찾기 해서 음성의 워 스팩트럼에 15차 선형 측 부호화(linearpredictive

cording,LPC)알고리즘을 사용했다.LPC는 과거의 데이터를 이용하여 재 혹

은 미래의 데이터를 추측하는 모델로 포락선 (envelope)를 찾는데 리 사용되

는 알고리즘이다.LPC는 식 (4)와 같이 정의 된다.

⋯ (4)

은 이산 신호 색인(index),는 에서의 음성 샘 ,는 지연 (delay),

그리고 는 LPC계수이다.

그림 5.포먼트 강조 방법

Figure5.Formantenhancementmethod

LPC계수를 계산하는 방법은 여러 가지가 있지만,가장 일반 으로 사용하는

방법은 자기상 법 (autocorrelationmethod)이다.본 연구에서는 사용한 함수에

서는 자기상 법 가장 일반 인 방법인 Levinson-Durbin의 알고리즘 [20]을

사용하여 계수를 계산한다.Levinson-Durbin는 다음과 같은 과정을 이용하여

계산된다.

- 9 -

(5)

where

(6)

≤ ≤ (7)

(8)

≤ ≤ (9)

(10)

은 임 치 (frameindex),는 임에서의 샘 치,는 LPC의

차수,는 reflectioncoefficient,은 meansquarederror,은 short-time

autocorrelationfunction이다.식 (5)에 의해 의 기값이 주어지고

라미터 가 식 (7)에 의해 계산되는데,이 라미터는 필터의 안정성을 평가

할 수 있는 라미터로서 의 값이 1보다 작은 경우에 필터가 안정하다고

단할 수 있다.식 (8)과 식 (9)는 LPC의 계수를 계산하는데 필요한 간 과정으

로,식 (5)에서 식 (10)까지의 과정을 반복한 후의 최종 출력인 값이 원하는

LPC의 계수가 된다.식 (10)에 의해 자기상 과 원신호 사이의 평균 제곱 에러

가 계산되며,과정이 반복되며 업데이트 (update)된다.

와 같은 과정을 거쳐 계산된 LPC계수를 이용하여 원신호를 필터링 하면

스팩트럼상의 포락선(sprectrum envelope)을 찾을 수 있는데,이 포락선에는 포

먼트라 불리는 몇 개의 피크(peak)가 나타난다.포먼트의 치를 찾기 해 스

- 10 -

팩트럼상의 포락선에서 데이터의 기울기가 양수에서 음수로 바뀔 때의 주 수

를 포먼트의 주 수로 결정하는 방법을 이용하 다.그림 (11)은 포먼트 주 수

를 찾는 방법을 수식으로 나타낸 것이다.

if (11)

는 스팩트럼 포락선을 나타내며,는 주 수를 나타낸다.

포먼트 주 수 치에 이득(gain)을 주기 해서 변형된 해 도우

(hammingwindow)를 사용하 다.포먼트의 주 수와 같은 심주 수를 갖는

일정한 비의 해 도우를 만들고,그 도우의 크기를 변화 시켜 포먼트에

주는 이득을 조 하는 방법으로 포먼트를 강조시켰다.식 (12)는 다음과 같은

과정을 식으로 나타낸 것이다.

(12)

는 체 이득(gain)을 조 하는 상수로서 처리 과 처리 후의 체 크기를

같게 하기 한 것이고,는 해 도우,은 도우의 크기,는 포먼트의

주 수,는 주 수의 색인(index),는 가 인자(weightfactor)를 나타낸다.

그림 3은 이러한 알고리즘의 과정을 그림으로 나타낸 것 이다.가는 실선은 한

음성의 워 스펙트럼 (powerspectrum)을 나타낸 것이고,굵은 실선은 LPC를

이용하여 찾아낸 워 스펙트럼의 포락선이며,굵은 선은 각 포먼트를 향상시

키기 한 이득이다.그림에서 볼 수 있듯이,각 포먼트의 치에 포먼트 향상

을 한 이득이 존재하고 다른 곳에는 이득이 0이라는 것을 알 수 있다.

주 수 역에서 포먼트에 가 치를 주기 해서 FFT(Fast Fourier

Transform)를 사용했다.이 이산신호 색인이고 을 음성이라고 하자.FFT

는 다음과 같이 정의 된다.

(13)

은 음성의 길이를 나타낸다.

- 11 -

FFT 이후 포먼트 검색 알고리즘에 의해서 찾은 포먼트에 가 치를 주고

IFFT를 했다.

(14)

그림 6에서의 이득은 모든 포먼트에 나타나지만 실제로는 첫 번째 포먼트부

터 세 번째 포먼트까지만 향상을 시켰다.이는 음성의 경우는 포먼트 3개까지만

존재해도 구별하는데 어려움이 없기 때문이다 [21].그림 7는 원본 음성을 그림

2에서 설명한 알고리즘에 의해서 포먼트를 향상시킨 결과를 나타낸 그림이다.

그림 7의 (a)와 (b)는 포먼트 향상 후의 시간 축에서의 음성을 각각 나타낸

것이며,(c),(d)는 포먼트 향상 후의 모습을 주 수 축에서 나타낸 그림이다.

그림에서 보면 알 수 있듯이,시간 역에서의 체 크기는 크게 변하지 않았

고,주 수 축에서 포먼트가 향상되고,포먼트가 아닌 부분은 감소되었다.

그림 6.음성의 워 스펙트럼과 포락선과 포먼트를

향상시키기 한 이득의

Figure6.Anexampleofpowerspectrum,envelopeand

gainforformantenhancement

- 12 -

그림 7.원본 음성과 포먼트 강조된 음성의 시간/주 수 분석

Figure7.Time/frequencyanalysisoforiginalspeechandformantenhanced

speech

- 13 -

IV.실험 조건

4.1.포먼트 향상 음성

“II.음성 포먼트 향상 방법”에서 설명한 포먼트 향상 알고리즘으로 처리한 2

음 음성이 실험에 사용되었다.사용된 음성은 3세트로 구성되고,각 세트는

표 1과 같이 25개 음성으로 구성되었다.각 세트의 음성에서 포먼트를 조 하

기 해서 각 세트에서 포먼트에 다른 가 치를 용했다.식 (12)에서 가 인

자()를 1번 세트부터 7,6,5로 각각 주었고,이는 포먼트를 각각 약 50dB,

40dB,30dB 향상 시키는 값이다.음성은 병원에서 어음 청취 역치(speech

receptionthreshold,SRT)에 쓰이는 단어를 사용하여 8kHz로 샘 링했다.각

세트에서 음성의 순서는 환자들이 순서를 외워 답할 수 없도록 무작 로 변

하게 하 고,이 세트에서의 기억에 의해 실험 결과가 달라지는 것을 막기

해서 제일 정답률이 낮을 것으로 상되는 1세트부터 실험에 사용하 다.모

든 음성은 노트북에서 재생되어 청력 검사기에서 벨 조 을 통해 피험자에게

제공되었다.

표 1.한 음성 세트 구성 단어

Table1.Speechsetconfigurationofonespeechset

리 아들 감 마늘

과 마 리 질문

우 차 지 마

리 반지 하늘 지

편지 천지 수도 마차

4.2.피험자

표 2는 실험에 참가한 피험자에 한 정보를 나타낸다.실험에는 정상 청각

- 14 -

피험자 22명(여자 12명,남자 10명),난청 피험자 21명(여자 14명,남자 7명)이

참가하 고,정상 피험자의 평균 연령은 약 23.2세(19세~27세) 고 난청 피험자

의 평균 연령은 약 72.6세(67세~77세) 다.그림 8은 순음 검사를 통해서 정상

청각 피험자에서와 노인성 난청을 갖고 있는 피험자에서의 각 주 수별 평균

청력을 나타낸 것이다.이 그림을 보면 고주 에서 난청 피험자들의 청력이

격히 감소하는 것을 볼 수 있는데 이로서 형 인 노인성 난청이라는 것을 알

수 있다.반면 정상 청각 피험자들은 청력 이상이 없었으며 피험자 스스로 질

병이 없었다고 답했다.

표 2.실험에 참가한 피험자 정보

Table2.Subjectinformationwhotakepartintheseexperiments

정상 청각 피험 난청 피험

평균연령 23.2 72.6

상 정상 청각 난청

숫남 여 남 여

10 12 7 14

그림 8.정상 청각 피험자와 난청 피험자의 주 수별 순음 검사 결과

Figure8.Resultofpuretonetestofnormalhearingsubjectsandhearing

impairedsubjects

- 15 -

4.3.실험 장소 실험 기기

모든 실험은 오디오 부스 (SDTR1815)에서 수행되었다.방음 부스는 바닥,

천장,벽으로 들어오는 소리를 차단하기 해 소리를 거의 달하지 않는 소재

를 사용하여 제작된 것으로,소리와 자 를 효과 으로 차단하여 소음이 없는

환경에서 실험을 하기 한 시설이다.그림 9는 사용한 오디오 부스의 규격이

다.외벽은 4200cm*2400cm*2550cm이고 두께를 제외한 조정실과 실험실의 규격

은 각각 1500cm*2200cm,2000cm*1800cm으로 실험실로 유입되는 소음을 효과

으로 차폐하기 해서 실험실의 벽 두께가 더 두꺼운 것을 알 수 있다.

그림 9.오디오 부스 규격

Figure9.Sizeofaudiobooth

그림 10은 실험에서 사용한 청력 검사기 (audiometry)로서 GN Otometrics

(Denmark)Itera제품이다.청력 검사기는 순음 마스킹 검사를 제외하고 그림

12의 과정 반에 사용했으며,순음 마스킹 검사에서는 후지쯔 LIFEBOOK

P-SeriesP7120을 사용하여 동일한 헤드폰(TelephonicsTDH-39P)으로 피험자

에게 제공되었다.

- 16 -

그림 10오디오 미터 (GN

OtometricsItera)

Figure10.Audiometry

그림 11노트북 (Fujitsu

LIFEBOOKP7120)

Figure11.Notebook

- 17 -

V.실험 과정 결과

음성에서의 마스킹 상을 확인하기 해서,그림 12과 같은 차로 실험을

하 다.기 검사로 순음 검사 (puretonetest),어음 청취 역치 검사 (speech

receptionthresholdtest),음성 명료도 검사 (speechdiscriminationscoretest)

를 수행하고,피험자의 마스킹 특성을 악하기 해 순음 마스킹 검사 (pure

tonemaskingtest)를 수행했으며,마스킹 효과의 발생 확인과 마스킹 효과 발

생을 이기 한 방법의 효과 확인을 해 같은 이득으로 포먼트를 향상시킨

어음을 이용한 동일 포먼트 이득 어음 명료도 검사 (speech discrimination

scoretestbyequalformantgain,SDS-E)와 첫 번째 포먼트의 이득을 다른

포먼트의 이득보다 게 하여 포먼트를 향상시킨 어음을 이용한 상이 포먼트

이득 어음 명료도 검사 (speech discrimination scoreby differentformant

gain,SDS-D)를 수행하 다.

그림 12.실험 차

Figure12.Experimentprocedure

5.1.기 검사

각 피험자의 청각 특성을 확인하기 해서 5dB단 로 500Hz,1kHz,2kHz,

4kHz,8kHz에서 순음 검사를 실시하 다.순음 검사는 청각 손실을 표 할 수

있는 가장 기 이고,일반 인 검사 방법으로 일반 으로 깨끗한 음성을 이

해하기 해 요한 주 수의 범 인 100Hz에서 8kHz까지를 측정하며,

- 18 -

인 음압 벨인 dBSPL단 가 아닌 정상 청각인의 청각 역치에 상 인 양

인 dB HL로 표 한다.일반 으로 정상 청각인 사람들의 순음 청각 역치는

-10dBHL~15dBHL정도이며 난청인의 청각 역치는 난청의 종류에 따라서 달

라진다.그 기 때문에 난청의 종류 특성을 단하기 해서 순음 검사는

가장 기 으로 필요한 검사라고 할 수 있다.

순음 검사 이후 어음 청취 역치 검사를 실시하 다.어음 청취 역치 검사는

2음 단어를 인지할 수 있는 최소 벨을 말한다.일반 으로 병원 청력 검사

실에서 잘 훈련된 청각사들이 어음표에 있는 단어를 읽어주면 피험자가 따라하

는 방식으로 이루어진다.소리의 크기를 조 하면서 4개 한 세트의 어음 2

개의 어음을 정확하게 따라하는 경우,즉 정답률 50%를 기 으로 어음 청취 역

치가 결정된다.일반 으로 어음 청취 역치는 순음 검사에서 측정된 청각 역치

의 평균과 비슷한 결과를 보이는 것이 정상이다.[22]

어음 청취 역치에서 30~40dB를 높인 소리 크기를 쾌 역치(most

comfortablelevel,MCL)라고 하며,가장 편안하게 음성을 듣는 소리의 크기를

말하며,본 연구에서 한 어음 청취 역치에서 30~40dB높은 소리 크기를 쾌

역치라고 임의로 정하고 피험자에게 소리 크기가 당한지 물어보는 과정을 반

복해서 쾌 역치로 결정하 다.쾌 역치에서 1음 단어를 이용해서 어음

명료도 검사를 실시했다.어음 명료도 검사 시작 후 5개의 1음 단어를 들려

주고 소리의 크기가 듣기 편한지 다시 한 번 피험자에게 물어 쾌 역치를 최

종 결정하 다.어음 명료도 검사는 일반 으로 1음 단어 50개를 이용하여

쾌 역치에서 들려줬을 때 인지하는 어음의 비율을 측정하는 검사로,어음 분

별력을 측정하기 해 실시한다.순음 검사와 어음 청취 역치 검사는 정상이지

만 어음 명료도 검사의 결과가 지나치게 나쁘다면,소리가 들리지만 어음을 인

지하는데 문제가 있는 것으로 단할 수 있다.이러한 이유 때문에 구나 알

수 있는 단어를 사용하여 학력이나 지식수 에 상 없이 어음을 인지할 수 있

도록 검사하고 있다.

병원 청각 검사실의 경우 잘 훈련된 청각사들에 의해 검사가 진행되지만 실

험실의 경우 청각사가 없기 때문에 비교 발음이 정확하다고 평가할 수 있는

학교 방송국 아나운서가 청각 검사에서 사용되는 어음표를 읽고 녹음한 음원

일을 사용하 고,소리 크기의 조 을 하여 오디오미터에 소리를 입력하고

- 19 -

그림 13.SRT테스트,SDS테스트의 결과

Figure13.ResultofSRTtestandSDStest

오디오미터에서 소리 크기를 조 하는 방식으로 검사를 진행하 다.사용한 모

든 음성은 20 남자에 의해 녹음된 음성이다.

5.2.기 검사 결과

그림 8에 따르면,500Hz,1kHz,2kHz,4kHz,8kHz의 청각 역치를 검사한

결과 정상인 피험자의 경우 부분 10dBHL이하인 반면,난청인 피험자들은

주 에서 청각 역치가 약 30dBHL이며 고주 로 갈수록 청각 역치가 높아

지는 것으로 보아 형 인 노인성 난청(감각신경성 난청)임을 알 수 있다.

그림 13은 SRT와 SDS를 나타낸 것이다.어음 청취 역치는 2음 단어 4개

에 50% 이상 들을 수 있는 최소 소리 크기이고,낱말 분별력은 쾌 역치에

서 1음 단어를 얼마나 알아듣는지를 나타내는 것이다.정상 청각 피험자의

평균 청력은 왼쪽 7.73dBHL,오른쪽 7.84dBHL,난청인의 경우는 왼쪽

29.21dBHL,오른쪽 31.51dBHL로 정상 청각 피험자와 난청 피험자의 양귀 어음

청취 역치인 6.63dBHL,30.715dBHL과 비슷한 수치를 보여 순음 검사 어음

청취 역치 결과를 신뢰할 수 있다고 결론 내렸다.평균 청력은 500Hz,1kHz,

2kHz에서 청각 역치의 평균 (3분법)으로 계산하 다.쾌 역치는 일반 인 경

- 20 -

우 정상인의 경우 어음 청취 역치보다 약 40dB,난청인의 경우 약 30dB높은

벨이다 [23].본 연구에서의 쾌 역치는 난청인이 일반 인 경우보다 약간

높은 수 이지만 피험자들에게 여러 번 물어 구한 값이기 때문에 수용 가능하

다고 할 수 있다.그림 13에 따르면,쾌 역치는 정상 청각 피험자와 난청 피

험자 사이에 큰 차이를 보이지만 낱말 분별력은 정상인이 약 97%이고,난청인

이 약 93%로큰 차이를 보이지 않았다.이는 음성의 크기를 쾌 역치에 맞춰

다면 1음 단어의 음성 인지(speechperception)에는 큰 차이가 없다는 것을

의미하며,이는 난청인 피험자들이 어음 인지하는데 문제가 없다는 것을 의미

한다.

5.3.순음 마스킹 검사

마스킹 검사는 순음을 이용한 마스킹 검사(puretonemaskingtest)와 동일

포먼트 이득 어음 명료도 (SDS-E)검사와 상이 포먼트 이득 어음 명료도

(SDS-D)검사로 나뉜다.

먼 순음 마스킹 검사는 CoolEditPro2.0으로 만든 역 잡음 마스커

(narrowbandnoisemasker,bandwidth100Hz)와 순음 로 (puretoneprobe)

를 사용해서 마스킹 상이 얼마나 발생하는지 알아보는 검사다.이 검사에서

피험자는 두 가지 음을 듣게 되는데,한 음은 마스커만 출력한 소리이고 다른

한 음은 마스커와 로 를 동시에 들려주는 소리이다.두 소리를 한 세트로

해서 피험자에게 들려주고 두 소리가 같은지 다른지를 단하도록 한다.소리

의 길이는 각각 400ms이며 두 소리 사이의 간격 한 400ms로 설정하 다.마

스커의 크기는 피험자들간의 차이를 확인하기 해 고정하여 사용하 고,마스

킹 역치를 측정하기 해 로 의 크기는 5dB단 로 조 하 다.만약 피험

자가 두 소리가 같다고 단한다면 로 가 들리지 않은 상태,즉 마스커에

의해 로 가 마스킹 된 상태라고 볼 수 있다.

순음 마스킹 검사에서 사용한 역 잡음은 심 주 수가 250Hz,770Hz이

고,사용한 순음 로 는 770Hz,2000Hz이다.이는 2음 음성의 포먼트를 15

차 LPC알고리즘으로 추출하여 평균을 낸 값으로 각각 첫 번째 포먼트에서 세

번째 포먼트까지를 표하는 주 수라고 생각할 수 있다.첫 번째 포먼트에서

두 번째 포먼트로,첫 번째 포먼트에서 세 번째 포먼트로,두 번째 포먼트에서

- 21 -

세 번째 포먼트로의 마스킹 되는 벨을 확인하기 해서,250Hz마스커와

770Hz,2000Hz 로 ,750Hz마스커와 2000Hz 로 로 구성되었다.

5.4.순음 마스킹 검사 결과

그림 14는 순음 마스킹 검사 결과이다.그림의 각 막 는 마스커와 로

의 크기 차이를 dB로 나타낸 것으로 값이 작을수록 동시 음향 마스킹이 쉽

게 일어날 수 있다는 것을 의미한다.그림에서 보면 m250p770조건,즉 마스커

의 심 주 수가 250Hz이고 로 의 주 수가 770Hz인 경우의 값이 가장 작

고,m770p2k,m250p2k순으로 커지는 것을 볼 수 있다.이 결과는 첫 번째 포

먼트에 의해 두 번째 포먼트가 마스킹 될 확률이 가장 높다는 것을 의미하며,

난청인 피험자가 정상청각 피험자에 비해 마스킹이 쉽게 일어날 수 있다는 것

을 나타낸다.이런 이유로,본 연구에서는 포먼트 강조시 첫 번째 포먼트에 주

어지는 이득의 크기를 다른 포먼트의 이득보다 작게 해서 첫 번째 포먼트에 의

한 두 번째 포먼트의 마스킹을 이고자 했다.

그림 14.순음 마스킹 검사 결과

Figure14.Resultofpuretonemaskingtest

- 22 -

5.5.음성 마스킹 검사 결과

음성 마스킹 검사는 동일 포먼트 이득 어음 명료도 (SDS-E)검사와 상이

이득 어음 명료도 (SDS-D)검사를 말하는 것으로 두 번째 에서 설명했던 포

먼트 향상 알고리즘을 이용하여 음성의 포먼트를 강조시킨 음성의 인지도를 검

사하는 것이다.

SDS-E검사에서 음성은 같은 크기로 포먼트가 향상 되는 것으로,각 세트

의 음성을 노트북에서 재생하여 오디오 미터에서 크기를 조 하여 피험자에게

제공되고,피험자에게 들리는 소리를 따라 하도록 했다.피험자에게 제공되는

소리는 오디오 미터를 거쳐 피험자가 듣기 편한 쾌 역치로 재생된다.그림

15는 각 음성 세트의 인지도를 나타낸다.포먼트의 이득이 가장 큰 세트 1의

경우에서 어음 인지도가 가장 낮았으며,포먼트 이득이 가장 작은 세트 3에서

가장 높았다. 한 포먼트 이득이 클수록 정상청각 피험자와 난청 피험자의 어

음 인지도 차이는 크게 나타났다.이는 난청 피험자에서 마스킹이 더 잘 일어

나기 때문에 발생할 수 있을 것으로 단된다.

그림 15.SDS-E검사 결과

Figure15.ResultofSDS-Etest

- 23 -

SDS-E 검사 이후 약 한달 후에 같은 피험자들을 상으로 같은 방법으로

SDS-D검사를 진행하 다.SDS-D검사는 각각의 포먼트에 같은 크기의 이득

이 아닌 첫 번째 포먼트에는 두 번째,세 번째 포먼트의 이득보다 작은 이득을

곱해서 만든 음성의 인지도를 검사하는 것이다.첫 번째 포먼트에 주어지는 작

은 이득이라는 것은 식 (12)에서 의 값을 다른 포먼트보다 1만큼 작게 하는

방법을 사용했으며,SDS-E검사에서 사용한 음성에 비해서 첫 번째 포먼트가

약 7~10dB감소하는 효과를 보 다.그림 16은 SDS-D 검사 결과를 나타낸다.

SDS-D에서 한 SDS-E조건에서와 마찬가지고 포먼트의 이득이 큰 세트 1에

서 어음 인지도가 가장 낮았다.

그림 16.SDS-D검사의 결과

Figure16.ResultofSDS-Dtest

그림 17은 그림 15와 그림 16의 결과에서의 어음 인지도 차이를 나타낸 그림

이다.그림 17에서 보면 SDS-D에서 SDS-E보다 음성의 인지도가 8.3%~16.5%

향상 된 것을 알 수 있다. 한 정상 청각 피험자에 비해 난청 피험자에서 어

음 인지도 향상이 상 으로 큰 결과를 볼 수 있다.이는 음향 마스킹 효과가

크게 나타나는 난청인 피험자에서 첫 번째 포먼트에서 두 번째 포먼트로의 음

- 24 -

향 마스킹 효과가 어들었기 때문이라고 볼 수 있다.

이런 결과로 미루어 보아,포먼트 향상에 의해 음성 자체에서 마스킹이 발생

할 수 있으며,첫 번째 포먼트의 이득을 낮추는 것이 마스킹 상의 향을

이는 역할을 할 수 있다는 것을 확인하 다.

그림 17.SDS-E와 SDS-D에서의 어음 인지도 차이

Figure17.Differenceofspeechperceptionbetween

SDS-EandSDS-D

5.6.객 인 평가

그림 15,그림 16과 그림 17의 결과를 종합해 볼 때,SDS-D의 경우가 포먼

트를 덜 향상 시키는 것이기 때문에,원신호에 비해 덜 왜곡 되었고,그로인해

어음 인지도가 높아졌다고 생각할 수 있다.객 으로 음질을 평가하기 해

서 loglikelihoodratio(LLR)을 사용했다 [24].Itakuradistancemeasure라고도

불리는 LLR은 원신호 (originalsignal)와 향상된 신호의 포먼트 사이의 불일치

를 스팩트럼에서 측정한 것이다.LLR측정은 식 (15)와 같이 계산된다.

- 25 -

(15)

는 깨끗한 음성 래임의 선형 측 계수 벡터이고,는 향상된 음성

래임의 선형 측 계수 벡터이다.는 깨끗한 음성 래임의 자기상

(autocorrelation)행렬로,식 (6)과 같이 정의 된다.

원신호의 LLR은 0이며,낮은 LLR은 원신호를 기 으로 왜곡이 다는 것을

의미한다.원신호가 잡음이 없는 깨끗한 신호이기 때문에 작은 LLR은 한 더

나은 음성의 질을 의미한다.그림 18은 SDS-E검사와 SDS-D 검사에서 사용

한 음성들의 LLR을 각 세트별 평균으로 나타낸 그림이다.각 세트에서 SDS-E

에서의 평균 LLR과 SDS-D의 평균 LLR의 차이는 약 0.01~0.03정도로 SDS-E

의 LLR에 1% 정도에 해당하는 작은 값이다.즉 첫 번째 포먼트의 이득을 작게

하더라도 왜곡에는 큰 향을 미치지 않는 다는 것을 알 수 있다.이러한 결과

는 그림 15,그림 16과 그림 17에서의 결과가 왜곡에 의해서 발생한 것이 아닌

첫 번째 포먼트에 의한 음향 마스킹의 발생이 감소했기 때문이라는 것을 나타

내는 것이다.

그림 18.각 세트 LLR의 평균과 표 편차

Figure18.AverageLLRandstandarddeviationofeachspeechset

- 26 -

그림 18의 결과에서 보면 포먼트의 이득이 증가할수록 LLR이 커지는 것을

볼 수 있다. 한 그림 15와 그림 16의 결과에서 보면 LLR이 큰 세트 1에서 어

음 인지도가 가장 작은 것을 볼 수 있다.이러한 결과는 왜곡에 의해서 음성이

향을 받으며,왜곡의 커질수록 어음 인지도가 낮아질 수 있다는 것을 보이는

것이다.하지만 이는 평균 인 결과며 각각의 음성에서 왜곡이 크면 어음 인지

도가 낮아진다는 것을 추측할 수 있다.하지만 다른 음성의 경우는 왜곡만이 어

음인지도를 결정하는 요인이 아니라는 것을 그림 19에서 보면 알수 있다.그림

19는 두 번째 세트에서의 각 음성에 한 피험자들의 어음 인지도와 LLR값을

LLR 오름차순으로 정리하여 나타낸 것이다.만약 음성 인지에 향을 미치는

요소가 오직 왜곡이라고 가정했을 경우,LLR이 커지면,즉 왜곡이 커지면 정답

률,즉 음성 인지율이 낮아져야 한다.하지만 정상 청각 피험자나 난청인 피험

자 모두 왜곡과는 상 계를 보이지 않는 정답률을 보 다.이러한 경향은 모

든 음성 세트에서 볼 수 있으며 이로서 왜곡에 의한 향은 다고 말 할 수

있다.

그림 19.두 번째 세트에서의 어음 인지도와 LLR

Figure19.SpeechdiscriminationscoreandLLRofsecondspeechset

그림 20은 부분의 피험자들이 알아듣지 못한 (난청 피험자 9.09%,정상청각

피험자 14.28%)단어(오리)의 주 수 분석 결과의 포락선을 나타낸 것이다.실

제 주 수 분석 결과를 보면 첫 번째 포먼트와 두 번째 포먼트 사이의 크기 차

이가 약 35dB 정도라는 것을 볼 수 있다.이 크기는 그림 14에서 보는 것과 같

- 27 -

은 순음 마스킹 검사 결과에서 음향 마스킹이 발생할 때의 첫 번째 포먼트와

두 번째 포먼트의 크기 차이인 32.86dB(난청 피험자),36.36dB(정상청각 피험

자)와 비슷한 것으로 보아 마스킹이 발생했다고 생각할 수 있다.이 같은 결과

로 미루어 보아 포먼트를 향상 시킬 때,음성 자체에서 마스킹이 발생할 수 있

으며,첫 번째 포먼트의 이득을 이는 방법으로 음성 인지도를 높일 수 있다는

것을 확인 하 다.

그림 20.마스킹이 일어나는 단어의 주 수 특성

Figure19.Frequencyanalysisofaspeechthatmaskingeffectisoccurred

- 28 -

IV.결론

본 논문에서,디지털 보청기에 의해서 강조된 음성에서 포먼트에 의해서 마

스킹이 일어나고,그로 인해서 음성 인지에 어려움이 생길 수 있다는 것을 확

인하기 해서 같은 이득으로 포먼트를 향상시킨 음성을 이용하여 어음 인지도

검사를 했을 때 어음 인지도가 떨어지는 것을 보 다. 한 첫 번째 포먼트의

이득을 다른 포먼트의 이득보다 여서 포먼트를 향상시킨 음성을 이용하여 어

음 인지도 검사를 수행한 결과 어음 인지도가 향상되는 것을 보았다.이러한

상이 왜곡의 향 때문인지 단하기 하여 LLR을 도입하여 확인한 결과

두 실험에 사용된 음성의 왜곡 차이는 무시할 만큼 작은 양이 다. 한 어음

인지도가 낮은 음성을 주 수 분석한 결과 첫 번째 포먼트와 두 번째 포먼트의

크기 차이가 순음 마스킹의 결과와 비슷한 것으로 미루어 보아 포먼트 사이에

서 마스킹이 발생했음을 확인할 수 있다.

본 연구와 비슷한 연구가 1984년 Kaplan등에 의해 이루어졌다[25].Kaplan은

합성 모음을 이용하여 실험을 하 으며,그의 연구 하나는 첫 번째 포먼트의

크기와 두 번째 포먼트의 인지와의 계에 한 실험이 다.그들은 첫 번째 포

먼트의 크기와 주 수를 고정하고 두 번째 포먼트의 치를 바꾸면서 첫 번째

포먼트에 의해 발생하는 음향 마스킹을 측정하 다.그들은 첫 번째 포먼트의

크기를 이는 것이 두 번째 포먼트의 이동을 더 잘 구분하게 하지는 않는다고

결론 내렸다.한편 Krishnan는 2001년 뇌 동화 상(Frequency Following

Response,FFR)을 이용하여,첫 번째 포먼트의 크기를 하시키는 것이 동시

음향 마스킹이 덜 일어날 수 있는 방법임을 실험으로 증명하 다 [26].Kaplan

은 본 연구와 상반되는 결론을 내렸으며 Krishnan는 본 연구와 비슷한 결론을

내렸다.포먼트에 의한 음향 마스킹에 한 연구가 많이 진행 되고 있지 않으

며,첫 번째 포먼트의 크기 하가 마스킹에 어떠한 향을 주는지에 한 연구

는 더욱 더 진행되고 있지 않아 정확하게 본 연구의 결과를 뒷받침해 수 있

는 연구는 없다.하지만 본 연구의 결과는 첫 번째 포먼트의 크기 하로 인해

음향 마스킹 상이 하 다는 것을 보 으며 이를 이용하면 난청인에게 더

뚜렷한 소리를 제공할 수 있을 것으로 기 한다.

재까지 음향 마스킹을 이용한 알고리즘이나 코덱들이 많이 개발되어 왔다.

- 29 -

그 표 인 형태가 MPEG,AAC등이다.이들은 동시 마스킹과 비동시 마스

킹을 사용하여 데이터를 압축했고,그로서 용량이 으면서 압축률이 좋은 시

스템이 만들어졌다.하지만 이런 알고리즘들은 본 논문에서 기술한 음향 마스

킹의 효과의 이용과는 다른 방식을 이용한다.기존 음향 마스킹을 이용한 알고

리즘들을 보면,마스킹 패턴 안에 있는 데이터들은 인간이 들을 수 있는 것이

아니라고 단하여 압축 시 데이터를 포함하지 않는 방식으로 음향 마스킹을

이용하는 것이라면,본 논문에서 기술한 방법은 음향 마스킹을 여 마스킹에

의해 어음 인지도가 나빠지는 것을 막기 한 방법이다.하지만 그림 15와 16

의 결과를 보면 피험자들 간의 편차가 ±10% 정도로 큰 편이라는 것이다.이는

피험자 간에 어음 인지도의 차이가 크게 차이나며 제안된 방법의 효과 한 피

험자들마다 다르다는 것이다.이를 개선하기 해 피험자들의 마스킹 특성을

더욱 정 하게 측정하여 피험자들의 마스킹 특성에 맞도록 알고리즘을 개선한

다면 더욱 좋은 결과를 얻을 수 있을 것이라고 사료된다.

- 30 -

참 고 문 헌

[1]Danaher,E.M.,and Pickett,1.M.,"Some masking effects produced by

low-frequency vowelformants in persons with sensorineuralhearing loss,"

JournalofSpeechandHearingResearchVol.18,pp.261-271,June1975

[2]IrwinPollack,"Auditoryinformationalmasking,"TheJournaloftheAcoustical

SocietyofAmerica,Vol.57,No.S1,p.S5,April1975

[3]JamesP.EganandHaeroldW.Hake,"OntheMaskingPatternofaSimple

AuditoryStimulus,"TheJournaloftheAcousticalSocietyofAmerica,Vol.22,

No.5,pp.622-630,September1950

[4]RichardH.Ehmer,"MaskingPatternsofTones,"TheJournaloftheAcoustical

SocietyofAmerica,Vol.31,No.8,August1959

[5]HartleyD.E.H.,WrightB.A.andMooreD.R.,"Age-RelatedImprovementsin

AuditoryBackwardandSimultaneousMaskingin6-to10-Year-OldChildren,"

JournalofSpeech,Language,and Hearing Research,Vol.43,No.06 pp.

1402-1415,December2000

[6]Dubno,JudyR,Ahlstrom,JayneB,"Psychophysicalsuppressioneffectsfortonal

andspeechsignals,"TheJournaloftheAcousticalSocietyofAmerica,Vol.110,

No.4,pp.2108-2119,October2001

[7] Hans A. Gustafsson and Stig D. Arlinger, "Masking of speech by

amplitude-modulatednoise,"TheJournaloftheAcousticalSocietyofAmerica,

Vol.95,No.1,pp.518-529,January1994

[8]Van Summers,Michelle R.Molis,"Speech Recognition in Fluctuating and

ContinuousMaskers,"JournalofSpeech,Language,andHearingResearch,Vol.47,

pp245-256,April2004

[9]AlcantaraJ.I.,MooreB.C.J.,"Therelativeroleofbeatsandcombinationtonesin

determiningtheshapesofmaskingpatterns,"HearingResearch,Vol.165,No.1,

pp.103-116,March2002

[10]IfatYasinandChristopherJ.Plack,"TheRoleofSuppressionintheUpward

SpreadofMasking,"JournaloftheAssociationforResearchinOtolaryngology,

- 31 -

Vol.6,No.4,pp.368-377,December2005

[11]ThiemannJ.,"AcousticNoiseSuppressionforSpeechSignalsusingAuditory

MaskingEffects,"M.S.thesisMcGillUniversity,Montreal,Canada,May2001

[12]Viraq,N.,"SingleChannelSpeechEnhancementBasedonMaskingPropertiesof

theHumanAuditorySystem,"SpeechandAudioProcessing,IEEETransactions

on,Vol.7,No.2,pp.126-137,Mar1999

[13]Hesu Huang Kyriakakis,C.,"BinauralNoiseReduction Combining Binaural

Analysis and Psychoacoustically Motivated Spectral Subtraction," Signals,

SystemsandComputers,2004.ConferenceRecordoftheThirty-EighthAsilomar

Conferenceon,IEEE,Vol.2,pp.2260-2264,Nov.2004

[14]TerhardtE.,“CalculatingVirtualPitch,”HearingResearch,pp.155-182,1,1979.

[15]강성훈,"디지털 오디오와 심리음향," 한 자공학회, 자공학회지 Vol.22,No.5,

pp.518~528,June1995.

[16]이성태,"소리의 원리와 응용,"청문각,ISBN89-7088-379-7,pp.79-80,Jan.2004,

[17[SchroederM.,etal.,“OptimizingDigitalSpeechCodersbyExploitingMasking

PropertiesoftheHumanEar,”JournaloftheAcousticalSocietyofAmerica,Vol.

66,No6,pp.1647-1652,Dec.1979.

[18]Zwicker,E.,"Subdivisionoftheaudiblefrequencyrangeintocriticalbands,"The

JournaloftheAcousticalSocietyofAmerica,Vol.33,No2,pp.248,Feb.1961.

[19]ZwickerE.andFastlH.,"PsychoacousticsFactsandModels,"Springer-Verlag,

1990.

[20] A.M.Kondoz,“DigitalSpeech,codingforlow bitratecommunicationsystem

Second Edition,” John Wiley & Sons Ltd, West Sussex, ISBN

0-470-87007-9(HB),2004

[21]YegnanarayanaB.andVeldhuisR.N.J.“"ExtractionofVocal-TractSystem

Characteristics from Speech Signals," IEEE Trans.on Speech and Audio

Processing,Vol.6,pp.313-327,July1998

[22]BruceM.Siegenthaler,Audiogram-AverageMethodsandSRT Scores,The

JournaloftheAcousticalSocietyofAmerica,Vol.36,No.3,pp.589-593,March

1964

- 32 -

[23]Richard Seewald and Judith Gravel,"A Sound Foundation Through Early

Amplification 2001," Proceedings of the Second International Conference

SponsoredbyPhonak,Chap.5:PossibleRolesfortheAuditorySteady-State

ResponsesinFittingHearingAids,pp.63-73,July2003

[24]Quackenbush,S.R.,Barnwell,T.P.,Clements,M.A.,“ObjectiveMeasuresof

SpeechQuality,"Prentice-Hall,NJ,pp.47-51,1988.

[25]KaplanH,PickettJM.,"Releasefrom first-formantmaskinginpresbyacusis,"

InternationalJounalofAudiology,Vol.23,No.2,pp.165-180,1984

[26]KrishnanA.,AgrawalS.,"HumanFrequencyFollowingResponse:Evaluationof

Upward Spread ofMasking",Association forResearch in Otolaryngology,

SessionR13,No.#21926,2001

- 33 -

부록 1

포먼트 향상 매트랩 소스

PowerSpectrum andLPC

[a,g]=lpc(input, LPC_order); % 력 신 에 LPC 계수 계산

[H,w]=freqz(1,a,N,Fs); % LPC 계수로 터 주 수 답 계산

power=10*log10(H.*conj(H)); % power 계산

PeakDetection

for j=1:N-2

if (power(j+1)-power(j))>0)

if((power(j+2)-power(j+1))<0)

% 울 가 0 상에 0 하로 변하는 점 peak로 간주

count=count+1;

formant_no=j+1; % formant 치

formant_freq(count)=w(j+1); % formant 주 수

end

end

end

GainWindow

nwindow=512; % 각 포 트를 향상 시키 한 도우 비

WinAm=10; % 도우 크

window=WinAm*hamming(nwindow); % hamming window를 한 도우 생

GW=window(1)*ones(Len/2,1); % gain window 값 정

if formant_no(1)>nwindow/2

% 첫 번째 포 트 치가 도우 비에 1/2보다 클

- 34 -

GW(formant_no(1)-nwindow/2 : formant_no(1)+nwindow/2-1)...

=window;

% 포 트 치에 도우 생

else

% 첫 번째 포 트 치가 도우 비 1/2보다

GW(1 : formant_no(1)+nwindow/2-1)...

=window(nwindow/2-formant_no(1)+2 : nwindow);

% 포 트 치에 도우를 생 하 해 도우 를 라냄

end

for j = 2:3

% 번째 포 트 지 향상

if Len-formant_no(j)>nwindow/2

% 포 트 치 터 사 가 도우 비 1/2보다 클

GW(formant_no(j)-nwindow/2 : formant_no(j)+nwindow/2-1)...

=window;

% 포 트 치에 도우 생

else

% 포 트 치 터 사 가 도우 비 1/2보다

GW(formant_no(j)-nwindow/2 : Len/2)...

=window(1:nwindow+Len/2-formant_no(j));

% 포 트 치에 도우를 생 하 해 도우 를 라냄

end

end

GW=GW/(sum(GW)/length(GW));

% 포 트 향상 전후 전체 리 크 를 같게 하 해

% gain window 평균 로 나눔

ApplyGain

out=[GW; flipud(GW)].*freq_X;

% gain window를 gain window 끝 칭 로 복사

% 력 FFT한 터 freq_X 곱하여 적

- 35 -

감사의

인하 학 에 입학하고 공 한 2년이 어 졸업을 앞 고 있습

니다. 그 동안 많은 들의 으로 미흡하 만 앞으로의 공 에 초

가 수 있는 한 이 결과를 얻게 었습니다. 이 짧은 을 통해

감사의 마음을 전하고자 합니다.

사과정 동안 책과 격려를 아끼 않으시 본 논문이

심하게 해주시고 이상민 수님께 감사드리 , 본 논문의 심사

를 맡아 주신 정동 수님, 장 수님께 감사드립니다.

사 과정 동안 청각에 해 심을 갖 록 을 주 삼

수님, 보청 알고리 개 에 을 주 연 학

철 수님, 연 실과 저에게 늘 신경 주신 사님, 고민수

사님께 은 감사를 드립니다.

또한 처음 실험실에 들어 처음에 같이 고생했 동 이 , 동 이

, 특히 은일은 항상 맡아 하 동 이 , 뭐든 열심히 하려는 심

쟁이 미, 나름 카다 쿄코 닮은 , 칠한 람 이 상익이 , 너

무 조 한 이 , 조 한 에 , 좋은 일이나 나쁜 일이나 늘 함께

나누 빛나누나 민이, 늘 내편이 어주는 은 에게 고마 을 전합

니다.

누 보다 넉넉하 한 안 사정에 하고 공 하고 싶다는 저

를 믿어주시고 격려해주신 어 니께 말로 표 할 수 없는 감사를 드리

, 노력하여 믿음에 보답하겠습니다. 항상 건강하 .