presenters: guy elazar, eyal shindler supervised by: pavel kislov, inna rivkin המעבדה...

Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin

High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

הטכניון - מכון טכנולוגי לישראל

להנדסת חשמל הפקולטה

Technion - Israel institute of technologydepartment of Electrical Engineering

Final Presentation

Blind Audio Source SeparationUsing Microphone Array Focusing

Winter/Spring Semester 2001

1

Audio Source SeparationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

Projects goal

To separate audio sources mixed in a room, without prior knowledge of the room and signal

characteristic

Implementation

Microphone Array Focusing Algorithm using DSP development tools

Problem DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

“cocktail-party effect”

General DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

3

Audio Sources

Input Stage

and A/D

Source Separation Algorithm

Separated Signals

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2

x1 y1  

x2 y2

  Speaker 1 Speaker 2    

m1(t) = s1(t-x1) + s2(t-y1)m2(t) = s1(t-x2) + s2(t-y2)

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2

x1 y1  

x2 y2

  Speaker 1 Speaker 2    

r1(t) = m1(t+x1) + m2(t+x2) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)

r2(t) = m1(t+y1) + m2(t+y2) = 2*s2(t) + s1(t-x1+y1) + s1(t-x2+y2)

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)

Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n

SNR gain = n^2 / n = n

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)

Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n

SNR gain = n^2 / n = n

Microphones SNR gain (dB) 2 3 4 6 8 9

Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

2

Expected Results(Matlab simulation with 4 microphones:)

For artificial signalsTheoretical: 6 dB of SNR improvementPractical: 3-9 dB of SNR improvement

Mix: Separated: Speech Music

For real room signals0-3 dB of SNR improvement

Testing Room SetupHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

5

Testing room

Microphone Array

Sound source 1 Sound Source 2

Block DiagramHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

5

Pre Amplifier

6701 EVM

Creative SoundBlaster

SB2EVM PC Software

Speaker ProcessingAudio Codec

Input Files

Output Files

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Source 1

Source 2

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Mix 1

Mix 2

Mix3

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Cross CorrelationOf Mix 1,2

Cross CorrelationOf Mix 1,3

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Mix 1

Moved MixesMix 2a

Mix 2b

Mix 3a

Mix 3b

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Mix 1+2a

Mix 1+2b

Mix 3a

Mix 3b

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Result 1Mix 1+2a+3a

Result 2Mix 1+2b+3b

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Result 1Source 1

Source 2Result 2

Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

XCorr

XCorr

XCorr

S1

S2

S3

S4

Find 2 Maximums

Shift Signal

Shift Signal

Add Correlated

SignalsShifted S3Shifted S4

S1

DSP Algorithm ImplementationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

- Radix 2 FFT/IFFT used for cross correlation calculation.

- Delay estimation done only once, to save processing time. Can be easily changed.

- Sub Blocks must be used – 8 Kbytes Block Size (Memory limits,

FFT overflow)

- Auxiliary Software: SB2EVM Wav2Dat/Dat2Wav

ResultsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Artificial SignalsPoor results

Real Room SignalsNo improvement

ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Limited Block Size damages separation.EVM limit 16Kbytes

Average errorvs.Block Size

ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Room acoustics degrades the ability to calculate delays

ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Direct sound must be stronger thenreflected sound

SummaryHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6

Microphone Array Focusing can bring good results but it needs…

- Bigger Blocks (more memory)- Better room acoustics- De-reverberation- Other delay detection mechanism (video, optical measurements)- More microphones

Thanks…

High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות

6