![Page 1: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/1.jpg)
Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin
High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
הטכניון - מכון טכנולוגי לישראל
להנדסת חשמל הפקולטה
Technion - Israel institute of technologydepartment of Electrical Engineering
Final Presentation
Blind Audio Source SeparationUsing Microphone Array Focusing
Winter/Spring Semester 2001
1
![Page 2: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/2.jpg)
Audio Source SeparationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
Projects goal
To separate audio sources mixed in a room, without prior knowledge of the room and signal
characteristic
Implementation
Microphone Array Focusing Algorithm using DSP development tools
![Page 3: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/3.jpg)
Problem DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
“cocktail-party effect”
![Page 4: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/4.jpg)
General DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
3
Audio Sources
Input Stage
and A/D
Source Separation Algorithm
Separated Signals
![Page 5: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/5.jpg)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2
x1 y1
x2 y2
Speaker 1 Speaker 2
m1(t) = s1(t-x1) + s2(t-y1)m2(t) = s1(t-x2) + s2(t-y2)
![Page 6: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/6.jpg)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2
x1 y1
x2 y2
Speaker 1 Speaker 2
r1(t) = m1(t+x1) + m2(t+x2) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)
r2(t) = m1(t+y1) + m2(t+y2) = 2*s2(t) + s1(t-x1+y1) + s1(t-x2+y2)
![Page 7: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/7.jpg)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)
Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n
SNR gain = n^2 / n = n
![Page 8: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/8.jpg)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)
Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n
SNR gain = n^2 / n = n
Microphones SNR gain (dB) 2 3 4 6 8 9
![Page 9: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/9.jpg)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
Expected Results(Matlab simulation with 4 microphones:)
For artificial signalsTheoretical: 6 dB of SNR improvementPractical: 3-9 dB of SNR improvement
Mix: Separated: Speech Music
For real room signals0-3 dB of SNR improvement
![Page 10: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/10.jpg)
Testing Room SetupHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
5
Testing room
Microphone Array
Sound source 1 Sound Source 2
![Page 11: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/11.jpg)
Block DiagramHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
5
Pre Amplifier
6701 EVM
Creative SoundBlaster
SB2EVM PC Software
Speaker ProcessingAudio Codec
Input Files
Output Files
![Page 12: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/12.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Source 1
Source 2
![Page 13: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/13.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Mix 1
Mix 2
Mix3
![Page 14: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/14.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Cross CorrelationOf Mix 1,2
Cross CorrelationOf Mix 1,3
![Page 15: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/15.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Mix 1
Moved MixesMix 2a
Mix 2b
Mix 3a
Mix 3b
![Page 16: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/16.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Mix 1+2a
Mix 1+2b
Mix 3a
Mix 3b
![Page 17: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/17.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Result 1Mix 1+2a+3a
Result 2Mix 1+2b+3b
![Page 18: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/18.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Result 1Source 1
Source 2Result 2
![Page 19: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/19.jpg)
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
XCorr
XCorr
XCorr
S1
S2
S3
S4
Find 2 Maximums
Shift Signal
Shift Signal
Add Correlated
SignalsShifted S3Shifted S4
S1
![Page 20: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/20.jpg)
DSP Algorithm ImplementationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
- Radix 2 FFT/IFFT used for cross correlation calculation.
- Delay estimation done only once, to save processing time. Can be easily changed.
- Sub Blocks must be used – 8 Kbytes Block Size (Memory limits,
FFT overflow)
- Auxiliary Software: SB2EVM Wav2Dat/Dat2Wav
![Page 21: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/21.jpg)
ResultsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Artificial SignalsPoor results
Real Room SignalsNo improvement
![Page 22: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/22.jpg)
ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Limited Block Size damages separation.EVM limit 16Kbytes
Average errorvs.Block Size
![Page 23: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/23.jpg)
ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Room acoustics degrades the ability to calculate delays
![Page 24: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/24.jpg)
ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Direct sound must be stronger thenreflected sound
![Page 25: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/25.jpg)
SummaryHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Microphone Array Focusing can bring good results but it needs…
- Bigger Blocks (more memory)- Better room acoustics- De-reverberation- Other delay detection mechanism (video, optical measurements)- More microphones
![Page 26: Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון](https://reader033.vdocuments.mx/reader033/viewer/2022061614/56649f295503460f94c42d5d/html5/thumbnails/26.jpg)
Thanks…
High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6