blind audio source separation - irisa · noises). blind audio source separation (bass) consists in...
TRANSCRIPT
Blind Audio Source SeparationA review of state-of-the-art techniques
Emmanuel Vincent
Centre for Digital MusicElectronic Engineering DepartmentQueen Mary, University of London
Emmanuel Vincent (QMUL) Blind Audio Source Separation 1 / 36
The problem and its applications
Most audio signals are mixtures of several audio sources (speech, music,noises). Blind Audio Source Separation (BASS) consists in recovering oneor several source signals from a given mixture signal.
Direct applications include
real-time speaker separation for simultaneous translation,
sampling of musical sounds for electronic music composition.
Many derived applications aim to modify the mixture signal, for example
speech enhancement within hearing aids,
voice cancellation for karaoke,
rendering of stereo CDs on multichannel devices.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 2 / 36
Scope of the review
BASS methods have been proposed independently by researchers fromdifferent communities (statistical signal processing, audio signalprocessing, cognitive psychology) since the early 90’s.
The goal of this review is to
make clear the modeling assumptions and performance limitations ofeach approach,
emphasize the importance of audio-specific issues in the design ofBASS algorithms.
Implementation details are not discussed.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 3 / 36
Overview
1 Background and problem definition
2 Filtering techniques
3 Multi-channel identification based on sparsity
4 Single-channel identification based on advanced models
5 Hybrid identification techniques
6 Conclusion and promising approaches
Emmanuel Vincent (QMUL) Blind Audio Source Separation 4 / 36
Background and problem definition
Typical audio mixtures
Audio mixtures are categorized as
music or speech,
live recordings or synthetic mixtures.
Each category exhibits different properties that can be exploited for aspecific processing.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 5 / 36
Background and problem definition
Music vs. speech sources
Both music and speech sources produce a superposition of
nearly periodic signals (harmonic sinusoidal partials),
wideband noise signals,
transient signals.
Differences lie in
the underlying discrete structure (chords vs. phonemes),
the amount of dependence between different sources,
the fundamental frequency and spectral envelope range.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 6 / 36
Background and problem definition
Live recordings
Live sources can be recorded separately (pop music, movie dialogues) ortogether (classical music, meeting). The setup and the microphones typesdetermine the amount of interferences and reverberation on each channel.
�� �� ����
�� �� ����
� �� �� �� � �� �� �� ��
� �� �
����
�� �� ��
�� �������
Far−fieldnear−coincidentmicrophone pair
Concert room or conference room Studio
� �� �� �� �
soundDirect
Mixingsoftware
Multitrackrecording
Stereomixture
Spot microphones(point sources)
Spot microphones(extended source)
Far−field coincidentmicrophone pair
recordingNear−anechoic
Emmanuel Vincent (QMUL) Blind Audio Source Separation 7 / 36
Background and problem definition
Synthetic mixtures
If necessary, live recordings can be mixed down to a stereo (two-channel)mixture.
Typical synthetic mixing effects include
panning,
synthetic reverb,
autopanning.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 8 / 36
Background and problem definition
Classification of mixtures types
The signal processing literature classifies mixtures as
under-determined vs. over-determined,
instantaneous vs. convolutive,
time-varying vs. time-invariant.
Live recordings are over-determined time-varying convolutive mixtures(many microphones, reverberation, moving sources).
Synthetic mixtures are most often under-determined time-invariantconvolutive mixtures (two channels, synthetic reverb).
Emmanuel Vincent (QMUL) Blind Audio Source Separation 9 / 36
Background and problem definition
The separation problem
Under the point source assumption, the mixture channels (xi ) equal
xi (t) =
J∑
j=1
+∞∑
τ=−∞
aij(t − τ, τ)sj(t − τ),
where (sj) are the original source signals and (aij) the mixing filters.
More generally, the mixing process writes
xi (t) =
J∑
j=1
simg ij(t),
where (simg ij) are the source images on the mixture channels.
The BASS problem consists in retrieving the source image signals (simg ij)given the mixture signals (xi ).
Emmanuel Vincent (QMUL) Blind Audio Source Separation 10 / 36
Background and problem definition
Performance evaluation
Various distortions are distinguished when evaluating the separationquality.
Mixture � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �
Perfect separation � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !
" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "
Pipe-noise artifacts # # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # #$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $
% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %
& & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & &
' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '
( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (
) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )
* * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * *
Interferences + + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + +, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,
- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -
. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .
/ / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / /
0 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 0
1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1
2 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 2
Timbre distortion 3 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 34 44 44 44 44 44 44 44 44 44 44 44 44 44 44 4
5 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 5
6 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 6
7 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 7
8 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 8
9 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 9
: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :
These distortions should be measured by listening tests.They can also be approximated by energy ratio criteria.
BSS EVAL toolbox: http://www.irisa.fr/metiss/bss eval/.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 11 / 36
Background and problem definition
Identification and filtering
BASS is often addressed as a two-part problem:
identify the number of sources and a set of sufficient parameters foreach source,
filter the mixture based on these parameters to obtain the sourceimage signals.
A good separation may be obtained under two conditions:
the filtering technique is actually able to separate the sources usingoptimal filters,
the sufficient parameters contain enough information to derivenear-optimal filters.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 12 / 36
Filtering techniques
Filtering techniques
Common filtering techniques include
beamforming,
time-frequency masking.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 13 / 36
Filtering techniques
Beamforming (1)
Beamforming relies on spatial diversity and exploits all the mixturechannels simultaneously.
It involves filtering the mixture channels by stationary filters and summingthem together. In the time-frequency domain, this translates as
Uj(n, f ) =I
∑
k=1
wjk(f )Xk(n, f ),
Simg ij(n, f ) = bij(f )Uj(n, f ),
where (Simg ij) and (Xi ) denote the short time Fourier transforms of thesource images and the mixture channels, (wjk(f )) are the demixing filtersand (bij(f )) is the pseudo-inverse matrix of (wjk(f )).
Emmanuel Vincent (QMUL) Blind Audio Source Separation 14 / 36
Filtering techniques
Beamforming (2)
0 1 2 3 4
−0.5
0
0.5
Mixing filters a11
and a21
t (ms)0 1 2 3 4
−0.5
0
0.5
Mixing filters a12
and a22
t (ms)
−30 −20 −10 0 10 20 30
−1
0
1
Optimal demixing filters w11
and w12
t (ms)−30 −20 −10 0 10 20 30
−1
0
1
Optimal demixing filters w21
and w22
t (ms)
Emmanuel Vincent (QMUL) Blind Audio Source Separation 15 / 36
Filtering techniques
Time-frequency masking (1)
Time-frequency masking relies on time-frequency diversity and processeseach mixture channel separately.
It involves computing the STFTs of the mixture channels, multiplyingthem by time-frequency masks containing gains between 0 and 1 andinverting the resulting STFTs.
The most popular masking rules are adaptive Wiener filtering
Simg ij(n, f ) =|Simg ij(n, f )|2
∑Jk=1 |Simg ik(n, f )|2
Xi (n, f )
and binary masking
Simg ij(n, f ) =
{
Xi (n, f ) if |Simg ij(n, f )| = maxk |Simg ik(n, f )|,
0 otherwise.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 16 / 36
Filtering techniques
Time-frequency masking (2)
Female speech spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
dB20
40
60
80
Male speech spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
dB
20
40
60
80
Mixture spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
dB
20
40
60
80
Mask for female speech
t (s)
f (K
Hz)
0 1 20
2
4
0
0.5
1Mask for male speech
t (s)
f (K
Hz)
0 1 20
2
4
0
0.5
1
Emmanuel Vincent (QMUL) Blind Audio Source Separation 17 / 36
Filtering techniques
Comparison of beamforming vs. time-frequency masking
The computation of optimal demixing filters/time-frequency masks showsthat
beamforming does not generate pipe noise artifacts but is limited todetermined instantaneous or slightly convolutive mixtures,
time-frequency masking works potentially better for under-determinedor strongly convolutive mixtures but generates artifacts due totime-frequency overlap of the sources.
BSS ORACLE toolbox: http://www.irisa.fr/metiss/bss oracle/.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 18 / 36
Multi-channel identification based on sparsity
Multi-channel identification based on sparsity
Sparsity forms the core of separation methods for simple multichannelmixtures.
Time-frequency sparsity allows to separate sources in each subband basedon spatial diversity. Complementary assumptions are needed to linktogether subband signals belonging to the same source.
Common methods include
ICA,
DUET-like methods.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 19 / 36
Multi-channel identification based on sparsity
Independent Component Analysis (1)
ICA for over-determined instantaneous mixtures models the source samples(sj(t)) as independent draws from a known distribution.
Audio signals are often modelled by sparse distributions such as thegeneralized exponential
P(sj(t)) ∝ e−β|sj (t)|R
with 0 ≤ R < 2.
The sources are estimated up to a permutation using beamforming. Thedemixing gains (wjk) are estimated using a maximum a posteriori criterionor equivalently a minimum mutual information criterion.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 20 / 36
Multi-channel identification based on sparsity
Independent Component Analysis (2)
; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;< << << << << << << << << << << << << << << << <
= = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = =
> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >
? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?
@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @
A A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A A
B B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B B
0 1 2−5
0
5
Speech waveform
t (s)−5 0 5
0
0.5
1
1.5
Density of the sample values
Bandwise normalized spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
0 5 100
2
4
Density of the magnitude values
Emmanuel Vincent (QMUL) Blind Audio Source Separation 21 / 36
Multi-channel identification based on sparsity
Independent Component Analysis (3)
ICA is extended to over-determined convolutive mixtures by modeling theSTFT values (Sj(n, f )) as independent draws from a sparse distribution
and applying standard ICA in each subband f to recover (Simg ij(n, f )).
Subbands are grouped after solving the permutation ambiguity using
source directions defined from interchannel phase difference byIPDj(n, f ) = ∠Simg 2j(n, f ) − ∠Simg 1j(n, f ) ≈ 2πf d
csin θj mod 2π,
correlation of the source subband magnitudes.
Reverb Mixture ICA
6 ms C C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CD DD DD DD DD DD DD DD DD DD DD DD DD DD DD D
E E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E E
F F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F F
G G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G G
H H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H H
I I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I I
J J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J J
K K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L L
M M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M M
N N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N N
O O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O O
P P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P P
Q Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q Q
R R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R R
S S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S ST T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T T
U U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U U
V V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V V
W W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W W
X X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X X
Y Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y Y
Z Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z Z
20 ms [ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \
] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]
^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^
_ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ _
` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `
a a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a a
b b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b b
c c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d d
e e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e e
f f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f f
g g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g g
h h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h h
i i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i i
j j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j j
k k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kl l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l l
m m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m m
n n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n n
o o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o o
p p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p p
q q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q q
r r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r r
90 ms s s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s st tt tt tt tt tt tt tt tt tt tt tt tt tt tt t
u u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u u
v v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v v
w w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w w
x x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x x
y y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y y
z z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z z
{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {| | || | || | || | || | || | || | || | || | || | || | || | || | || | || | |
} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �
370 ms � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡
¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢
Davies 02, Parra 02, Sawada 03
Emmanuel Vincent (QMUL) Blind Audio Source Separation 22 / 36
Multi-channel identification based on sparsity
DUET-like methods (1)
In instantaneous mixtures, if source j is predominant in (n, f ) then theinterchannel intensity difference IID(n, f ) = 20 log10(|X2(n, f )|/|X1(n, f )|)is close to the relative mixing gain 20 log10(a2j/a1j).
DUET-like methods separate under-determined mixtures as follows:
compute IID (or similar quantities),
find the relative mixing gains from the IID histogram,
associate each time-frequency point with the closest source andperform binary masking.
The interchannel phase difference is used for convolutive mixtures instead.
Jourjine 00, Viste 03, Roman 03
Emmanuel Vincent (QMUL) Blind Audio Source Separation 23 / 36
Multi-channel identification based on sparsity
DUET-like methods (2)
Interchannel intensity difference
t (s)
f (K
Hz)
0 2 40
5
10
dB
−5
0
5
−10 0 100
2
4
Histogrammed values
Mask for bass drum
t (s)
f (K
Hz)
0 2 40
5
10
0
1Mask for vocals
t (s)
f (K
Hz)
0 2 40
5
10
0
1Mask for bass guitar
t (s)
f (K
Hz)
0 2 40
5
10
0
1
Mixture £ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ £¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤
¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥
¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦
§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §
¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨
© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©
ª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ª
Spatial masking « « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬
® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®
¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯
° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °
± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±
² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²
³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´
µ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µ
¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶
· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·
¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸
¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹
º º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º º
» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼
½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½
¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾
¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿
À À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À À
Á Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á Á
    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â
Emmanuel Vincent (QMUL) Blind Audio Source Separation 24 / 36
Single-channel identification based on advanced models
Single-channel identification based on advanced models
The time-frequency sparsity assumption is insufficient for the separation ofsingle-channel mixtures.
Advanced signal models represent the short term magnitude spectrum ofthe mixture and take into account the discrete structure of the sourcesalong with periodicity, spectral envelope and temporal continuitycharacteristics.
Common methods include
factorial HMMs,
spectral decomposition,
CASA.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 25 / 36
Single-channel identification based on advanced models
Factorial hidden Markov models (1)
Each source is modelled by a HMM
log |Sj(n, f )|2 = Ψhj (n)(f ) + εj(n, f ),
where (hj(n)) is a series of hidden states following a Markov prior, Ψhj (n)
is the expected spectrum and εj is a Gaussian noise.
The mixture is represented by a factorial HMM whose states are(h1(n), . . . , hJ(n)).
Under particular assumptions,
log |X (n, f )|2 ' maxj=1...J
Ψhj (n)(f ) + ε(n, f ).
Emmanuel Vincent (QMUL) Blind Audio Source Separation 26 / 36
Single-channel identification based on advanced models
Factorial hidden Markov models (2)
Single-channel speech separation with factorial HMMs comprises 3 steps:
train one HMM per source on solo excerpts beforehand,
decode the MAP mixture states,
set log |Sj(n, f )|2 = Ψhj (n)(f ) and perform time-frequency masking.
Mixture à Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà ÃÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ Ä
Å Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å Å
Æ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ Æ
Ç Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç Ç
È È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È È
É É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É É
Ê Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê Ê
Vocals Ë Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ Ì
Í Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í Í
Î Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î Î
Ï Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï Ï
Ð Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð Ð
Ñ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ Ñ
Ò Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò Ò
Music Ó Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô Ô
Õ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ Õ
Ö Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö Ö
× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×
Ø Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø Ø
Ù Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù Ù
Ú Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú Ú
(from A. Ozerov)
Roweis 00, Ozerov 05, Reyes-Gomez 03
Emmanuel Vincent (QMUL) Blind Audio Source Separation 27 / 36
Single-channel identification based on advanced models
Spectral decomposition models (1)
The state space for music sources is large. This raises overlearning issues.
Music sources are better represented as a superposition of severalcomponents
|X (n, f )|2 =J
∑
j=1
Kj∑
k=1
ejk(n)Φjk(f ) + ε(n, f ),
where (Φjk) and (ejk(n)) are the basis spectra and time-varying weightsfor source j and ε is the total residual.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 28 / 36
Single-channel identification based on advanced models
Spectral decomposition models (2)
Spectral decomposition is often used in a data-driven fashion. Spectra andweights are derived from the mixture STFT using
sparsity,
non-negativity,
various residual models.
Then the components are clustered into sources exploiting
residual dependencies between weight series,
instrument-specific features.
Finally source STFTs are recovered as |Sj(n, f )|2 =∑Kj
k=1 ejk(n)Φjk(f )and time-frequency masking is performed.
Casey 00, Virtanen 03, Smaragdis 03, Abdallah 04, Benaroya 03
Emmanuel Vincent (QMUL) Blind Audio Source Separation 29 / 36
Single-channel identification based on advanced models
Spectral decomposition models (3)
Mixture spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
dB
20
40
60
80
0 2 40
0.2
0.4
Basis spectra
f (KHz)
norm
aliz
ed p
ower
0 1 20
1
2
Time−varying weights
t (s)
pow
er fa
ctor
(× 1
09 )
Estimated bass drum spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
dB
20
40
60
80
Estimated hi hat spectrogram
t (s)
f (K
Hz)
0 1 20
2
4
dB20
40
60
80
MIDI percussionexample
Mixture Û Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ Ü
Ý Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý Ý
Þ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ Þ
ß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ß
à à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à à
á á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á á
â â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â â
NMF ã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãä ää ää ää ää ää ää ää ää ää ää ää ää ää ää ää ä
å å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å å
æ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ æ
ç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç ç
è è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è è
é é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é é
ê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê ê
ë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ì
í í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í í
î î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î î
ï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ï
ð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ð
ñ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ñ
ò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò ò
Music example with32 components andmanual clustering(from B. Wang)
Mixture ó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ô
õ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õ
ö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö ö
÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷
ø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø ø
ù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ù
ú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú ú
NMF û û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûü üü üü üü üü üü üü üü üü üü üü üü üü üü üü ü
ý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ý
þ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þ
ÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿ
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
Emmanuel Vincent (QMUL) Blind Audio Source Separation 30 / 36
Single-channel identification based on advanced models
Computational auditory scene analysis
CASA groups time-frequency zones into objects and streams these objectsinto sources using experimental rules:
proximity,
similarity,
continuity,
closure,
common fate.
Blackboard CASA methods resemble spectral decomposition except that
components are constrained (“wefts”, “transients”, “noise clouds”),
advanced timbre features (onset duration, vibrato) are exploited.
Ellis 96, Kashino 95, Kinoshita 99
Emmanuel Vincent (QMUL) Blind Audio Source Separation 31 / 36
Hybrid identification techniques
Hybrid identification techniques
The previous methods suffer some limitations:
algorithms exploiting spatial diversity only cannot deal withreverberation or sources with close directions,
algorithms based on fundamental frequency and spectral envelopedissimilarity cannot separate instruments from the same class.
Performance can be improved using advanced models to represent spatialand spectro-temporal cues jointly.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 32 / 36
Hybrid identification techniques
An example of hybrid model
CASA algorithms deal with stereo by adding a spatial proximity rule.A recent approach combines spectral decomposition, factorial HMMs andIPD models into a single probabilistic generative model for music.
Mixture power spectrum and IPDSummation of source power spectra and
IPD model using source locations
Source power spectraPower-weighted summation of note spectra
learnt on a training database
Note log-powersIndependent Gaussians
Note statesFactorial Markov chain
1
Mixture � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
ICA � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �
� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �
! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !
" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "
Spatial TF masking # # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # #
$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $
% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %
& & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & &
' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '
( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (
) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )
* * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * *
+ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + +
, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,
- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -
. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .
/ / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / /
0 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 0
1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1
2 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 2
Hybrid method 3 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 3
4 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 4
5 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 5
6 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 6
7 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 7
8 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 8
9 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 9
: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :
; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;
< < << < << < << < << < << < << < << < << < << < << < << < << < << < << < << < <
= = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = =
> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >
? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?
@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @
A A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A A
B B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B B
Nakatani 02, Sakuraba 03, Vincent 05
Emmanuel Vincent (QMUL) Blind Audio Source Separation 33 / 36
Conclusion and promising approaches
Conclusion
The BASS problem remains far from being solved.
Realistic audio mixtures are better separated by DUET-like methods orhybrid models. However the quality remains insufficient for demandingapplications (hearing aids, karaoke).
Several issues account for this:
reverberation,
time-frequency overlap of the sources,
possibly source movements, similarities between source characteristicsor proximity of source directions.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 34 / 36
Conclusion and promising approaches
Promising approaches
Promising approaches include
special recording techniques reducing reverberation and interferences,
hybrid filtering techniques coupled with advanced source models,
advanced models of the source waveforms.
Sanchis 04, Katayama 04, Viste 02, Virtanen 03, Every 05, Blumensath 04
Emmanuel Vincent (QMUL) Blind Audio Source Separation 35 / 36
Conclusion and promising approaches
The Blind Audio Source Separation evaluation database
The database can be used to create realistic mixtures from
multitrack music recordings (acoustic pop, metal, electro. . . ),
realistic mixing filters (Ardour plugins, HRTFs, room impulseresponses, ”shoebox” room acoustics toolbox).
Insert your algorithm and its results!
BASS-dB: http://www.irisa.fr/metiss/BASS-dB/.
Emmanuel Vincent (QMUL) Blind Audio Source Separation 36 / 36