Poszt nemlineris rejtett infomax identifikciSzab Zoltn, ELTE-IKTmavezet: Lrincz AndrsTavaszi Szl 2008

Problma-felvetsA szmtgp a kamertl pixelekben kapja az informcit. Azt mondjuk, hogy az informci:a kpen lev trgyak s szemlyek,,rejtettMikrofonokbl kapja tbb beszl kevert hanganyagt. Az egyedi beszlk hanganyaga s a httrzaj kevert (rejtett).

Elretekints megoldsi javaslatFggetlen komponens analzis (ICA) + trsai: koktl parti problmaHa hathatunk a vilgra (mozgathatjuk a kamert, a mikrofonokat), akkor hogyan maximalizlhatjuk az informcinkat?Cl:2 problmacsald sszefzse, azazrejtett infomax identifikci, fggetlen komponensek + kontroll mellett

Koktl parti (ICA)x=As

ICA megolds kl. folyamat modellekre (dr-i disszertci s [1-12] publikcik)R-ICAR-ISA (IID-IPA)R-AR-IPAR-MA-IPAR-ARMA-IPAR-ARIMA-IPAC-ARIMA-IPAC-ICAC-ISAR-PNL-ISAR-PNL-ARMA-IPAJellsek:P: process folyamatS: subspace altrR: real valsC: complex komplexAR: autoregressiveMA: moving average mozgtlagPNL: post-nonlinear

Infomax identifikci (ARX)Megfigyels:s(t+1)=Fs(t)+Bu(t+1)+e(t+1)Feltevsek:F,B: ismeretlene: Gauss zaj, ismeretlen kovariancia mtx-szalCl: [F,B]/e ,,gyors becslse az u kontroll alkalmas megvlasztsval

Infomax identifikci folyt.Cl formlisan:J(ut+1):=I(s(t+1),[F,B]|u(t+1),s(t),u(t),) maxu(t+1)UBayesi keretben kezelhet [Pczos 2008]:Egyszer frisstsi szablyok: [F,B, cov(e)]-reMinden idpontban egy QP-t kell megoldani u(t+1) megvlasztshozFelttelezs: teljes megfigyelhetsg (s)IPA: rejtett, de nincs kontroll

Rejtett Infomax: Lineris eset (ARX-IPA)Vilg:s(t+1)=Fs(t)+Bu(t+1)+e(t+1): rejtett llapotx(t)=As(t): megfigyelsFeltevs: e mint ISA-ban (fgtlen kookupacok)szrevtel:x(t+1)=[AFA-1]x(t)+[AB]u(t+1)+[Ae(t+1)]Ae: kzel Gauss d-fgg CHTMegoldsi stratgia: infomax x-re + ISA

Rejtett Infomax: PNL eset (PNL-ARX-IPA)Vilg:s(t+1)=Fs(t)+Bu(t+1)+e(t+1): rejtett llapotx(t)=f[As(t)]: megfigyelsszrevtel:f eltntetse utn lineris esetAs: kzel Gauss, ha U ,,kicsi.Megoldsi stratgia (kzelts): f-1 becslse ,,Gausszost trafknt, majdlineris rejtett infomaxMj: tbb Fi,Bj mtx-ra ugy megy minden

PNL-ARX-IPA demoGrejtett (e)becslt (idelis esetben)Becsls jsga: G blokkpermutcis mtx-sga Amari-index (r) [0,1], tkletes: 0.: kontrollmret

PNL-ARX-IPA demo (T=50e, =0.1) megfigyels (x)x Gausszosts utnfiG: Hinton-diagrambecsls (e)

sszefoglalsInfomax alap identifikcit, a fggetlen folyamatok keressvel sszekapcsoltukSzeparcis elv:PNL-ARX-IPAARX-IPA: rejtett, lineris infomaxARX: teljesen megfigyelhet, lineris infomax + ISAGausszosts

Hivatkozsok (sajt) - 1[1] Szab, Z., Lrincz, A.: Complex independent process analysis. Acta Cybernetica (2007) (benyjtva).[2] Szab, Z., Pczos, B., Lrincz, A.: Auto-regressive independent process analysis without combinatorial efforts. Pattern Analysis and Applications (2007) (elfogadva).[3] Szab, Z., Pczos, B., Lrincz, A.: Undercomplete blind subspace deconvolution via linear prediction. ECML 2007, LNAI 4701, Springer-Verlag, 740-747.[4] Szab, Z., Pczos, B., Szirtes, G., Lrincz, A.: Post nonlinear independent subspace analysis. ICANN 2007. LNCS 4668 - I., Springer-Verlag, 677-686.[5] Pczos, B., Szab, Z., Kiszlinger, M., Lrincz, A.: Independent process analysis without a priori dimensional information. ICA 2007. LNCS 4666, Springer-Verlag, 252-259.[6] Szab, Z., Pczos, B., Lrincz, A.: Undercomplete blind subspace deconvolution. Journal of Machine Learning Research 8 (2007) 1063-1095.

Hivatkozsok (sajt) - 2[7] Lrincz, A., Szab, Z.: Neurally plausible, non-combinatorial iterative independent process analysis. Neurocomputing - Letters 70 (2007) 1569-1573.[8] Szab, Z., Lrincz, A.: Independent subspace analysis can cope with the curse of dimensionality. Acta Cybernetica 18 (2007) 213-221.[9] Szab, Z., Lrincz, A.: Real and complex independent subspace analysis by generalized variance. ICARN 2006, 85-88.[10] Szab, Z., Pczos, B., Lrincz, A.: Cross-entropy optimization for independent process analysis. ICA 2006. LNCS 3889, Springer (2006) 909-916.[11] Szab, Z., Pczos, B., Lrincz, A.: Separation theorem for K-independent subspace analysis with sufficient conditions. Tudomnyos jelents, Etvs Lornd Tudomnyegyetem, Budapest (2006) http://arxiv.org/abs/math.ST/0608100.[12] Szab, Z.: Separation Principles in Independent Process Analysis. Doktori disszertci, 2008 (benyjtva).

Hivatkozsok (kls)[13] Petrov, V.: Central limit theorem for m-dependent variables. All-Union Conference on Probability Theory and Mathematical Statistics, 38-44, 1958. [14] Pczos, B., Lrincz, A.: D-optimal Bayesian Interrogation for Parameter and Noise Identification of Recurrent Neural Networks. Journal of Machine Learning Research-be benyjtva, TR: http://arxiv.org/abs/0801.1883[15] Ziehe, A., Kawanabe, M., Harmeling, S., Mller, K.-R.: Blind separation of postnonlinear mixtures using linearizing transformations and temporal decorrelation. Journal of Machine Learning Research 4(7-8), 13191338 (2004)