5/23/2016
1
4. IDENTIFICAREA SISTEMELOR UTILIZÂND
TEORIA ESTIMAŢIEI
4.1. Introducere în teoria estimaţiei
Identificarea sistemelor poate fi formulată ca o problemă de
teoria estimaţiei - o problemă de extremizare a unui criteriu,
dar prezintă următoarele avantaje [
• Problemele preciziei parametrilor modelului, a convergenţei
lor la valorile reale (parametrii sistemului) sunt soluţionate cu
instrumente puternice ale statisticii matematice.
• Structura modelului se determină prin aplicarea teoriei
verificării ipotezelor statistice.Se consideră sistemul (S) şi un model (M) reprezentate în fig.
4.1. în care H*(q-1,θ*), este funcţia de transfer discretă a părţii
deterministe a sistemului, dependentă de parametrii θ*, H(q-1,θ),
este funcţia de transfer discretă a modelului părţii deterministe
dependentă de parametrii , iar v(k) este perturbaţia
H*(q-1,θ*)
Model
H(q-1,θ)
u(k) x(k)
v(k)
y(k)
ym(k)
Sistem (S)
Model (M)
+
+
Fig. 4.1
Asupra sistemului şi modelului se fac ipotezele:
I1). Sistemul este dinamic liniar, de ordin finit, asimptotic
stabil, stocastic şi liniar în parametri.
I2). Perturbaţia v(k) este un proces stocastic staţionar de
medie nulă şi matrice de covarianţă nesingulară, E[v]=0 Rvv 0.
I3). Vectorul parametrilor θ* este unic, sistemul este invariant
în timp.
I4). Există un vector astfel încât H(q-1,θ) = H*(q-1,θ*).
I5). Intrarea u(k) este un semnal persistent de ordin suficient
de mare.
5/23/2016
2
I6). Intrarea u(k) şi perturbaţia v(k) sunt independente
(necorelate).
10. Din ipoteza I1 rezultă că sistemul poate fi descris de
ecuaţia
)()(),()( 1 kvkuqHky (4.1)
20. Din ipoteza I2 rezultă că
)()()( 1*1 keqHkv
unde e(k) este o secvenţă de zgomot alb de medie nulă şi
matrice de covarianţă λ*2I, iar H*1(q
-1) este funcţia de transfer
discretă a unui filtru liniar stabil.
În acest caz sistemul poate fi descris de ecuaţia
)()()(),(qH(k) y)( 1*1
1- keqHkuS
(4.2)
(4.3)
30. Conform ipotezei I3 vectorul θ* poate fi extins cu parametrii
modelului de zgomot H*1(q
-1) şi dispersia λ*2 a
secvenţei de zgomot alb.
40. Ipoteza I4 conduce la concluzia că este raţional să se aleagă
un model (M) de aceeaşi formă ca sistemul admis, adică
)()()(
)()(),()(
11
1
kqHkv
kvkuqHkym
(4.4)
unde (k) este o secvenţã de zgomot alb de medie nulă şi
matrice de covarianţă 2I.
Problema de estimare se poate formula astfel: dat fiind un
model şi precizată structura lui (na, nb) să se determine
parametrii lui cuprinşi în vectorul pe baza a N date intrare -
ieşire, în conformitate cu un criteriu .
Există mai multe categorii de criterii care permit estimarea
parametrilor modelului. Se menţionează următoarele :
• criterii funcţie de informaţiile apriorice despre procesul
tehnologic, care conduc la estimatori Bayes (de risc minim);
• criterii funcţie de eroarea de modelare;
5/23/2016
3
• criterii funcţie de eroarea de predicţie a ieşirii din sistem.
Se consideră procesul tehnologic (sistemul) cu vectorul parametrilor şi cu modelul cu vectorul
Tm ],.....,[ **
2*1
*
parametrilor θ = [θ1, θ2, ….. θm]T.
Eroarea de modelare ),()(),( tytyte mm
oferă o oarecare măsură a corespondenţei dintre vectorii
parametrilor θ* şi . Vectorul θ* nu este accesibil şi nu poate fi
cercetat decât statistic, dacă se dispune de cunoştinţe
apriorice despre densităţile de probabilitate.Se presupun cunoscute datele de intrare - ieşire sub formă
discretă : Y=[y(1)………y(N)]T, U=[u(1)………u(N)]T
Scopul teoriei estimaţiei este de a determina pe baza
cunoaşterii eşantioanelor Y şi U. Se caută o funcţie ( Y , U)
care să fie o aproximaţie “cât mai bună” a vectorului θ*.
Funcţia (Y,U) se numeşte estimator, iar valoarea funcţiei
pentru Y şi U determinate se numeşte estimaţie. Deoarece Y
este un eşantion dintr-un proces aleator rezultă că şi (Y,U) este o
variabilă aleatoare. În consecinţă, calitatea estimatorului va
depinde de caracteristicile sale statistice, care sunt posibil de
obţinut prin intermediul funcţiei densitate de probabilitate
p(/Y,U). Această funcţie este condiţionată de datele de intrare -
ieşire şi oferă tipul cel mai bun de cunoaştere ce se poate deduce
prin prelucrarea datelor statistice, dar şi cel mai greu de utilizat
practic, mai ales dacă dimensiunea vectorului este mare.
In locul densităţii de probabilitate, se utilizează
caracteristicile statistice mai semnificative [28]:
• media satatistică E[];
• deviaţia - E();
• covarianţa cov = E[( - E())( - E())T].
Dacă funcţia densitate de probabilitate ar fi normală, atunci
prin restrângere la medie şi covarianţă nu se pierde nici
o informaţie.
.
5/23/2016
4
Pentru aprecierea estimatorilor se definesc diferiţi indicatori
de calitate
Definiţia 4.1. Dacă media E[θ(Y,U)]= θ* oricare ar fi
eşantioanele Y, U atunci estimatorul se numeşte estimator
nedeviat.Dacă
)),((lim UYE
N
se spune că este estimator asimptotic
nedeviatDefiniţia 4.2. Un estimator nedeviat (Y, U) este eficient dacă,
oricare ar fi un alt estimator ~
nedeviat, )~
cov()cov(
Inegalitatea trebuie interpretată în sensul că matricea
0)cov~
(cov este pozitiv definită.
Definiţia 4.3. Un estimator (Y,U) este consistent dacă
0lim *
PN
(4.5)
oricare ar fi > 0 şi arbitrar de mic, adică converge
în probabilitate la valoarea adevărată a parametrilor
Se consideră densitatea de probabilitate a vectorului Y (ieşirea
din proces), p(Y/θ*,U), care depinde de θ* şi U.
Funcţia L(θ*) definită cu relaţia
),/(ln)( UYpL (4.6)
se numeşte funcţie de verosimilitate logaritmică.
Definiţia 4.4. Se numeşte matrice de informaţie şi se
notează cu J matricea
TLL
EJ*
*
*
* )()(
(4.7)
în care E[.] reprezintă media în raport cu distribuţia vectorului Y
Matricea de informaţie satisface egalitatea
2*
*2
*
*
*
* )()()(
LE
LLEJ
T
(4.8)
Demonstraţie: Densitatea de probabilitate p(Y/θ*,U)
verifică egalitatea
5/23/2016
5
Pentru aprecierea estimatorilor se definesc diferiţi indicatori de calitate
Definiţia 4.1. Dacă media E[θ(Y,U)]= θ* oricare ar fi
eşantioanele Y, U atunci estimatorul se numeşte estimator
nedeviat.
Dacă
)),((lim UYE
Nse spune că este estimator
asimptotic nedeviat.
~
)~
cov()cov(
0)cov~
(cov
Definiţia 4.2. Un estimator nedeviat (Y, U) este eficient
dacă, oricare ar fi un alt estimator nedeviat,
este pozitiv definită.
Inegalitatea trebuie interpretată în sensul că matricea
Definiţia 4.3. Un estimator (Y,U) este consistent dacă
0lim *
PN
oricare ar fi > 0 şi arbitrar de mic, adică
converge în probabilitate la valoarea adevărată aparametrilor.
Se consideră densitatea de probabilitate a vectorului Y
(ieşirea din proces), p(Y/θ*,U), care depinde de θ* şi U.
Funcţia L(θ*) definită cu relaţia
),/(ln)( UYpL (4.6)
se numeşte funcţie de verosimilitate logaritmică.
Definiţia 4.4. Se numeşte matrice de informaţie şi se
notează cu J matricea
TLL
EJ*
*
*
* )()(
(4.7)
în care E[.] reprezintă media în raport cu distribuţia vectorului Y
Matricea de informaţie satisface egalitatea
2*
*2
*
*
*
* )()()(
LE
LLEJ
T
Demonstraţie: Densitatea de probabilitate p(Y/θ*,U) verifică
egalitatea
5/23/2016
6
NR
dYUYp 1),/( (4.9)
Derivând în raport cu
din (4.9) se obţine
0),/(
dYUYp
NR
(4.10)
Atunci media derivatei funcţiei )( *L devine
0),/(),/(
),/(
1
),/()()(
*
*
*
*
*
*
*
*
*
dYUYpUYp
UYp
dYUYpLL
E
N
N
R
R
(4.11)
Derivând încă o dată în raport cu
în relaţia (4.11) se obţine
NR
T
dYUYpL
UYpL
0),/()(
)/()(
*
*
*
**
2*
*2
NR
T
dYUYpLL
UYpL
0),/()()(
),/()( *
*
*
*
**
2*
*2
sau
Din ultima relaţie se obţine egalitatea din (4.8)
T
LLE
LE
*
*
*
*
2*
*2 )()()(
Se consideră matricea simetrică Q partiţionată astfel:
2221
12 11
Q Q
QQQ cu Q11 şi Q22 matrici pătratice.
Se arată că 1). Q > 0 dacă şi numai dacă
0
0 sau
0
0
121
112122
11
211
221211
22
QQQQ
Q
QQQQ
Q
2). Q 0 şi Q 22 > 0 implică 0 211
221211 QQQQ (4.12)
Teorema 6.1 - Cramér – Rao. Fie un estimator nedeviat
pentru θ*. Atunci matricea de covarianţă a lui satisface
inegalitatea
5/23/2016
7
1]))([(cov JE T (4.13)
unde J este matricea de informaţie.
Inegalitatea trebuie interpretată în sensul că ][cov 1J
este o matrice nenegativ definită.
Demonstraţie. Se consideră matricea pozitiv definită:
0),)(( *
*
TT L
LE
(4.14)
unde
)(*
LL ; Matricea din relaţia (4.14) se scrie în forma:
0][ ])([
])([ ]))([(
***
*
TT
TT
LLELE
LEE
(4.15)
JLLE T ][ ** ])([ *TLE
Dar, prin definiţie. Se evaluează media
în raport cu repartiţia vectorului Y. Prin ipoteză se ştie
că estimatorul este nedeviat,
)(E , adică
NR
dYUYp ),/( (4.16)
Derivând (4.16) în raport cu θ* rezultă
IdYUYp T
RN
),/((
NR
T IdYUYpL ),/(* sau (4.18)
Ţinândseama că 0][ * LE , adică
NR
dYUYpL 0),/(* (4.19)
Înmulţind în (4.19) cu T rezultă
NR
T dYUYpL 0),/(** (4.20)
NR
T IdYUYpL ),/()( **
Scăzând relaţiile (4.18) şi (4.20) rezultă
(4.21)
ILE T ])([ ** sau
(4.22)
5/23/2016
8
Ţinând seama de (4.22) matricea (4.15) devine:
0J I
I ]))([(
TE
(4.23)
•Conform relaţiei (4.12) din (4.23) se obţine
0 ]))([(cov1
JE T
(4.24)
Deci relaţia (4.13) este demonstrată .
Din inegalitatea Cramér-Rao rezultă că dacă matricea de
informaţie J este singulară parametrii nu pot fi estimaţi din
eşantioanele observate. Deci eşantionul Y (pentru U dat) nu
conţine nici o informaţie despre proces; variaţiile mărimii de
ieşire sunt produse numai de perturbaţii.
Dacă matricea J are elementele de pe diagonala
principală foarte mari în raport cu celelalte, atunci estimaţiile
sunt puţin dispersate în raport cu . Ieşirea procesului
Dacă există un estimator astfel încât inegalitatea Cramér -
Rao să devină egalitate
1 ]))([( JE T (4.25)
atunci estimatorul este un estimator eficient a lui θ*. Dacă
egalitatea este satisfăcută numai pentru eşantioane mari (
N ) atunci estimatorul este asimptotic eficient.
4.2. Estimatori de risc minim
Pentru vectorul parametrilor θ* al unui sistem , fig. 4.2, se
poate determina un estimator pe baza eşantioanelor intrare-
ieşire disponibile şi a informaţiilor apriorice
Obţinerea practică a estimatorilor este funcţie de cantitatea de
informaţii apriorice disponibile. Informaţiile apriorice
despre proces (sistem) sunt bogate dacă sunt
disponibile următoarele funcţii:
.
5/23/2016
9
u(k)
+
x(k)
v(k)
y(k)+
Informaţii
apriorice
Fig. 4.2
Sistem
θ
Model θ
1. densitatea de probabilitate a zgomotului p(v) ; pe baza
acestei funcţii, în ipoteza liniarităţii procesului tehnologic, se
poate determina densitatea de probabilitate a ieşirii ),/( UYp
2. densitatea de probabilitate a vectorului parametrilor p(θ*);
aceasta poate fi obţinută doar în urma aplicării unui estimator
mai simplu.
3. funcţia de cost C(θ, θ*) care exprimă pierderea produsă
considerând vectorul parametrilor estimaţi în locul vectorului
parametrilor reali θ*.
Estimatorii deduşi pe baza tuturor informaţiilor de mai sus
se numesc estimatori de risc minim (ERM). Se utilizează
o funcţie criteriu
mR
dUYpCV ),/(),()((4.26)
Estimatorul de risc minim (ERM) minimizeazã riscul mediu
aposteori (după efectuarea experimentului).
dUYpC
VUYCE
mR
),/(),(minarg
)(minarg],/),([minargˆ
(4.27)
unde m este dimensiunea vectorului . Ştiind p(Y/θ*,U) şi p(θ*)
se poate determina p(θ*/Y,U) cu formula lui Bayes
)(
)(),/(),/(
Yp
pUYpUYp
unde
mR
dpUYpYp )(),/()(
(4.28)
5/23/2016
10
este formula probabilităţii totale
Având disponibile toate informaţiile necesare p(Y/θ*,U) ,
p(θ*), C(θ,θ*) se pot determina estimatorii de risc minim. Pentru
că utilizează teorema Bayes, estimatorii de risc minim se mai
numesc şi estimatori Bayes.
Dacă funcţia de cost C(θ,θ*) are forme particulare,
estimatorii de risc minim capătă semnificaţii fizice concrete. Se
consideră cazurile :
Cazul 1. Se alege funcţia de cost2
),( C Atunci
mR
dUYpUYCEV ),/(],/),([)(2
(4.29)
Estimaţia de risc minim rezultă din
0),/()(2],/),([
mR
dUYpV
UYCE
sau
m mR R
dUYpdUYp ),/( ),/(
deoarece
mR
dUYp 1),/(
rezultă soluţia dUYpmR
),/(ˆ (4.30)
care reprezintă media distribuţiei condiţionate p(θ*/Y,U) .
Cazul 2. Se consideră funcţia de cost
**),( C (4.31)
Estimatorul de risc minim este
mR
VdUYp )(minarg),/(minargˆ ***
(4.32)
Din condiţia
mR
dUYpsignV
0),/()( ***
se obţine soluţia Tm ˆ,........,ˆ,ˆˆ21 care reprezintă valoarea
pentru care diferenţa θ – θ* îşi schimbă semnul.Relaţia (4.32) se poate scrie acum
5/23/2016
11
m
m
dUYpdUYp
ˆ
**ˆ ˆ ˆ
ˆ ˆ
** ),/(......),/(....1 2
1 2(4.33)
reprezintă mediana distribuţiei condiţionate.
Cazul 3. Se consideră funcţia de cost
)(),( ** C (4.34)
Această funcţie de cost semnifică faptul că orice pierdere este
posibilă prin considerarea estimatorului în locul valorii
adevărate. În acest caz
***** ),/(),/()()( UYpdUYpVRm
(4.35)
Deci estimatorul de risc minim
),/(maxarg)],/([minargˆ UYpUYp
(4.36)
reprezintă moda distribuţiei.
Dacă informaţiile apriorice nu permit formularea unei funcţii de
cost C(θ,θ*) adecvate, atunci se alege estimatorul care minimizează densitatea de repartiţie, p(θ*/Y,U), pentru
că potrivit teoremei Bayes
mR
dpUYp
pUYpUYp
***
***
)(),/(
)(),/(),/(
(4.37)
şi p(Y/θ*,U) poate fi calculată din cunoştinţele apriorice.
4.3. Estimatori de verosimilitate maximă (EVM)
Dacă din informaţiile apriorice se cunoaşte numai densitatea
de probabilitate p(Y/θ*,U), un raţionament simplu ne conduce
la un estimator de verosimilitate maximă (EVM). Pentru că
repartiţia vectorului θ* nu este cunoscută, se consideră că
toate valorile pe care le poate lua θ* sunt echiprobabile, deci
θ* este uniform distribuit, p(θ*) = const. într-un interval
θ* [a, b].
5/23/2016
12
Pentru că funcţia de pierdere C(θ,θ*) nu poate fi definită, se
consideră că orice pierdere este posibilă. Se alege
C( - θ*) = - ( - θ*). Conform cazului 3, rezultă că :
*
)(
,/maxarg,/maxargˆ
* Yp
pUYpUYp
(4.38)
Pentru că p(θ*) = constant şi p(Y) nu depinde de rezultă
UYpUYp ,/maxarg,/maxargˆ*
VM
deci
verosimilitate care se poate deduce cunoscând distribuţia zgomotului.
În multe aplicaţii este mai convenabil să se obţină
estimatorul de verosimilitate maximă din maximizarea
este argumentul care maximizează funcţia de
funcţiei de verosimilitate logaritmică
),/(lnmaxarg)(maxargˆ UYpLVM
(4.39)
Ecuaţiile care dau soluţia problemei de extremizare L() = 0, se
numesc ecuaţii de verosimilitate. Estimatorul de verosimilitate
maximă (EVM) este caracterizat de următoarele proprietăţi:
• normalitate asimptotică;
• nedeviere asimptotică;
• eficienţă asimptotică;
• consistenţă.
4.3.1. Estimatorul Markov
Acest estimator este un caz particular al estimatorului de
verosimilitate maximă. Se cunoaşte aprioric că perturbaţia v(k)
este normal distribuită de medie nulă şi matrice de covarianţă
R = Rvv nesingulară, cunoscută. Se va deduce un estimator
considerând îndeplinite ipotezele generale I1I6.
Se consideră un model de regresie al procesului care conţine
valori ale secvenţei de ponderare.
m
i
kvikuihky0
)()()()( (4.40)