20130216 machinelearning khachay_lecture01

Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ

Machine Learning. Ââåäåíèå

Ì.Þ.Õà÷àé[email protected]

Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍÑ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ

Øêîëà àíàëèçà äàííûõ

âåñåííèé ñåìåñòð 2013

Àííîòàöèÿ

Êóðñ ¾Àëãîðèòìè÷åñêîå îáó÷åíèå¿ ïðåäñòàâëÿåò ñîáîé êðàòêîåââåäåíèå â òåîðèþ è ìåòîäû ðåøåíèÿ çàäà÷ àíàëèçà ýìïèðè÷åñêèõäàííûõ: êëàññèôèêàöèè ñ ó÷èòåëåì, âîññòàíîâëåíèÿ çàâèñèìîñòåéáîëåå îáùåé ïðèðîäû, êëàñòåðèçàöèè è äð., èìåþùèõ øèðîêèéñïåêòð ïðèëîæåíèé â îáëàñòè ìåäèöèíñêîé è ýêîíîìè÷åñêîéäèàãíîñòèêè, àíàëèçà èçîáðàæåíèé, èíôîðìàöèîííîãî ïîèñêà èò.ï.

Ñîäåðæàíèå

1 Ââåäåíèå

2 Òèïû çàäà÷ îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Ìåòîäû

3 Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè

1 Ââåäåíèå

What is Machine Learning?

Authur Samuel (1959)

Machine Learning is a �eld of study that gives computers the abilityto learn without being programmed

What is Machine Learning?

Machine Learning is the study ofcomputer algorithms that improveautomatically through experience.Applications range from dataminingprograms that discover general rules inlarge data sets, to information �lteringsystems that automatically learn users'interests

What is Machine Learning? (Pedro Domingos)

Òèïû çàäà÷

supervised learning (îáó÷åíèå ñ ó÷èòåëåì) � ïîñòàíîâêè çàäà÷, âêîòîðûõ òðåáóåòñÿ âîññòàíîâèòü (îöåíèòü,àïïðîêñèìèðîâàòü) íåèçâåñòíóþ çàêîíîìåðíîñòü ïîçàäàííîìó íàáîðó ïàð (input, output).Èíòåðïîëÿöèÿ � çàäà÷è êëàññèôèêàöèè,âîññòàíîâëåíèÿ ðåãðåññèè. Ýêñòðàïîëÿöèÿ � çàäà÷èïðîãíîçèðîâàíèÿ, àíàëèçà âðåìåííûõ ðÿäîâ.

unsupervised learning (îáó÷åíèå áåç ó÷èòåëÿ) � çàäà÷èãðóïïèðîâêè (âîçìîæíî, èåðàðõè÷åñêîé) áëèçêèõ âíåêîòîðîì ñìûñëå îáúåêòîâ, êëàñòåðèçàöèÿ,âûÿâëåíèå íàèáîëåå õàðàêòåðíûõ ïðåäñòàâèòåëåé

semi-supervised learning

reinforcement learning

Ïðèìåðû ïðèêëàäíûõ çàäà÷

Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè

Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõèññëåäîâàíèé (ÊÒ)

Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)

Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè

Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõèññëåäîâàíèé (ÊÒ)

Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)

Çàäà÷à áèîìåòðè÷åñêîé èäåíòèôèêàöèè

Çàäà÷à îá îöåíêå çàåìùèêà

Input: àíêåòíûå äàííûå: âîçðàñò, îáðàçîâàíèå, ìåñòîðàáîòû, ñðåäíèé äîõîä, ñîáñòâåííîñòü, ñåìåéíîåïîëîæåíèå; êðåäèòíàÿ èñòîðèÿ; íåâåðáàëüíûåäàííûå: ðåçóëüòàòû èíòåðâüþ, ñóáúåêòèâíîå ìíåíèåêðåäèòíîãî ýêñïåðòà è.ò.ï

Output: ðåøåíèå î êðåäèòîñïîñîáíîñòè çàåìùèêà

Êëàñòåðíûé àíàëèç

Ìåòîäû

Ìåòîäû îáó÷åíèÿ

áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ

ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)

ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)

íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)

ãðàôîâûå ìîäåëè (HMM è äð.)

êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)

Ìåòîäû

Îáîñíîâàíèå

ýìïèðèêà (CV, FAR/FRR, AUC è ò.ï.)

òåîðèÿ Âàïíèêà-×åðâîíåíêèñà (VCD, âåðõíèå îöåíêèðàâíîìåðíîé ñõîäèìîñòè ýìïèðè÷åñêèõ ñðåäíèõ)

ñòîõàñòè÷åñêèå ñëó÷àéíûå ïðîöåññû (ñëàáàÿ ñõîäèìîñòü,äîíñêåðîâîñòü, îáîáùåíèå ÖÏÒ)

PAC-learning

Çàäà÷à îá îïòèìàëüíîì ôóíêöèîíàëüíîì ýëåìåíòå

â çàäàííîì ñåìåéñòâå äîïóñòèìûõ ôóíêöèé òðåáóåòñÿ âûáðàòüýëåìåíò, îïòèìèçèðóþùèé ôèêñèðîâàííûé êðèòåðèé êà÷åñòâà(ïîòåðü)

Íàïðèìåð,

Äàíî: Z, G = {g(·, α) : Z → R, α ∈ Λ} è I : Λ→ R+.

Íàéòè: g(·, α) ∈ G òàêóþ, ÷òî

α = arg min{I(α) : α ∈ Λ}. (1)

Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà

Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ→ R òàê, ÷òî

I(α) = I(α |P) =

Φ(z, g(z, α)) dP(z) (2)

α = arg min{I(α |P) : α ∈ Λ}. (3)

Èäåàëüíûé ñëó÷àé

Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) � çàäà÷à âàðèàöèîííîãîèñ÷èñëåíèÿ

Ðåàëüíûé ñëó÷àé

Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé

ζ = (z1, z2, . . . , zl)

Â ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè

I(α) = I(α |P) =

Φ(z, g(z, α)) dP(z) (2)

α = arg min{I(α |P) : α ∈ Λ}. (3)

ζ = (z1, z2, . . . , zl)

I(α) = I(α |P) =

Φ(z, g(z, α)) dP(z) (2)

α = arg min{I(α |P) : α ∈ Λ}. (3)

ζ = (z1, z2, . . . , zl)

I(α) = I(α |P) =

Φ(z, g(z, α)) dP(z) (2)

α = arg min{I(α |P) : α ∈ Λ}. (3)

ζ = (z1, z2, . . . , zl)

Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè

Àíòàãîíèñòè÷åñêàÿ èãðà ñ ïðèðîäîé

Èãðîêè I IIÈìÿ Ïðèðîäà Ñòàòèñòèê

×èñòûå ñòðàòåãèè P ∈ P α ∈ Λ

ïàðòèÿ èãðû (P, α),

ïëàòåæíàÿ ôóíêöèÿ K(P, α) ≡ I(α|P)

Áàéåñîâñêèå ðåøåíèÿ

Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåìçàäàíà âåðîÿòíîñòíàÿ ìåðà µ.

Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:

α(µ) = arg min{∫

I(α |P) dµ |α ∈ Λ

Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà

Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr.

Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîåðàñïðåäåëåíèå µpos = µ[µpr, ζ].

Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos).

Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P

Ïóñòü P = {P1,P2}, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíàïëîòíîñòüþ ρi. Ïðîèçâîëüíîå µ � äèñêðåòíî.Ïóñòü µpr(Pi) = mi, ãäå m1,m2 > 0 è m1 + m2 = 1.

Ïî ôîðìóëå Áàéåñà

µpos(Pi) = ni =

l∏j=1

ρi(zj)

∑i∈{1,2}

l∏j=1

ρi(zj)

Èñêîìîå áàéåñîâñêîå ðåøåíèå

α(µpos) = arg min

Φ(z, g(z, α))ρ1(z) dz

Φ(z, g(z, α))ρ2(z) dz |α ∈ Λ

Ïóñòü P = {P1,P2}, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíàïëîòíîñòüþ ρi. Ïðîèçâîëüíîå µ � äèñêðåòíî.Ïóñòü µpr(Pi) = mi, ãäå m1,m2 > 0 è m1 + m2 = 1.Ïî ôîðìóëå Áàéåñà

µpos(Pi) = ni =

l∏j=1

ρi(zj)

∑i∈{1,2}

l∏j=1

ρi(zj)

α(µpos) = arg min

Φ(z, g(z, α))ρ2(z) dz |α ∈ Λ

Ïóñòü P = {P1,P2}, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíàïëîòíîñòüþ ρi. Ïðîèçâîëüíîå µ � äèñêðåòíî.Ïóñòü µpr(Pi) = mi, ãäå m1,m2 > 0 è m1 + m2 = 1.Ïî ôîðìóëå Áàéåñà

µpos(Pi) = ni =

l∏j=1

ρi(zj)

∑i∈{1,2}

l∏j=1

ρi(zj)

α(µpos) = arg min

Φ(z, g(z, α))ρ2(z) dz |α ∈ Λ

Ìèíèìàêñíûé ïîäõîä

Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P

α(ζ) = arg min

P∈P(ζ)

I(α |P) |α ∈ Λ

Îòêðûòûå âîïðîñû:

âûáîð ïîäõîäÿùåãî P(ζ)

îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí)

âû÷èñëèòåëüíàÿ ñëîæíîñòü

Ìèíèìàêñíûé ïîäõîä

Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P

α(ζ) = arg min

P∈P(ζ)

I(α |P) |α ∈ Λ

Îòêðûòûå âîïðîñû:

âûáîð ïîäõîäÿùåãî P(ζ)

îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí)

âû÷èñëèòåëüíàÿ ñëîæíîñòü

Ìèíèìèçàöèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà

Òðàäèöèîííûé äëÿ òåîðèè îáó÷åíèÿ ïîäõîä ñîñòîèò âìèíèìèçàöèè

α∗(ζ) = arg min {Iemp(α | ζ) |α ∈ Λ} (4)

ýìïèðè÷åñêîãî ôóíêöèîíàëà Iemp(α | ζ), ñïåöèàëüíûì îáðàçîìïîäîáðàííîãî ïî âûáîðêå ζ.

Ñïîñîá ïîñòðîåíèÿ ôóíêöèîíàëà Iemp ìîæåò ñèëüíî ðàçíèòüñÿîò çàäà÷è ê çàäà÷å (è ìåòîäà ê ìåòîäó) è êàæäûé ðàç áóäåòîãîâàðèâàòüñÿ îòäåëüíî.

Â áîëüøèíñòâå ñëó÷àåâ ìîæíî îãðàíè÷èòüñÿ ôóíêöèîíàëàìèâèäà

Iemp(α | ζ) =

Φ(z, g(z, α)) dπ(z | ζ), (5)

ãäå âåðîÿòíîñòíàÿ ìåðà π(z | ζ) (íå îáÿçàòåëüíîïðèíàäëåæàùàÿ ñåìåéñòâó P), îäíîçíà÷íî îïðåäåëÿåòñÿâûáîðêîé ζ.

Ýìïèðè÷åñêèé ðèñê

Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) � ÷àñòíûéñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp(α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåéìåðîé

π(A | ζ) =|{i : zi ∈ A}|

l(A ∈ A)

Ëåãêî ïîêàçàòü, ÷òî òîãäà

Iemp(α|ζ) =

∑li=1 Φ(zi, g(zi, α))

Óïðàæíåíèå 1.

π(A | ζ) =|{i : zi ∈ A}|

l(A ∈ A)

Iemp(α|ζ) =

π(A | ζ) =|{i : zi ∈ A}|

l(A ∈ A)

Iemp(α|ζ) =

Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ

Ïóñòü

I = inf{I(α |P) : α ∈ Λ} = inf

Φ(z, g(z, α)) dP(z) : α ∈ Λ

äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.Àëãîðèòì îáó÷åíèÿ Alg :

⋃l Zl → Λ ñîïîñòàâëÿåò âûáîðêå ζ

çíà÷åíèå α∗(ζ) (ôóíêöèþ g(·, α∗(ζ)).

Äëÿ ïðîèçâîëüíûõ ε > 0 è l ∈ N,

Pl(ε) = P(I(α∗(ζ))− I > ε)

Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõäëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1− η, åñëè

Pl(ε) < η.

Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ

Ïóñòü

I = inf{I(α |P) : α ∈ Λ} = inf

Φ(z, g(z, α)) dP(z) : α ∈ Λ

äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.Àëãîðèòì îáó÷åíèÿ Alg :

⋃l Zl → Λ ñîïîñòàâëÿåò âûáîðêå ζ

çíà÷åíèå α∗(ζ) (ôóíêöèþ g(·, α∗(ζ)).

Äëÿ ïðîèçâîëüíûõ ε > 0 è l ∈ N,

Pl(ε) = P(I(α∗(ζ))− I > ε)

Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõäëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1− η, åñëè

Pl(ε) < η.

Àñèìïòîòè÷åñêàÿ àïïðîêñèìèðóåìîñòü

Çàäà÷à

min{Iemp(α | ζ)} = min

Φ(z, g(z, α)) dπ(z | ζ) : α ∈ Λ

êîððåêòíî àïïðîêñèìèðóåò çàäà÷ó

inf{I(α |P)} = inf

Φ(z, g(z, α)) dP(z)) : α ∈ Λ

åñëè äëÿ ïðîèçâîëüíîãî ε > 0

Pl(ε) −−−→l→∞

Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè

Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè

Íèæå áóäåì ïîëàãàòü, ÷òî

Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä

ζ = ((x1, y1), . . . , (xl, yl)), (8)

çàäàíî ñåìåéñòâî ôóíêöèé

F = {f (·, α) : X → Y |α ∈ Λ}

òàêîå, ÷òî g(z, α) = y− f (x, α), Φ(z, g(z, α)) = Ψ(y− f (x, α)) è,ñîîòâåòñòâåííî,

I(α|P) =

∫X×Y

Ψ(y− f (x, α)) dP(x, y)

äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.

Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åéâîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿåé çàäà÷à (6) � çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîéçàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì

Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè

Íèæå áóäåì ïîëàãàòü, ÷òî

Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä

ζ = ((x1, y1), . . . , (xl, yl)), (8)

F = {f (·, α) : X → Y |α ∈ Λ}

òàêîå, ÷òî g(z, α) = y− f (x, α), Φ(z, g(z, α)) = Ψ(y− f (x, α)) è,ñîîòâåòñòâåííî,

I(α|P) =

∫X×Y

Ψ(y− f (x, α)) dP(x, y)

äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.

Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åéâîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿåé çàäà÷à (6) � çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîéçàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì

Õàðàêòåðíûå ÷àñòíûå ñëó÷àè

çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ

çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè (è êàê ÷àñòíûé ñëó÷àé çàäà÷àèíòåðïðåòàöèè ïðÿìûõ èçìåðåíèé)

çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî ýêñïåðèìåíòà.

Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ

Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîåðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1.

Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèåχ : D→ X. Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòüïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).

Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë

F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} |α ∈ Λ},

Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäàðàâíîçíà÷íûìè.

F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} |α ∈ Λ},

Çàäàâøèñü Â.Ï. (X × Y,A,P) ñ èçâåñòíûìè ìíîæåñòâîìýëåìåíòàðíûõ èñõîäîâ X × Y è σ-àëãåáðîé ñîáûòèé A è âîáùåì ñëó÷àå íåèçâåñòíîé âåðîÿòíîñòíîé ìåðîé P,ïðåäïîëàãàåì äëÿ êàæäîãî ïðàâèëà f (·, α) èçìåðèìûììíîæåñòâî

Aα = {(x, y) | y 6= f (x, α)} ∈ A.

Ñîîòâåòñòâåííî, êàæäîìó α ∈ Λ ìîæåò áûòü ñîïîñòàâëåíî÷èñëî

I(α|P) = P(Aα) ≡∫

dP(x, y) =

∫X×Y

1Aα(x, y) dP(x, y),

Ïðè íàøèõ äîïóùåíèÿõ

1Aα(x, y) ≡ (y− f (x, α))2,

Äëÿ èçâåñòíîé âåðîÿòíîñòíîé ìåðû P çàäà÷à îáó÷åíèÿðàñïîçíàâàíèþ îáðàçîâ ñâîäèòñÿ ê âàðèàöèîííîé çàäà÷å

(y− f (x, α))2 dP(x, y) |α ∈ Λ

äîïóñêàþùåé â ðÿäå ñëó÷àåâ àíàëèòè÷åñêîå ðåøåíèå.

Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå

1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìèP1 = P(y = 1) è P0 = P(y = 0) = 1− P1 è óñëîâíûìè ìåðàìèP(x|y = 1) è P(x|y = 0),

2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûåèíäèêàòîðíûå ôóíêöèè

Òîãäà çàäà÷à (9) ðàçðåøèìà.

Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð.

Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìûäëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k > 2.Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.

Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå

1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìèP1 = P(y = 1) è P0 = P(y = 0) = 1− P1 è óñëîâíûìè ìåðàìèP(x|y = 1) è P(x|y = 0),

2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûåèíäèêàòîðíûå ôóíêöèè

Òîãäà çàäà÷à (9) ðàçðåøèìà.

Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð.

Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìûäëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k > 2.Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.

Ñóùåñòâîâàíèå áàéåñîâñêîãî êëàññèôèêàòîðà

Îãðàíè÷èìñÿ ðàññìîòðåíèåì ÷àñòíîãî ñëó÷àÿ, â êîòîðîììåðû P(x|y = 1) è P(x|y = 0) àáñîëþòíî íåïðåðûâíû èçàäàþòñÿ ïëîòíîñòÿìè ρ1(x) è ρ0(x), ñîîòâåòñòâåííî. Ëåãêîâèäåòü, ÷òî íàèìåíüøåå çíà÷åíèå èíòåãðàëà∫

(y−f (x))2 dP(x, y) = P1

(1−f (x))2ρ1(x) dx+P0

f (x)ρ0(x) dx

äîñòèãàåòñÿ íà ôóíêöèè

f (x) =

{1, P1 · ρ1(x) ≥ P0 · ρ0(x),

0, â ïðîòèâíîì ñëó÷àå,

èìåíóåìîé áàéåñîâñêèì êëàññèôèêàòîðîì.

Â îáùåé ñèòóàöèè, êîãäà èíôîðìàöèÿ î ìåðå P çàäàåòñÿ âûáîðêîéζ = ((x1, y1), . . . , (xl, yl)), çàäà÷à àïïðîêñèìèðóåòñÿ:

minα∈Λ

∫X×Y

(y− f (x, α))2 dπ(x, y | ζ). (10)

÷àñòíûì ñëó÷àåì çàäà÷è (6).

Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè

Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîåìàòåìàòè÷åñêîå îæèäàíèå

E(y|x) =

y dP(y|x).

Îòîáðàæåíèå x 7→ y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåéðåãðåññèè (ðåãðåññèåé).Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ YX, y(·) ∈ M èñåìåéñòâî ôóíêöèé

F = {f (·, α) : X → Y |α ∈ Λ} ⊂ M.

Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãîïðèáëèæåíèÿ â ñåìåéñòâå F :

minα∈Λ

d(y(·), f (·, α)). (11)

Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè

Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîåìàòåìàòè÷åñêîå îæèäàíèå

E(y|x) =

y dP(y|x).

Îòîáðàæåíèå x 7→ y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåéðåãðåññèè (ðåãðåññèåé).Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ YX, y(·) ∈ M èñåìåéñòâî ôóíêöèé

F = {f (·, α) : X → Y |α ∈ Λ} ⊂ M.

Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãîïðèáëèæåíèÿ â ñåìåéñòâå F :

minα∈Λ

d(y(·), f (·, α)). (11)

Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà

Ïóñòü M = L2(P) � ãèëüáåðòîâî ïðîñòðàíñòâî èíòåãðèðóåìûõñ êâàäðàòîì (ïî ìàðãèíàëüíîé ìåðå) ôóíêöèé è íîðìîé

‖g‖ =

√∫X

g2(x) dP(x) ≡

√∫X×Y

g2(x) dP(x, y).

Î÷åâèäíî, îïðåäåëåííîå òàêèì îáðàçîì ïðîñòðàíñòâî Mÿâëÿåòñÿ ìåòðè÷åñêèì, ñî ñòàíäàðòíîé ìåòðèêîéd(g, h) = ‖g− h‖.Îïðåäåëèì ôóíêöèîíàë I ñîîòíîøåíèåì

α 7→ I(α |P) =

∫X×Y

(y− f (x, α))2 dP(x, y)

Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà (ctd.)

I(α |P) =

∫X×Y

(y− f (x, α))2 dP(x, y) =

∫X×Y

(y− y(x))2 dP(x, y)−

−2∫X

(y(x)−f (x, α))

(y− y(x)) dP(y|x)

︸︷︷︸

dP(x)+

(y(x)−f (x, α))2 dP(x) =

∫X×Y

(y−y(x))2 dP(x, y)+d2(y(·), f (·, α)) = const(α)+d2(y(·), f (·, α)).

Èíòåðïðåòàöèÿ ïðÿìûõ èçìåðåíèé

÷àñòíûé ñëó÷àé çàäà÷è î ðåãðåññèè

F = {f (·, α) : X → R |α ∈ Λ},

òðåáóåòñÿ íàéòè f (·, α) (ïàðàìåòð α) ïî ðåçóëüòàòàìïðèáëèæåííûõ èçìåðåíèé (x1, y1), . . . , (xl, yl), ãäå

yi = f (xi, α) + ξi, (i ∈ {1, 2, . . . , l} = Nl),

à ξi � ñëó÷àéíûå íåçàâèñèìûå íåñìåùåííûå ïîãðåøíîñòè,Eξ2

i <∞.

Èíòåðïðåòàöèÿ ðåçóëüòàòîâ êîñâåííûõ ýêñïåðèìåíòîâ

Èñêîìàÿ ôóíêöèîíàëüíàÿ çàâèñèìîñòü íåäîñòóïíà äëÿíåïîñðåäñòâåííûõ èçìåðåíèé, äàæå ñ ïîãðåøíîñòüþ.

Ïóñòü Y ⊂ R, çàäàíû ìåòðè÷åñêèå ïðîñòðàíñòâà (M1, d1) ⊂ YT

è (M2, d2) ⊂ YX, ñåìåéñòâî ôóíêöèé

F = {fα : T → Y |α ∈ Λ} ⊂ M1

è íåïðåðûâíûé îïåðàòîð A : M1 → M2, âçàèìíî îäíîçíà÷íûéíà A(M1).

Òðåáóåòñÿ ðåøèòü çàäà÷ó

min{d1(f ,F) |A(f ) = F}

ïðè óñëîâèèyi = F(xi) + ξi, (i ∈ Nm),

ïðè÷åì ñëó÷àéíûå âåëè÷èíû ξi, êàê è ðàíåå, íåçàâèñèìû âñîâîêóïíîñòè è óäîâëåòâîðÿþò óñëîâèÿì Eξi = 0, Eξ2

i <∞.

Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà

Óïðàæíåíèå 5. Ïîêàçàòü, ÷òî åñëè

(M2, d2) = L2(P) � ïðîñòðàíñòâî ôóíêöèé, èíòåãðèðóåìûõ ñêâàäðàòîì (ïî ìåðå P),

îïåðàòîð A−1 íåïðåðûâåí íà ìíîæåñòâå A(M1),

òî èñõîäíàÿ çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãîýêñïåðèìåíòà ýêâèâàëåíòíà çàäà÷å

min∫

(y− A(fα)(x))2 dP(x, y)

Âûâîäû

ìíîãèå çàäà÷è àíàëèçà äàííûõ äîïóñêàþò ñâåäåíèå ê çàäà÷åìèíèìèçàöèè ïîäõîäÿùåãî ôóíêöèîíàëà ñðåäíåãî ðèñêà

â ñëó÷àå èçâåñòíîé âåðîÿòíîñòíîé ìåðû ïîëó÷àåìàÿ çàäà÷àìîæåò áûòü ðåøåíà ìåòîäàìè âàðèàöèîííîãî àíàëèçà, è âíåêîòîðûõ ÷àñòíûõ ïîñòàíîâêàõ äîïóñêàåò àíàëèòè÷åñêîåðåøåíèå

ïðîöåäóðà îáó÷åíèÿ îáóñëîâëåíà íåèçâåñòíîñòüþ çàêîíîâðàñïðåäåëåíèÿ è ñâîäèòñÿ ê çàäà÷å ìèíèìèçàöèè ïîäõîäÿùåãîýìïèðè÷åñêîãî ôóíêöèîíàëà

20130216 machinelearning khachay_lecture01

Documents