Машинное обучение 1, осень 2014: Метод опорных векторов...
TRANSCRIPT
Ëèíåéíûå ìîäåëè: SVM(ïðîäîëæåíèå). Collaborative �ltering.
È. Êóðàë¼íîê, Í. Ïîâàðîâ
ßíäåêñ
ÑÏá, 2014
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 1 èç 1
Ïëàí
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 1 èç 1
×òî ìû óçíàëè â ïðîøëûé ðàç I
Âèä äâîéñòâåííîé çàäà÷è â ñëó÷àå ëèíåéíîéðàçäåëèìîñòè:
arg minλ−∑m
i=1 λi + 12
∑mi=1
∑mj=1 λiλjyiyj(xixj){
λi ≥ 0∑mi=1 λiyi = 0
Èç ðåøåíèÿ äâîéñòâåííîé çàäà÷è, ìîæíî ïîëó÷èòüðåøåíèÿ ïðÿìîé:
β =∑m
i=1 λiyixiβ0 = βxi − yi , λi > 0
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 2 èç 1
×òî ìû óçíàëè â ïðîøëûé ðàç II
Áûëî áû êëàññíî íàéòè òàêóþ ïëîñêîñòü, êîòîðàÿ ñèëüíååâñåãî ïîäåëèò íà êëàññû
Åñëè ìíîæåñòâà ëèíåéíî ðàçäåëèìû, òî íàäîìèíèìèçèðîâàòü ‖β‖
Åñëè ïåðåéòè ê äóàëüíîé çàäà÷å, çàâèñèìîñòü îò xîêàæåòñÿ òîëüêî ÷åðåç ñêàëÿðíûå ïðîèçâåäåíèÿ, êîòîðûåìû ìîæåì �îðãàíèçîâàòü� ïî ñâîåìó ðàçóìåíèþ
 äóàëüíîì ðåøåíèè óñëîâèÿ î÷åíü ïðîñòû è ìîæíîîðãàíèçîâàòü áåçóñëîâíóþ îïòèìèçàöèþ çàìåíîéïåðåìåííûõ
Êîëè÷åñòâî êîìïîíåíò îïòèìèçàöèè ïðîïîðöèîíàëüíîêâàäðàòó êîëè÷åñòâà òî÷åê, ÷òî ìíîãî
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 3 èç 1
Ìÿãêèå ãðàíèöû
Ïåðåíåñåì òî÷êè-�íàðóøèòåëè� íà ãðàíèöó è äîáàâèì êöåëåâîé ôóíêöèè ñòîèìîñòü ýòîãî ïåðåíîñà:
arg min ‖β‖+ c∑
i ξi{yi(β
Txi − β0) + ξi ≥ 1ξi ≥ 0
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 4 èç 1
Ðåøåíèå ñ ìÿãêèìè ãðàíèöàìèÏðÿìàÿ çàäà÷à (çàìåòèì, ÷òî dim(λ) = 2m):
argminβ,ξ maxλ ‖β‖+c∑
i ξi−∑
i λi (yi(βxi − β0) + ξi − 1)−∑
i λi+mξiλi > 0
Äóàëüíàÿ çàäà÷à (Wolfe):
argmaxλ∑m
i=1λi − 1
2
∑mi=1
∑mj=1
λiλjyiyj(xixj){0 ≤ λi ≤ c∑m
i=1λiyi = 0
Ãäå-òî ìû òàêîå (ïî÷òè) óæå âèäåëè. Ðåøàòü òàêîå íàäîóñëîâíîé îïòèìèçàöèåé, ïðè ýòîì çàäà÷à íå âñåãäà âûïóêëà(åñëè ((xi , xj)) � 0).
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 5 èç 1
Íåëèíåéíûå ðåøåíèÿ â SVM (ßäðà)
Ïîñòðîèì ïðåîáðàçîâàíèå èç èñõîäíîãî ïðîñòðàíòñâà â êàêîå-òîåâêëèäîâî H:
Φ : Rn → H
Òîãäà îïðåäåëèì (xi , xj) = (Φ(xi),Φ(xj)). ×òî ìîæíî äåëàòü ñÿäðàìè 1:
1 ëèíåéíî êîìáèíèðîâàòü
2 óìíîæàòü
3 êîìáèíèðîâàòü ñ ôóíêöèåé, ðàñêëàäûâàåìîé â Òåéëîðà ñíåîòðèöàòåëüíûìè êîýôôèöèåíòàìè (íàïðèìåð ex)
4 etc.
 çàäà÷å ìîæíî ïîñòàâèòü öåëü ïîäîáðàòü îïòèìàëüíîå ÿäðî ñïîìîùüþ ïîäîáíûõ ïðåîáðàçîâàíèé.
1äîêàçûâàåòñÿ ëèáî ÷åðåç îïðåäåëåíèå, ëèáî ÷åðåç òåîðåìó ÌåðöåðàÈ. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 6 èç 1
Èçâåñòíûå ßäðà
Ïîëèíîìèàëüíûå K (x , x′) = (xTx
′+ c)d
Ãàóññîâî (radial basis) K (x , x′) = e−γ‖x−x
′‖22
Ñèãìîéäíîå (�Íåéðîííîå�) K (x , x′) = tanh(k1(x , x
′) + k2)
 ýòîì ñëó÷àå ðåøåíèå áóäåò âûãëÿäåòü èíà÷å:
h(x) = sign
(∑i
λiyi(K (xi , x) + β0)
)
Çàìåòèì, ÷òî ìîæíî âûêèíóòü âñå òî÷êè â êîòîðûõ λi = 0 (ýòîêàêèå?).
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 7 èç 1
Êàê ïîäîáðàòü ÿäðî äëÿ ðåøåíèÿçàäà÷è?
1 Cross-fold2 Èññëåäîâàíèå òîïîëîãèè Φ(x)
íàïðèìèð, òî÷êè îäíîãî êëàññà äîëæíû áûòü ïîáëèæå,äðóãîãî � ïîäàëüøå.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 8 èç 1
SVM è ðåãóëÿðèçàöèÿ
Âñïîìíèì êàê âûãëÿäèò íàøà ðåøàþùàÿ ôóíêöèÿ (áåç ÿäåð):h(x) = sign(xTβ + β0). Òîãäà ïðîáëåìó ìîæíîïåðåôîðìóëèðîâàòü òàê:
min∑i
(1− yih(xi))+ +λ
2‖β‖2
À ýòî ìèíèìèçàöèÿ hinge loss ñ l2 ðåãóëÿðèçàöèåé. Òåïåðü òîæåñàìîå, íî ñ ÿäðàìè, h(x) = sign (
∑i λiyi(K (xi , x) + β0)):
min∑i
(1− yih(xi))+ +λ
2βTKβ
ãäå K : kij = K (xi , xj). Íàñ íèêòî íå îãðàíè÷èâàåò hinge loss,ìîæíî âñå òîæå ñàìîå, íî ñ ëþáûì äðóãèì ëîñåì!
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 9 èç 1
Kernel Ridge Regression
Åñëè ïðèìåíèìà ê ëþáûì ôóíêöèÿì ïîòåðü, òî ïî÷åìó íå ê lq?Ðàññìîòðèì çàäà÷ó îïòèìèçàöèè:
min∑ξ2{
yi − βTφ(xi) = ξi ,∀i‖β‖ ≤ B
Òàêîå ìû óæå äåëàëè, ïîýòîìó ïðèâåäó ëèøü ðåçóëüòàò(λ = λ(B)):
β∗ = 2λ (K + λE )−1 y
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 10 èç 1
Ïëàí
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 10 èç 1
Êàê ïîñòðîèòü ìóëüòèêëàññèôèêàòîð?
Âûáåðåì î÷êè äëÿ êàæäîãî êëàññà è ñâåäåìçàäà÷ó ê ðåãðåññèè
Îäèí ïðîòèâ âñåõ â êîëè÷åñòâå k øòóê
Ïîñòðîèì îäíîâðåìåííî íåñêîëüêîêëàññèôèêàòîðîâ ñ óñëîâèåì èõ ñîîòíîøåíèÿ(Multi-logit)
Ïîñòðîèì êëàññèôèêàòîðû äëÿ âñåõ ïàð
Åñòü åùå èäåè?
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 11 èç 1
Reducing multiclass to binary
E.L. Alwien, R.E. Schapire, Y. Singer ïðåäëîæèëè èíòåðåñíóþàëüòåðíàòèâó: Ââåäåì ìîäåëüíóþ ìàòðèöóM∈ {−1, 0, 1}k×l .Äëÿ êàæäîãî ñòîëáöà ïîäáåðåì ôóíêöèþ áèíàðíîéêëàññèôèêàöèè, îòäåëÿþùóþ +1 îò −1. Ðåøèì èñõîäíóþçàäà÷ó îäíèì èç äâóõ ñïîñîáîâ:
dH(c , f (x),M) =l∑
s=1
(1− sign(mcs fs(x))
2
)
dL(c , f (x),M) =l∑
s=1
L(mcs fs(x))
Òåïåðü âîïðîñ ñâåëñÿ ê òîìó êàê íàéòè îïòèìàëüíûéM.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 12 èç 1
Ïëàí
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 12 èç 1
Collaborative �ltering
Åñòü ïîëüçîâàòåëè, åñòü òîâàðû. Íàäî íàéòèïîäõîäÿùèå ïîëüçîâàòåëþ òîâàðû, êîòîðûõ îí íåâèäåë, èñïîëüçóÿ èíôîðìàöèþ î òîì êàêèå òîâàðûïîêóïàþò âìåñòå.
U = {ui}n1,R = {rj}m1X = {(u, r , s)|u ∈ U , r ∈ R , s ∈ ZS}
www.net�ixprize.com ïðîâîäèò ñîðåâíîâàíèå ñ ïðèçîì â1m$. n ' 480k ,m ' 17k .
L(h,X ) = −∑
(u,r ,s)∈X
‖s − h(r , s)‖2
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 13 èç 1
Ïðèíöèïèàëüíûå ñïîñîáû ðåøåíèÿ
Õðàíèì âåñü îïûò â ïàìÿòè:
+ ïðîñòî, ìîæíî ëåãêî îáíîâëÿòü;� ìîæåò áûòü òÿæåëî ïî ïàìÿòè,
âîçìîæåí òîëüêî ïðîñòîé àíàëèç, òàêêàê âñå ðàáîòàåò on the �y.
Õðàíèì òîëüêî ïðîôàéëû äëÿ ïîëüçîâàòåëåé èòîâàðîâ:
+ ëåãêî øàðäèðóåòñÿ, ìåíååòðåáîâàòåëüíî ïî ïàìÿòè;
� ñëîæíåå îáíîâëÿòü, äëÿ âûñîêîéîòçûâ÷èâîñòè íàäî ãîðîäèòüîõðåòåêòóðó.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 14 èç 1
Ïîòîâàðíûå ìåòîäû: ëèíåéíàÿ ðåãðåññèÿ
Åñëè åñòü çâåçäû, òî ìîæíî ñäåëàòü âñå ïðîñòî:
h(u, r |X ) =∑
(u, q, s) ∈ Xq 6= r
aqs + bq
Slope One:
h(u, r |X ) =1∑
q 6=r |X (r , q)|∑
(u, q, s) ∈ Xq 6= r
|X (r , q)|(s + bq)
Âñå ðàâíî ñëèøêîì ìíîãî ïàðàìåòðîâ: m2!
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 15 èç 1
Ïîòîâàðíûå ìåòîäû: Amazon.comitem-to-item
Äîïîëíèòåëüíî èçâåñòíà ñòðàíèöà òîâàðà, íà êîòîðîéíàõîäèòñÿ ïîëüçîâàòåëü. Çâåçä íåòó, áëèçîñòü item'îâìåðÿåì òàê:
d(r , q) = (X (r),X (q))‖X (r)‖‖X (q)‖
Èùåì íàèáîëåå áëèçêèé òåêóùåìó òîâàð, åãî èðåêîììåíäóåì.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 16 èç 1
Ïîïîëüçîâàòåëüñêèå ìåòîäû
Ïîêà âñå íàøè âûâîäû íå ñëèøêîì çàâèñèëè îòïîëüçîâàòåëÿ.Ìîæíî ñäåëàòü âñå òîæå ñàìîå, íî òîëüêî ïî áëèçêèìïîëüçîâàòåëÿì. Áëèçîñòü ìîæíî îïðåäåëèòü òàêæå:
d(u1, u2) =X (u1)X (u2)
‖X (u1)‖‖X (u2)‖
èëèd(u1, u2) = corr(X (u1),X (u2))
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 17 èç 1
Ðåøåíèå ôàêòîðèçàöèåé
 êîíå÷íîì ñ÷åòå ó íàñ âñåãäà åñòü òàáëèöà C ∈ Rn×m, â êîòîðîéñîäåðæàòñÿ êàê èçâåñòíûå èç X ÷àñòè, òàê è íåèçâåñòíûåêîìïîíåíòû. Ïðè ýòîì èíôîðìàöèè èç X ñóùåñòâåííî ìåíüøå,÷åì òðåáóåòñÿ äëÿ òîãî, ÷òîáû äîñòðîèòü îñòàâøååñÿ. Èç êóðñààëãåáðû ìû çíàåì, ÷òî (òåîðåìà Ýêêàðòà-ßíãà):
C0 = arg minrank(C ′ )≤r
‖C − C′‖F = UTΣrV
Ðåãóëèðóÿ r ìîæíî äîáèòüñÿ ñîïîñòîâèìîãî ñ X êîëè÷åñòâàèíôîðìàöèè â ïðàâîé ÷àñòè. Ðåøåíèå èñõîäíîé çàäà÷è ìîæíîïîëó÷èòü èç C0.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 18 èç 1
Êàê ïîñòðîèòü ðàçëîæåíèå
Çàìåòèì, ÷òî:
CT0 C0 = V TΣ2V ,C0C
T0 = UTΣ2U
Áîëåå òîãî, òàê êàê U è V îðòîíîðìèðîâàííû, íàéäÿîäíó èç íèõ (êîíå÷íî ìåíüøóþ :)) ìû ìîæåì ïîëó÷èòüâòîðóþ ïî÷òè áåñïëàòíî. Äëÿ ðåøåíèÿ ýòîé çàäà÷èåñòü ìóëüåí òåõíèê.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 19 èç 1
Ðàçëîæåíèå íàïðÿìóþ ðàáîòàåò ïëîõî
Çâåçäû ó îäíîãî ïîëüçîâàòåëÿ != çâåçäàì äðóãîãî
Ñëèøêîì ìíîãî ïðîïóùåííûõ äàííûõ
Ðåøåíèÿ ìîæåò �êîëáàñèòü� èç-çà ìåòîäàâû÷èñëåíèÿ ðàçëîæåíèÿ, òàê êàê ìàòðèöûñëó÷àéíûå
Ïîñëåäíèå 2 ïðîáëåìû ìîæíî ïîïðîáîâàòü ðåøèòü:
arg minu,v
∑(u,r ,s)∈X
(s − uTu vr)2 + R(u) + R(v)
Ðàçìåð uu è vr îïðåäåëÿåò ðàíê ðàçëîæåíèÿ (îáû÷íîìàëåíüêèé).
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 20 èç 1
Èçâåñòíûå ðåãóëÿðèçàöèè
Äëÿ òîãî, ÷òîáû ñòðîèòü ðåãóëÿðèçàöèè íàäî ïåðåéòè êâåðîÿòíîñòÿì. Ïðåäïîëîæåíèå î íîðìàëüíîñòè y = f (x) + ε äàåòíàì ìèíèìèçèàöèþ LL. ×òî ïîçâîëÿåò ïåðåéòè ê MAP èïðèìåíÿòü êëàññè÷åñêèå l2, l1, l0, AIC, BIC (Schwarz) etc.:
arg minu,v∑
(u,r ,s)∈X (s − uTu vr )
2 + λ1‖u‖q + λ2‖v‖qargminu,v
∑(u,r ,s)∈X (s − uT
u vr )2 + 2 (d(u) + d(v))σ2ε
argminu,v∑
(u,r ,s)∈X (s − uTu vr )
2 + log |X | (d(u) + d(v))σ2ε
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 21 èç 1
Akaike information criterion
Áóäåì ñ÷èòàòü, ÷òî ìû çíàåì èñòèííóþ ôóíêöèþ ðàñïðåäåëåíèÿh0, òîãäà, ìû ìîæåì ïîñ÷èòàòü KL(h0‖h) äëÿ ëþáîãî ðåøåíèÿ h.Ïîíÿòíî, ÷òî h0 íà ïðàêòèêå íåèçâåñòíî, íî îêàçûâàåòñÿñðàâíèòü KL(h0‖h) ìû âñå ðàâíî ìîæåì (Akaike (1974)):
AIC (h, y ,X ) = 2d(h)− 2LL(y |X , h)
Ãäå d � ìåðà ñëîæíîñòè ðåøåíèÿ. Íàïðèìåð â ëèíåéíûõd = ‖β‖0. Çàêîí àñèìïòîòè÷åñêèé, ïîýòîìó ìîæíî ïðèìåíÿòüòîëüêî äëÿ áîëüøèõ |X |. Èñïîëüçóþò òàêæå:
AICc(h, y ,X ) = AIC (h, y ,X ) +2d(h)(d(h) + 1)
|X | − d(h)− 1
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 22 èç 1
Êàêèå åùå ïîäõîäû áûâàþò
Co-clustering
Áàéåñîâà ìîäåëü ïîâåäåíèÿ ïîëüçîâàòåëÿ
Áëèæàéøèå ñîñåäè
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 23 èç 1
Äðóãîé ïîäõîä ê ïîñòðîåíèþ ìîäåëüíîéìàòðèöû
Ïîñëåäíèå ìíîãî ñëàéäîâ ìû ðåøàëè çàäà÷óðåãðåññèè. Äàâàéòå ýòî ïðÿìî è íàïèøåì
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 24 èç 1
Factorization machine
h(x , β) = β0
0+∑i
β1
i xi +∑i
∑j>i
(β2
i , β2
j )xixj
è íàéäåìargmin
β‖h(X , β)− y‖2
Òàêàÿ ïîñòàíîâêà íàçûâàåòñÿ Factorization Machine (FM) âòîðîãîïîðÿäêà.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 25 èç 1
Ïðîáëåìà õîëîäíîãî ñòàðòà
×òî äåëàòü ñ íîâûìè ïîëüçîâàòåëÿìè, èñòîðèÿ ïîêîòîðûì íåèçâåñòíà?
Ïîñìîòðåòü íà �ñðåäíèõ� (äà-äà, ïîðåêîìåíäóéòåìíå Âåðêó Ñåðäþ÷êó!)
Óçíàòü õîòü ÷òî-òî ïðî ïîëüçîâàòåëÿ (ðåãèîí, IP,îòêóäà ïðèøåë (ðåôåðåð), âðåìÿ çàõîäà, etc.) èïîñòðîèòü ïðàâèëüíûé prior.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 26 èç 1
Ïëàí
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 26 èç 1
×òî ìû ñåãîäíÿ óçíàëè IÏðî SVM
SVM ìîæíî äåëàòü â ñëó÷àå ëèíåéíîé íåðàçäåëèìîñòè
Ôîðìóëû ïîëó÷àþòñÿ ïî÷òè òàêèå æå, íî åùå è ñ âåðõíåéãðàíèöåé íà λ
 SVM åñòü ÿäðà, èõ ìîæíî ïîäáèðàòü, îäíàêî ðåøåíèå âýòîì ñëó÷àå âêëþ÷àåò âñå ãðàíè÷íûå òî÷êè èç-çà òîãî, ÷òîΨ íå îïðåäåëåíî â ÿâíîì âèäå
SVM ìîæíî ðàññìàòðèâàòü êàê ìèíèìèçàöèþ hindge loss ñðåãóëÿðèçàöèåé ïî Òèõîíîâó
È íå òîëüêî:
Íà ÿäðàõ ìîæíî äåëàòü íå òîëüêî SVM, íî è ðåãðåññèþ
Íåñêîëüêî ñïîñîáîâ ïîñòðîåíèÿ ìóëüòèêëàññèôèêàòîðà èèõ îáîáùåíèå
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 27 èç 1
×òî ìû ñåãîäíÿ óçíàëè II
Ïðî CF:
Åñòü òàêàÿ çàäà÷à
Åå ìîæíî ðåøàòü ïðîñòî è íåïðîñòî
Çàäà÷ó CF ìîæíî ñâåñòè ê ëèíåéíîé ðåãðåññèè ñðåãóëÿðèçàöèåé, è ýòî ðàáîòàåò
Íàèáîëåå ýôôåêòèâíûé èç èçâåñòíûõ ìíå ìåòîäîâ CF(FM)
È íå òîëüêî:
Áûâàþò ðåãóëÿðèçàöèè, ïîñòðîåííûå ïî ïðèíöèïóñêîððåêòèðîâàííûõ îöåíîê
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 28 èç 1
Ïëàí
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 28 èç 1
Ðåçóëüòàòû 5-é íåäåëè
 ôîðìóëèðîâêó äîìàøíèõ çàäàíèé çàêðàëñÿ áàã.
 howto.txt ðàçíûõ íåäåëü áûëà ïðîñüáàïðèñûëàòü ïèñüìî ñ íàçâàíèåì çà îäíó è òó æåïÿòóþ íåäåëþ.
Ìíîãèå òàê è ñäåëàëè.
Òàêîå î÷åíü ñëîæíî ïðîâåðèòü è îòðàíæèðîâàòü.
Ïðîñüáà ïðèñëàòü ðåçóëüòàòû äîìàøíåãî çàäàíèÿçà 5, 6, 7 è 8 íåäåëþ åù¼ ðàç.
È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 29 èç 1