Юрий Устиновский «Автоматическая сегментация...
DESCRIPTION
Научно-технический семинар «Анализ поведения пользователей: сегментируем активность» в московском офисе Яндекса, 28 марта 2013 г. Юрий Устиновский, исследователь-разработчик, Яндекс.TRANSCRIPT
![Page 1: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/1.jpg)
Юрий Устиновский [email protected]
Анализ поведения пользователей: сегментируем активность
28 марта 2013, Москва
![Page 2: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/2.jpg)
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
![Page 3: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/3.jpg)
Ìîòèâàöèÿ
Ïîëüçîâàòåëüñêàÿ àêòèâíîñòü â áðàóçåðå, ïîèñêîâèêå èëè íàêîíêðåòíîì ñàéòå ÿâëÿåòñÿ áîãàòûì èñòî÷íèêîì ïîëåçíîéèíôîðìàöèè: ïåðåôîðìóëèðîâêè çàïðîñîâ, íàâèãàöèÿ äî èïîñëå çàïðîñà/ïîñåùåíèÿ ïîðòàëà.
Èíôîðìàöèÿ íèêàê íå ñòðóêòóðèðîâàíà è çàøóìëåíà.Îñíîâíîé çàäà÷åé ñòàíîâèòñÿ îáðàáîòêà, ñòðóêòóðèçàöèÿ èî÷èñòêà ñûðûõ äàííûõ.
Öåëü
Ïðåäëîæèòü ìåòîä äëÿ àâòîìàòè÷åñêîãî ðàçäåëåíèÿïîëüçîâàòåëüñêîé àêòèâíîñòè íà ëîãè÷åñêè ñâÿçàííûåêîìïîíåíòû.
![Page 4: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/4.jpg)
Ìîòèâàöèÿ
Ïîëüçîâàòåëüñêàÿ àêòèâíîñòü â áðàóçåðå, ïîèñêîâèêå èëè íàêîíêðåòíîì ñàéòå ÿâëÿåòñÿ áîãàòûì èñòî÷íèêîì ïîëåçíîéèíôîðìàöèè: ïåðåôîðìóëèðîâêè çàïðîñîâ, íàâèãàöèÿ äî èïîñëå çàïðîñà/ïîñåùåíèÿ ïîðòàëà.
Èíôîðìàöèÿ íèêàê íå ñòðóêòóðèðîâàíà è çàøóìëåíà.Îñíîâíîé çàäà÷åé ñòàíîâèòñÿ îáðàáîòêà, ñòðóêòóðèçàöèÿ èî÷èñòêà ñûðûõ äàííûõ.
Öåëü
Ïðåäëîæèòü ìåòîä äëÿ àâòîìàòè÷åñêîãî ðàçäåëåíèÿïîëüçîâàòåëüñêîé àêòèâíîñòè íà ëîãè÷åñêè ñâÿçàííûåêîìïîíåíòû.
![Page 5: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/5.jpg)
Ìîòèâàöèÿ
Ïîëüçîâàòåëüñêàÿ àêòèâíîñòü â áðàóçåðå, ïîèñêîâèêå èëè íàêîíêðåòíîì ñàéòå ÿâëÿåòñÿ áîãàòûì èñòî÷íèêîì ïîëåçíîéèíôîðìàöèè: ïåðåôîðìóëèðîâêè çàïðîñîâ, íàâèãàöèÿ äî èïîñëå çàïðîñà/ïîñåùåíèÿ ïîðòàëà.
Èíôîðìàöèÿ íèêàê íå ñòðóêòóðèðîâàíà è çàøóìëåíà.Îñíîâíîé çàäà÷åé ñòàíîâèòñÿ îáðàáîòêà, ñòðóêòóðèçàöèÿ èî÷èñòêà ñûðûõ äàííûõ.
Öåëü
Ïðåäëîæèòü ìåòîä äëÿ àâòîìàòè÷åñêîãî ðàçäåëåíèÿïîëüçîâàòåëüñêîé àêòèâíîñòè íà ëîãè÷åñêè ñâÿçàííûåêîìïîíåíòû.
![Page 6: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/6.jpg)
Ìîòèâàöèÿ
Ïîëüçîâàòåëü âçàèìîäåéñòâóåò ñ ïîèñêîâèêîì è áðàóçåðîìíåïðåðûâíî:
I çàäàåò çàïðîñû
I êëèêàåò íà äîêóìåíòû â âûäà÷å
I çàïðàøèâàåò íîâûå ñòðàíèöû â âûäà÷å
I ïåðåìåùàåòñÿ ìåæäó ñòðàíèöàìè èñïîëüçóÿ ññûëêè èíàâèãàöèîííûå êíîïêè áðàóçåðà
I ïåðåêëþ÷àåòñÿ ìåæäó âêëàäêàìè
I ñêðîëëèò ñòðàíèöû, âîäèò ïî íèì ìûøêîé
I óõîäèò â äðóãèå ïîèñêîâèêè
Âàæíî íàó÷èòñÿ ðàññìàòðèâàòü ýòè ñîáûòèÿ íå òîëüêîàòîìàðíî, íî è ñâÿçûâàòü èõ ìåæäó ñîáîé, ëó÷øå ïîíèìàÿ ÷òîäâèæåò ïîëüçîâàòåëåì.
![Page 7: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/7.jpg)
Ìîòèâàöèÿ
Ïîëüçîâàòåëü âçàèìîäåéñòâóåò ñ ïîèñêîâèêîì è áðàóçåðîìíåïðåðûâíî:
I çàäàåò çàïðîñû
I êëèêàåò íà äîêóìåíòû â âûäà÷å
I çàïðàøèâàåò íîâûå ñòðàíèöû â âûäà÷å
I ïåðåìåùàåòñÿ ìåæäó ñòðàíèöàìè èñïîëüçóÿ ññûëêè èíàâèãàöèîííûå êíîïêè áðàóçåðà
I ïåðåêëþ÷àåòñÿ ìåæäó âêëàäêàìè
I ñêðîëëèò ñòðàíèöû, âîäèò ïî íèì ìûøêîé
I óõîäèò â äðóãèå ïîèñêîâèêè
Âàæíî íàó÷èòñÿ ðàññìàòðèâàòü ýòè ñîáûòèÿ íå òîëüêîàòîìàðíî, íî è ñâÿçûâàòü èõ ìåæäó ñîáîé, ëó÷øå ïîíèìàÿ ÷òîäâèæåò ïîëüçîâàòåëåì.
![Page 8: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/8.jpg)
Ìîòèâàöèÿ
Ïîëüçîâàòåëü âçàèìîäåéñòâóåò ñ ïîèñêîâèêîì è áðàóçåðîìíåïðåðûâíî:
I çàäàåò çàïðîñû
I êëèêàåò íà äîêóìåíòû â âûäà÷å
I çàïðàøèâàåò íîâûå ñòðàíèöû â âûäà÷å
I ïåðåìåùàåòñÿ ìåæäó ñòðàíèöàìè èñïîëüçóÿ ññûëêè èíàâèãàöèîííûå êíîïêè áðàóçåðà
I ïåðåêëþ÷àåòñÿ ìåæäó âêëàäêàìè
I ñêðîëëèò ñòðàíèöû, âîäèò ïî íèì ìûøêîé
I óõîäèò â äðóãèå ïîèñêîâèêè
Âàæíî íàó÷èòñÿ ðàññìàòðèâàòü ýòè ñîáûòèÿ íå òîëüêîàòîìàðíî, íî è ñâÿçûâàòü èõ ìåæäó ñîáîé, ëó÷øå ïîíèìàÿ ÷òîäâèæåò ïîëüçîâàòåëåì.
![Page 9: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/9.jpg)
Ìîòèâàöèÿ
 ñâÿçè ñ èçó÷åíèåì ïîëüçîâàòåëüñêèõ ñåññèé âîçíèêàåòíåñêîëüêî çàäà÷:
1. Îïðåäåëåíèå ãðàíèö ëîãè÷åñêèõ ñåññèé
2. Ïðåäñêàçàíèå ñëåäóþùåãî äåéñòâèÿ â ñåññèè
3. Èçâëå÷åíèå ñåññèîííîé èíôîðìàöèè äëÿ ïîìîùèâ ñîâåðøåíèè ñëåäóþùåãî äåéñòâèÿ
4. Ìîäåëèðîâàíèå äåéñòâèé ïîëüçîâàòåëÿ â ðàìêàõîäíîé ñåññèè
5. Îöåíêà ñêðûòûõ äàííûõ â òå÷åíèè ñåññèè:èíôîðìàöèîííàÿ ïîòðåáíîñòü, óäîâëåòâîðåííîñòüñåññèåé, óñòàëîñòü.
![Page 10: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/10.jpg)
Îïðåäåëåíèÿ
Îïðåäåëåíèå
Áðàóçåðíàÿ ñåññèÿ Du = {d1, . . . , dN} ïîñëåäîâàòåëüíîñòüñòðàíèö, ïîñåùåííûõ ïîëüçîâàòåëåì u â òå÷åíèè äíÿ.
Îïðåäåëåíèå
Çàïðîñíàÿ ñåññèÿ Qu = {q1, . . . , qn} ïîñëåäîâàòåëüíîñòüçàïðîñîâ, çàäàííûõ ïîëüçîâàòåëåì. (âñÿêèé çàïðîñ qiâñòðå÷àåòñÿ è â áðàóçåðíîé ñåññèè).
Îïðåäåëåíèå
Ëîãè÷åñêàÿ áðàóçåðíàÿ ñåññèèÿ (ñîîòâ. ëîãè÷åñêàÿ çàïðîñíàÿ
ñåññèÿ) Dg
u = {di1 , . . . , diK } ÷àñòü áðàóçåðíîé ñåññèè (ñîîòâ.çàïðîñíîé ñåññèè), ñîñòîÿùàÿ èç ëîãè÷åñêèõ ñâÿçàííûõçàïèñåé, ò.å. ñòðàíèö (çàïðîñîâ) ïîñåùåííûõ ñ îäíîé è òîé æåèíôîðìàöèîííîé ïîòðåáíîñòüþ g .
![Page 11: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/11.jpg)
Îïðåäåëåíèÿ
Îïðåäåëåíèå
Áðàóçåðíàÿ ñåññèÿ Du = {d1, . . . , dN} ïîñëåäîâàòåëüíîñòüñòðàíèö, ïîñåùåííûõ ïîëüçîâàòåëåì u â òå÷åíèè äíÿ.
Îïðåäåëåíèå
Çàïðîñíàÿ ñåññèÿ Qu = {q1, . . . , qn} ïîñëåäîâàòåëüíîñòüçàïðîñîâ, çàäàííûõ ïîëüçîâàòåëåì. (âñÿêèé çàïðîñ qiâñòðå÷àåòñÿ è â áðàóçåðíîé ñåññèè).
Îïðåäåëåíèå
Ëîãè÷åñêàÿ áðàóçåðíàÿ ñåññèèÿ (ñîîòâ. ëîãè÷åñêàÿ çàïðîñíàÿ
ñåññèÿ) Dg
u = {di1 , . . . , diK } ÷àñòü áðàóçåðíîé ñåññèè (ñîîòâ.çàïðîñíîé ñåññèè), ñîñòîÿùàÿ èç ëîãè÷åñêèõ ñâÿçàííûõçàïèñåé, ò.å. ñòðàíèö (çàïðîñîâ) ïîñåùåííûõ ñ îäíîé è òîé æåèíôîðìàöèîííîé ïîòðåáíîñòüþ g .
![Page 12: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/12.jpg)
Îïðåäåëåíèÿ
Îïðåäåëåíèå
Áðàóçåðíàÿ ñåññèÿ Du = {d1, . . . , dN} ïîñëåäîâàòåëüíîñòüñòðàíèö, ïîñåùåííûõ ïîëüçîâàòåëåì u â òå÷åíèè äíÿ.
Îïðåäåëåíèå
Çàïðîñíàÿ ñåññèÿ Qu = {q1, . . . , qn} ïîñëåäîâàòåëüíîñòüçàïðîñîâ, çàäàííûõ ïîëüçîâàòåëåì. (âñÿêèé çàïðîñ qiâñòðå÷àåòñÿ è â áðàóçåðíîé ñåññèè).
Îïðåäåëåíèå
Ëîãè÷åñêàÿ áðàóçåðíàÿ ñåññèèÿ (ñîîòâ. ëîãè÷åñêàÿ çàïðîñíàÿ
ñåññèÿ) Dg
u = {di1 , . . . , diK } ÷àñòü áðàóçåðíîé ñåññèè (ñîîòâ.çàïðîñíîé ñåññèè), ñîñòîÿùàÿ èç ëîãè÷åñêèõ ñâÿçàííûõçàïèñåé, ò.å. ñòðàíèö (çàïðîñîâ) ïîñåùåííûõ ñ îäíîé è òîé æåèíôîðìàöèîííîé ïîòðåáíîñòüþ g .
![Page 13: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/13.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 14: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/14.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 15: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/15.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 16: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/16.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 17: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/17.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 18: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/18.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 19: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/19.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 20: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/20.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 21: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/21.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 22: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/22.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 23: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/23.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 24: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/24.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 25: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/25.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 26: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/26.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 27: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/27.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 28: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/28.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 29: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/29.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 30: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/30.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 31: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/31.jpg)
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
![Page 32: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/32.jpg)
Çàïðîñíûå ñåññèè
Êàê ïîëüçîâàòåëè ôîðìèðóþò çàïðîñû? ×òî îíè äåëàþò, åñëèíå ñìîãëè íàéòè îòâåò ïîñëå çàïðîñà?
1 2 3 4 5 6 7
Qualit
y
Position in the session
l=3l=4l=5l=6l=7
Ðèñ.: Êà÷åñòâî âûäà÷è â òå÷åíèè çàïðîñíîé ñåññèè.
![Page 33: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/33.jpg)
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
![Page 34: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/34.jpg)
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
![Page 35: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/35.jpg)
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
![Page 36: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/36.jpg)
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
![Page 37: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/37.jpg)
Èññëåäîâàòåëüñêèå âîïðîñû
I Âîçìîæíî ëè óòî÷íèòü ëîãè÷åñêîå ðàçáèåíèå çàïðîñíûõñåññèé äî óðîâíÿ áðàóçåðíûõ ñåññèé?
I Íàñêîëüêî êà÷åñòâåííîå ðàçáèåíèå äàåò ïîäõîä,îñíîâàííûé íà ïåðèîäå íåàêòèâíîñòè?
I Êàê ðàçíûå àëãîðèòìû êëàñòåðèçàöèè âëèÿþò íà êà÷åñòâîñåãìåíòàöèè?
I Êàêèå èñòî÷íèêè ôàêòîðîâ âàæíû äëÿ ëîãè÷åñêîéñåãìåíòàöèè?
![Page 38: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/38.jpg)
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
![Page 39: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/39.jpg)
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
![Page 40: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/40.jpg)
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
![Page 41: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/41.jpg)
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
![Page 42: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/42.jpg)
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
![Page 43: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/43.jpg)
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
![Page 44: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/44.jpg)
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
![Page 45: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/45.jpg)
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
![Page 46: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/46.jpg)
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
![Page 47: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/47.jpg)
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
![Page 48: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/48.jpg)
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
![Page 49: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/49.jpg)
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
![Page 50: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/50.jpg)
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
![Page 51: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/51.jpg)
Êëàñòåðèçàöèÿ
Öåëü: íàéòè ðàçáèåíèå Du =⊔g
Dg
u ìàêñèìèçèðóþùåå
âåðîÿòíîñòü (çíà÷åíèÿ p ôèêñèðîâàíû, ðàçáèåíèå èçìåíÿòñÿ):
P =∏′
p(d , d ′)∏′′
(1− p(d , d ′))→ max
m
Φ =∑′
logp(di , dj)
1− p(di , dj)→ max∏′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç îäíîãî êëàñòåðà;∑′ � ñóììà ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ;∏′′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ.
NP-ïîëíàÿ çàäà÷à!
![Page 52: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/52.jpg)
Êëàñòåðèçàöèÿ
Öåëü: íàéòè ðàçáèåíèå Du =⊔g
Dg
u ìàêñèìèçèðóþùåå
âåðîÿòíîñòü (çíà÷åíèÿ p ôèêñèðîâàíû, ðàçáèåíèå èçìåíÿòñÿ):
P =∏′
p(d , d ′)∏′′
(1− p(d , d ′))→ max
m
Φ =∑′
logp(di , dj)
1− p(di , dj)→ max∏′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç îäíîãî êëàñòåðà;∑′ � ñóììà ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ;∏′′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ.
NP-ïîëíàÿ çàäà÷à!
![Page 53: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/53.jpg)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-I
Áàëàíñ ìåæäó ñêîðîñòüþ, êà÷åñòâîì è îáëàñòüþïðèìåíèìîñòè.
I Êëàñòåðèçàöèÿ â ðåàëüíîì âðåìåíè: êàæäûé íîâûéäîêóìåíò dnew äîáàâëÿåòñÿ ê òåêóùåìó êëàñòåðó (g1, g2)èëè îáðàçóåò íîâûé (gnew ).
dnew
g1 g2 gnew
?
![Page 54: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/54.jpg)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-II
1. Ìàêñèìàëüíîå ïðàâäîïîäîáèå ïîñëåäíåé ñòðàíèöû.
dg � ïîñëåäíÿÿ ñòðàíèöà ñåãìåíòà g . Âñåp(dg , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñ ìàêñèìàëüíîé âåðîÿòíîñòüþ.
2. Ìàêñèìàëüíîå ïðàâäîïîäîáèå âñåõ ñòðàíèö. Âñåp(d , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñîäåðæàùåé äîêóìåíò ñìàêñèìàëüíîé âåðîÿòíîñòüþ.
3. Æàäíîå äîáàâëåíèå. Äîáàâëÿåì dnew ÷òîáûìàêñèìèçèðîâàòü ðîñò Φ. Åñëè Φ âñåãäà óìåíüøàåòñÿ äëÿâñåõ g , íà÷èíàåì íîâûé ñåãìåíò.
![Page 55: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/55.jpg)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-II
1. Ìàêñèìàëüíîå ïðàâäîïîäîáèå ïîñëåäíåé ñòðàíèöû.
dg � ïîñëåäíÿÿ ñòðàíèöà ñåãìåíòà g . Âñåp(dg , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñ ìàêñèìàëüíîé âåðîÿòíîñòüþ.
2. Ìàêñèìàëüíîå ïðàâäîïîäîáèå âñåõ ñòðàíèö. Âñåp(d , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñîäåðæàùåé äîêóìåíò ñìàêñèìàëüíîé âåðîÿòíîñòüþ.
3. Æàäíîå äîáàâëåíèå. Äîáàâëÿåì dnew ÷òîáûìàêñèìèçèðîâàòü ðîñò Φ. Åñëè Φ âñåãäà óìåíüøàåòñÿ äëÿâñåõ g , íà÷èíàåì íîâûé ñåãìåíò.
![Page 56: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/56.jpg)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-II
1. Ìàêñèìàëüíîå ïðàâäîïîäîáèå ïîñëåäíåé ñòðàíèöû.
dg � ïîñëåäíÿÿ ñòðàíèöà ñåãìåíòà g . Âñåp(dg , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñ ìàêñèìàëüíîé âåðîÿòíîñòüþ.
2. Ìàêñèìàëüíîå ïðàâäîïîäîáèå âñåõ ñòðàíèö. Âñåp(d , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñîäåðæàùåé äîêóìåíò ñìàêñèìàëüíîé âåðîÿòíîñòüþ.
3. Æàäíîå äîáàâëåíèå. Äîáàâëÿåì dnew ÷òîáûìàêñèìèçèðîâàòü ðîñò Φ. Åñëè Φ âñåãäà óìåíüøàåòñÿ äëÿâñåõ g , íà÷èíàåì íîâûé ñåãìåíò.
![Page 57: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/57.jpg)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-III
I Ïîñò-êëàñòåðèçàöèÿ: êëàñòåðèçóåì âñþ äíåâíóþ ñåññèèþñðàçó.
4. Æàäíîå ñëèÿíèå. Ñîçäàåì N = |Du | êëàñòåðîâ. Æàäíûì
îáðàçîì ñëèâàåì ñóùåñòâóþùèå êëàñòåðû, ïîêà ìîæíî
óâåëè÷èòü Φ.
g1
g2
g3
g4
Ñëîæíîñòü.
1. O(G × N), ãäå G � êîëè÷åñòâî ñåãìåíòîâ.
2-4. O(N2)
![Page 58: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/58.jpg)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-III
I Ïîñò-êëàñòåðèçàöèÿ: êëàñòåðèçóåì âñþ äíåâíóþ ñåññèèþñðàçó.
4. Æàäíîå ñëèÿíèå. Ñîçäàåì N = |Du | êëàñòåðîâ. Æàäíûì
îáðàçîì ñëèâàåì ñóùåñòâóþùèå êëàñòåðû, ïîêà ìîæíî
óâåëè÷èòü Φ.
g1
g2
g3
g4
Ñëîæíîñòü.
1. O(G × N), ãäå G � êîëè÷åñòâî ñåãìåíòîâ.
2-4. O(N2)
![Page 59: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/59.jpg)
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
![Page 60: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/60.jpg)
Äàííûå
Ñûðûå äàííûå. Ïîëíîñòüþ àíîíèìèçèðîâàííûå áðàóçåðíûåëîãè, ñîáðàííûå ñ ïîìîùüþ ñïåöèàëüíîãî òóëáàðà.Ïóáëè÷íî äîñòóïíàÿ ñòðàíèöà d 7→ URL, âðåìÿ ïîñåùåíèÿ,èñòî÷íèê/öåëü ññûëêè, òåêñò d .Ðàçìåòêà. Êàæäàÿ áðàóçåðíàÿ ñåññèÿ âðó÷íóþ áûëà ïîäåëåíàíà ëîãè÷åñêèå ñåññèè àñåññîðàìè. Ñûðàÿ ñåññèÿ èç Näîêóìåíòîâ äàåò
(N2
)= N(N−1)
2 ðàçìå÷åííûõ ïðèìåðîâ äëÿêëàññèôèêàòîðà.Ñòàòèñòèêà. 220 áðàóçåðíûõ ëîãè÷åñêèõ ñåññèé, 151K ïàð äëÿîáó÷åíèÿ êëàññèôèêàòîðà, 78K èç îäíîé ñåññèè 73K èç ðàçíûõ.Ñðåäíÿÿ äëèíà ëîãè÷åñêîé ñåññèè 12 ñòðàíèö, ñðåäíåå ÷èñëîëîãè÷åñêèõ ñåññèé 4.4.
![Page 61: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/61.jpg)
Äàííûå
Ñûðûå äàííûå. Ïîëíîñòüþ àíîíèìèçèðîâàííûå áðàóçåðíûåëîãè, ñîáðàííûå ñ ïîìîùüþ ñïåöèàëüíîãî òóëáàðà.Ïóáëè÷íî äîñòóïíàÿ ñòðàíèöà d 7→ URL, âðåìÿ ïîñåùåíèÿ,èñòî÷íèê/öåëü ññûëêè, òåêñò d .Ðàçìåòêà. Êàæäàÿ áðàóçåðíàÿ ñåññèÿ âðó÷íóþ áûëà ïîäåëåíàíà ëîãè÷åñêèå ñåññèè àñåññîðàìè. Ñûðàÿ ñåññèÿ èç Näîêóìåíòîâ äàåò
(N2
)= N(N−1)
2 ðàçìå÷åííûõ ïðèìåðîâ äëÿêëàññèôèêàòîðà.Ñòàòèñòèêà. 220 áðàóçåðíûõ ëîãè÷åñêèõ ñåññèé, 151K ïàð äëÿîáó÷åíèÿ êëàññèôèêàòîðà, 78K èç îäíîé ñåññèè 73K èç ðàçíûõ.Ñðåäíÿÿ äëèíà ëîãè÷åñêîé ñåññèè 12 ñòðàíèö, ñðåäíåå ÷èñëîëîãè÷åñêèõ ñåññèé 4.4.
![Page 62: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/62.jpg)
Äàííûå
Ñûðûå äàííûå. Ïîëíîñòüþ àíîíèìèçèðîâàííûå áðàóçåðíûåëîãè, ñîáðàííûå ñ ïîìîùüþ ñïåöèàëüíîãî òóëáàðà.Ïóáëè÷íî äîñòóïíàÿ ñòðàíèöà d 7→ URL, âðåìÿ ïîñåùåíèÿ,èñòî÷íèê/öåëü ññûëêè, òåêñò d .Ðàçìåòêà. Êàæäàÿ áðàóçåðíàÿ ñåññèÿ âðó÷íóþ áûëà ïîäåëåíàíà ëîãè÷åñêèå ñåññèè àñåññîðàìè. Ñûðàÿ ñåññèÿ èç Näîêóìåíòîâ äàåò
(N2
)= N(N−1)
2 ðàçìå÷åííûõ ïðèìåðîâ äëÿêëàññèôèêàòîðà.Ñòàòèñòèêà. 220 áðàóçåðíûõ ëîãè÷åñêèõ ñåññèé, 151K ïàð äëÿîáó÷åíèÿ êëàññèôèêàòîðà, 78K èç îäíîé ñåññèè 73K èç ðàçíûõ.Ñðåäíÿÿ äëèíà ëîãè÷åñêîé ñåññèè 12 ñòðàíèö, ñðåäíåå ÷èñëîëîãè÷åñêèõ ñåññèé 4.4.
![Page 63: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/63.jpg)
Ýêñïåðèìåíòû. Êëàññèôèêàòîð
Êà÷åñòâî âðåìåííîãî ðàçáèåíèÿ è êëàññèôèêàòîðîâ îáó÷åííûõíà ðàçíûõ íàáîðàõ ôàêòîðîâ.
Íàáîð ôàêòîðîâ Âðåìåííîåðàçáèåíèå
Âñå áåç êîí-òåêñòà
áåç òåê-ñòà
F-ìåðà 80% 83% 83% 82%
Òî÷íîñòü 72% 82% 81% 81%
Òàáëèöà: Êà÷åñòâî êëàññèôèêàòîðà.
![Page 64: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/64.jpg)
Ýêñïåðèìåíòû. Âêëàä ôàêòîðîâ
Rk. Ôàêòîð Î÷êè
1 âðåìÿ ìåæäó d1 è d2 12 LCS* 0.583 LCS/length(url1) 0.404 LCS/length(url2) 0.405 # ñòðàíèö ìåæäó d1 è d2 0.336 òðèãðàììíîå ñîâïàäåíèå URL 0.327 êîíòåêñòíûé LCS/length(url1)** 0.328 îäèí õîñò 0.229 êîíòåêñòíûé LCS/length(url2) 0.2010 êîíòåêñòíûé LCS 0.20
Ëó÷øèå 10 ôàêòîðîâ è èõ âêëàä. *LCS � äëèíà îáùåéïîäñòðîêè URL.
![Page 65: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/65.jpg)
Ýêñïåðèìåíòû. Ìåðà êà÷åñòâà êëàñòåðèçàöèè
Ìåðà êà÷åñòâà íàøèõ àëãîðèòìîâ êëàñòåðèçàöèè îñíîâàíà íàRand Index. Äëÿ äâóõ ñåãìåíòàöèé S1, S2 ìíîæåñòâà Du îíðàâåí äîëå îäèíàêîâî ñîîòíåñåííûõ ïàð äîêóìåíòîâ:
R(S1, S2) =n1 + n2(N
2
) ,
n1 � # of ïàð èç îäíîãî ñåãìåíòà â S1 è S2,n2 � # ïàð èç ðàçíûõ ñåãìåíòîâ â S1 è S2,N � # ýëåìåíòîâ â Du .Äàëåå S1 � èäåàëüíàÿ ñåãìåíòàöèÿ, S2 � îöåíèâàåìàÿ.Çàìå÷àíèå. R(S1, S2) ñóòü òî÷íîñòü ñîîòâåòñòâóþùåãîêëàññèôèêàòîðà.
![Page 66: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/66.jpg)
Ýêñïåðèìåíòû. Âðåìåííîå ðàçáèåíèå
0.58
0.6
0.62
0.64
0.66
0.68
0.7
0.72
0.74
1 2 5 10 15 30 60 90 180
Rand index
Cut-off threshold in minutes
Ðèñ.: Rand index äëÿ ïåðèîäà íåàêòèâíîñòè â T ìèíóò
Îïòèìàëüíûé òàéìàóò 7-30 ìèíóò
![Page 67: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/67.jpg)
Ýêñïåðèìåíòû. Àëãîðèòìû êëàñòåðèçàöèè
Ìåòîä Rand index Ñëîæíîñòü
Âðåìåííîé 0.72 -
Ìàêñ. ïðàâäîïîäîáèå ïîñë. ñòðàíèöû 0.75 O(N × G )
Ìàêñ. ïðàâäîïîäîáèå âñåõ ñòðàíèö 0.79 O(N2)
Æàäíîå äîáàâëåíèå 0.82 O(N2)
Æàäíîå ñëèÿíèå 0.86 O(N2)
Òàáëèöà: Êà÷åñòâî àëãîèòìîâ.
Êà÷åñòâî êëàññèôèêàòîðà ñîîòâåòñòâóþùåãî Æàäíîìó
ñëèÿíèþ (0.86) äàæå âûøå, ÷åì ó èñõîäíîãî êëàññèôèêàòîðà(0.82).Óìíàÿ êëàñòåðèçàöèÿ óëó÷øàåò êëàññèôèêàöèþ ïàð,
èìåþùèõ ñåññèîííóþ ïðèðîäó.
![Page 68: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/68.jpg)
Ýêñïåðèìåíòû. Àëãîðèòìû êëàñòåðèçàöèè
Ìåòîä Rand index Ñëîæíîñòü
Âðåìåííîé 0.72 -
Ìàêñ. ïðàâäîïîäîáèå ïîñë. ñòðàíèöû 0.75 O(N × G )
Ìàêñ. ïðàâäîïîäîáèå âñåõ ñòðàíèö 0.79 O(N2)
Æàäíîå äîáàâëåíèå 0.82 O(N2)
Æàäíîå ñëèÿíèå 0.86 O(N2)
Òàáëèöà: Êà÷åñòâî àëãîèòìîâ.
Êà÷åñòâî êëàññèôèêàòîðà ñîîòâåòñòâóþùåãî Æàäíîìó
ñëèÿíèþ (0.86) äàæå âûøå, ÷åì ó èñõîäíîãî êëàññèôèêàòîðà(0.82).Óìíàÿ êëàñòåðèçàöèÿ óëó÷øàåò êëàññèôèêàöèþ ïàð,
èìåþùèõ ñåññèîííóþ ïðèðîäó.
![Page 69: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/69.jpg)
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
![Page 70: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/70.jpg)
Âûâîäû
I Ïðåäëîæåí ìåòîä àâòîìàòè÷åñêîé îáðàáîòêè áðàóçåðíûõëîãîâ, óòî÷íÿþùèé ðàçáèåíèå çàïðîñíûõ ëîãîâ.
I Ìû ñâåëè çàäà÷ó ñåãìåíòàöèè ê õîðîøî èçó÷åííûìçàäà÷àì êëàññèôèêàöèè è êëàñòåðèçàöèè.
I Õîòÿ âðåìåííîé ïîäõîä äîâîëüíî íåïëîõ, áîëåå ñëîæíûåàëãîðèòìû êëàñòåðèçàöèè îùóòèìî åãî ïðåâîñõîäÿò.
I Êîíòåêñòíûå è òåêñòîâûå ôàêòîðû îêàçûâàåòñÿ ãîðàçäîìåíåå âàæíûìè äëÿ îïðåäåëåíèÿ ëîãè÷åñêèõ ñâÿçåé ìåæäóñòðàíèöàìè â ïðåäåëàõ îäíîé ñåññèè, ÷åì ôàêòîðûîñíîâàííûå íà ñåññèîííûõ äàííûõ è ñîâïàäåíèè URL.
![Page 71: Юрий Устиновский «Автоматическая сегментация пользовательской активности»](https://reader034.vdocuments.mx/reader034/viewer/2022052504/549885c7b4795953328b46ac/html5/thumbnails/71.jpg)
Спасибо за внимание!