konrad latkowski, pricepanorama @ tmt.allthings`13: big data dla sprzedawców: doświadczenia...
DESCRIPTION
Konrad Latkowski, PricePanorama. Presentation at the TMT.AllThings`13 conference on 24.10.2013 at the WSE HQ: Big Data dla sprzedawców: doświadczenia Manubia.pl.TRANSCRIPT
![Page 1: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/1.jpg)
TMT.AllThings'13, Warszawa, 24.10.2013
Big Data dla sprzedawców
![Page 2: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/2.jpg)
Grupa Manubia
• Monitorowanie sprzedaży :• Manubia.pl (Allegro, Świstak, eBay)
• Aukcjolog.pl (Allegro)
• Monitorowanie cen:• PricePanorama.com
![Page 3: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/3.jpg)
Grupa Manubia
• Monitorowanie sprzedaży :• Manubia.pl (Allegro, Świstak, eBay)
• Aukcjolog.pl (Allegro)
• Monitorowanie cen:• PricePanorama.com
![Page 4: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/4.jpg)
Grupa Manubia
• Monitorowanie sprzedaży :• Manubia.pl (Allegro, Świstak, eBay)
• Aukcjolog.pl (Allegro)
• Monitorowanie cen:• PricePanorama.com
![Page 5: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/5.jpg)
Grupa Manubia
• Monitorowanie sprzedaży :• Pobieranie danych z WebAPI • Raporty dedykowane / System
SaaS
• Monitorowanie cen:• Crawlerowanie danych• Raporty dedykowane / System
SaaS
![Page 6: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/6.jpg)
![Page 7: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/7.jpg)
Kluczowe elementy systemu
• Discovery• Extraction• Data quality verification• Reporting and analytics
![Page 8: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/8.jpg)
Discovery: Rynek krajowy
Monitorujemy: 11 333Poszukujemy:
![Page 9: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/9.jpg)
Discovery: Rynek około 17k sklepów
Monitorujemy: 11 333Poszukujemy: 5 667
![Page 10: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/10.jpg)
Discovery: Rynek około 21k sklepów
Monitorujemy: 11 333Poszukujemy: 9 667
![Page 11: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/11.jpg)
Discovery: Pobieranie
• 40 równoczesnych botów• Wykorzystanie łącznie 80 rdzeni
• Jeden bot pobiera około 1 mln podstron
• Część infrastruktury uruchomiona w chmurze Microsoft Azure
![Page 12: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/12.jpg)
Kluczowe elementy systemu
• Discovery• Extraction• Data quality verification• Reporting and analytics
![Page 13: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/13.jpg)
Extraction Kategoria asortymentu:AGD - Odkurzacze
Produkt:Zelmer Odyssey 450.0 ST
Cena:251,90 zł
Dostępny:1 dzień
![Page 14: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/14.jpg)
Kluczowe elementy systemu
• Discovery• Extraction• Data quality verification• Reporting and analytics
![Page 15: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/15.jpg)
Data quality verification
![Page 16: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/16.jpg)
Data quality verification
![Page 17: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/17.jpg)
• Na stanie• W ciągu 24h• Od ręki• Natychmiastowa wysyłka• Od 2 do 5 dni
• Niedostępny• Przedsprzedaż• Oczekiwanie na dostawę
Data quality verification: Dostępność
![Page 18: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/18.jpg)
Data quality verification
Extraction Data quality verification
Correction
Reporting andanalytics
![Page 19: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/19.jpg)
Kluczowe elementy systemu
• Discovery• Extraction• Data quality verification• Reporting and analytics
![Page 20: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/20.jpg)
Reporting and analytics
![Page 21: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/21.jpg)
• Wykrywanie słabych produktów• Wykrywanie sezonowych zmian cen• Wykrywanie dostaw
• Określanie fazy cyklu życia produktu• Określanie zatowarowania sklepu• Określanie cen nowych produktów
Reporting and analytics
![Page 22: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/22.jpg)
Cena vs źródło
Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10-oz-.html (16.09.2013)
![Page 23: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/23.jpg)
Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10-oz-.html (16.09.2013)
![Page 24: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/24.jpg)
Spadki cen
Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)
![Page 25: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/25.jpg)
Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)
Data Cena
2013-06-25 85,75
2013-06-26 85,7
2013-06-27 85,7
2013-06-29 85,25
2013-07-03 85,05
2013-07-05 84,35
2013-07-08 67,85
2013-07-10 68,5
2013-07-14 54,85
2013-07-16 54,1
2013-07-20 53,95
![Page 26: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl](https://reader036.vdocuments.mx/reader036/viewer/2022062614/547aa01bb379593f2b8b4ab7/html5/thumbnails/26.jpg)
Wykrywanie dostaw