Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia...

27
TMT.AllThings'13, Warszawa, 24.10.2013 Big Data dla sprzedawców

description

Konrad Latkowski, PricePanorama. Presentation at the TMT.AllThings`13 conference on 24.10.2013 at the WSE HQ: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Transcript of Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia...

Page 1: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

TMT.AllThings'13, Warszawa, 24.10.2013

Big Data dla sprzedawców

Page 2: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Grupa Manubia

• Monitorowanie sprzedaży :• Manubia.pl (Allegro, Świstak, eBay)

• Aukcjolog.pl (Allegro)

• Monitorowanie cen:• PricePanorama.com

Page 3: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Grupa Manubia

• Monitorowanie sprzedaży :• Manubia.pl (Allegro, Świstak, eBay)

• Aukcjolog.pl (Allegro)

• Monitorowanie cen:• PricePanorama.com

Page 4: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Grupa Manubia

• Monitorowanie sprzedaży :• Manubia.pl (Allegro, Świstak, eBay)

• Aukcjolog.pl (Allegro)

• Monitorowanie cen:• PricePanorama.com

Page 5: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Grupa Manubia

• Monitorowanie sprzedaży :• Pobieranie danych z WebAPI • Raporty dedykowane / System

SaaS

• Monitorowanie cen:• Crawlerowanie danych• Raporty dedykowane / System

SaaS

Page 6: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.
Page 7: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Kluczowe elementy systemu

• Discovery• Extraction• Data quality verification• Reporting and analytics

Page 8: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Discovery: Rynek krajowy

Monitorujemy: 11 333Poszukujemy:

Page 9: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Discovery: Rynek około 17k sklepów

Monitorujemy: 11 333Poszukujemy: 5 667

Page 10: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Discovery: Rynek około 21k sklepów

Monitorujemy: 11 333Poszukujemy: 9 667

Page 11: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Discovery: Pobieranie

• 40 równoczesnych botów• Wykorzystanie łącznie 80 rdzeni

• Jeden bot pobiera około 1 mln podstron

• Część infrastruktury uruchomiona w chmurze Microsoft Azure

Page 12: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Kluczowe elementy systemu

• Discovery• Extraction• Data quality verification• Reporting and analytics

Page 13: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Extraction Kategoria asortymentu:AGD - Odkurzacze

Produkt:Zelmer Odyssey 450.0 ST

Cena:251,90 zł

Dostępny:1 dzień

Page 14: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Kluczowe elementy systemu

• Discovery• Extraction• Data quality verification• Reporting and analytics

Page 15: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Data quality verification

Page 16: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Data quality verification

Page 17: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

• Na stanie• W ciągu 24h• Od ręki• Natychmiastowa wysyłka• Od 2 do 5 dni

• Niedostępny• Przedsprzedaż• Oczekiwanie na dostawę

Data quality verification: Dostępność

Page 18: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Data quality verification

Extraction Data quality verification

Correction

Reporting andanalytics

Page 19: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Kluczowe elementy systemu

• Discovery• Extraction• Data quality verification• Reporting and analytics

Page 20: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Reporting and analytics

Page 21: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

• Wykrywanie słabych produktów• Wykrywanie sezonowych zmian cen• Wykrywanie dostaw

• Określanie fazy cyklu życia produktu• Określanie zatowarowania sklepu• Określanie cen nowych produktów

Reporting and analytics

Page 22: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Cena vs źródło

Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10-oz-.html (16.09.2013)

Page 23: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10-oz-.html (16.09.2013)

Page 24: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Spadki cen

Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)

Page 25: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)

Data Cena

2013-06-25 85,75

2013-06-26 85,7

2013-06-27 85,7

2013-06-29 85,25

2013-07-03 85,05

2013-07-05 84,35

2013-07-08 67,85

2013-07-10 68,5

2013-07-14 54,85

2013-07-16 54,1

2013-07-20 53,95

Page 26: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Wykrywanie dostaw

Page 27: Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

[email protected] | 506-623-451

Dziękuje, pytania?