Zanechte vší naděje,

kdo vstupujete.

VAROVÁNÍ

Arachnofobie

Epilepsie

Úzkost z matematiky

BRÁNA DO PEKLA BOTŮ

Analýza logůSpider Traps Vizualizace

Chyby v relativních URL

http://priklad.cz/a/

<a href="b/">odkaz</a>

http://priklad.cz/a/b/

http://priklad.cz/a/b/b/

http://priklad.cz/a/b/b/b/

...

http://priklad.cz/a/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/

Řešení chyb v relativních URL

Neexistující URL musí vracet status kód 404.

Redirect Loops

/a

/b

/c/d

/e

301

301

301301

301

Řešení chyb v relativních URL

Přesměrovávat na platné URL.

Nevytvářet dlouhé redirectovací řetězce,

ideálně vždy jen jedno přesměrování.

Permutace

𝒏!

3!

1×2×3 = 6

𝒏 = 3 (počet značek)

Variace

𝒏!

𝒏 − 𝒑 !

𝟑!

𝟑−𝟐 != 6

𝒏 = 3 (počet značek)

𝒑 = 2 (vybíráme ze dvou)

Všechny variace + permutace

𝒑=𝟎

𝒏

𝒑!𝒏!

𝒑! 𝒏 − 𝒑 !

Kombinace

𝒏!

𝒑! 𝒏 − 𝒑 !𝟐𝒏

Výběr podmnožiny značek Všechny kombinace

Variace Kombinace

345678910

Počet možností Všechny kombinace Všechny variace + permutace

1 2 2

2 4 5

3 8 16

4 16 65

5 32 326

6 64 1 957

7 128 13 700

8 256 109 601

9 512 986 410

10 1 024 9 864 101

11 2 048 108 505 112

12 4 096 1 302 061 345

13 8 192 16 926 797 486

14 16 384 236 975 164 805

15 32 768 3 554 627 472 076

You shall not pass!

Ïa, ïa!

Stránky, které crawler nenavštěvuje.Jaké status kódy vrací stránky. Intenzita a frekvence crawlování.Orphan pages.Referer spam v akci.

Nejlepší nejúplnější data, která máte k dispozici.

Access logy

66.249.64.244 - - [10/May/2017:00:00:11 +0200] "GET /pneu-dodavkove-bridgestone-215-60r16-c-103t-duravis-r-410 HTTP/1.1" 200 19230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

IPTimestamp

URLStatus kódUser-Agent

Memory JAVA-Hog Alert

Screaming Frog Log Analyser

Výhody

• Příznivá cena

• Propojení dat z crawlu

• Drag & Drop

• Jednoduché rozhraní

Nevýhody

• JAVA

• Pomalé zpracování dat

• Pomalé načítání

• Absence vlastních user-agents

ELK Stack

Sběr a transformace dat Vyhledávání a analýza dat Vizualizace

OnCrawl Log Analyser

Výhody

• Dostupný i zdarma

• Rychlost a přehlednost

• Jednoduché rozhraní

• ELK

Nevýhody

• Technicky náročný setup

• Komplikovaná customizace

• Horší práce s daty

• Není možnost porovnat crawl data

Logz.io Log Analyser

Výhody

• Cloud + ELK

• Plně customizovatelné

• Community driven

• Velké množství druhů logů

Nevýhody

• Technicky velmi náročné

• Cena

• Omezená doba uchování dat

• Vhodné spíše pro velké weby

Dlouhodobá aktivita.

Logy archivujte!

Google

Dostupné běžným crawlerem

Dostupné jen v logu

Chyba

Google

Nenavštíveno botem

V logu

Chyba

Seznam

Nenavštíveno botem

V logu

Chyba

Majestic

Nenavštíveno botem

V logu

Chyba

Analýza logůSpider Traps Vizualizace

nespor@medio.cz

zdenek@link-brain.cz

@Chaoticum

Děkuji za pozornost!

QUESTIONANSWERREPEAT.