Desenvolvendo web crawler/scraper com Python
-
Upload
roselma-mendes -
Category
Internet
-
view
104 -
download
9
Transcript of Desenvolvendo web crawler/scraper com Python
Desenvolvendo web crawler/scraper com
Python
G e e k N i g h t
2
3
Web Crawler
● Spider, robôs
● Começa com uma lista de URL's para visitar. A cada URL visitada, ele identifica os hyperlinks e os guarda para visitá-los no futuro, e também copia o conteúdo da página.
● GoogleBot, Yahoo Slurp,DuckDuckBot...
4
Web Scraper
● Extrai informações de um web site.
● Relacionado com web indexing.
● Transformação de dados.
5
Trabalho de um crawler/scraper
● Abrir um link
● Cópia e/ou manipulação do dado
6
Seletores
● Xpath
● CSS Selectors
Retirado do site http://ejohn.org/blog/xpath-css-selectors/
7
import request
● Para humanos
● urllib2
8
lxml
● Uma implementação em Python das bibliotecas em C libxml2 e libxslt para parse de xml e html.
●Suporta css selector e xpath.
9
lxml
10
BeautifulSoup
11
PySpider
12
Scrapy
● Open Source framework, poderoso para crawling e scraping. Python 2.
● Suporta o uso de xpath e css selectors.
● Formatos de saída: json, csv, xml, json lines
● Há exemplos com persistência em banco.
13
Scrapy
scrapy crawl bbcnews --output results.json Retirado do site http://scraping.pro/
14
Bibliotecas em Python
● Goose
● Pyquery