Construindo um Google Pyrate

Pyladies

http://www.google.com/insidesearch/howsearchworks/thestory/

Web Crawler

Spider, robs

Usados para navegar na internet buscando as paginas e lendo seu conteudo.

Usados principalmente pelos motores de busca.GoogleBot, Yahoo Slurp,DuckDuckBot...

http://runnable.com/UqqXuSGIpqAeAAPR/how-to-make-a-web-crawler-for-python-and-requests

Bibliotecas em Python

PySpider

Scrapy

Pyquery

lxml (pyguide)

import request

Para humanos

urllib2

import lxml

Processamento de XML e HTML

Seletor xpath

Seletores

Xpath

CSS Selectors

I/O

sys.argv

print()

Como construir meu Google Pyrate

Pegar o que a usuria digitou e chamar a url do Google

resposta = requisicao.get('http://google.com/search')

Extrair da resposta os resultados.lxml.aqui a mgica acontece...resultados_dict = {'titulo': resultados.text, 'url': resultados.href}

Exibir os resultados no terminal

print ('Titulo: ' + resultados_dict['titulo'] + ' | url: ' + resultados_dict['url'])

The End

O que poder ser feito a mais:Verificar o status code

Colocar mais resultados

Permitir que o usurio customize a busca

Criar sua prpria pgina de resultados

Fazer busca dentro de um site especifico. No em toda a web.

A idia aprender! Faa seu projeto.

Obrigada!

Roselma Mendesrmendes@thoughtworks.comgithub.com/roselmamendes

Click to edit the outline text formatSecond Outline LevelThird Outline LevelFourth Outline LevelFifth Outline LevelSixth Outline LevelSeventh Outline Level