No me indexes que me cacheo
-
Upload
chema-alonso -
Category
Technology
-
view
14.063 -
download
1
description
Transcript of No me indexes que me cacheo
@chemaalonso
Gracias por la invitación
Index
Cache
Index
Cache
Other SearchEngines
Pub doc
Index & Cache
Cache
http://www.elladodelmal.com/2013/08/una-anecdota-con-google-archive-y-la.html
Primary Index & Secondary Index
http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html
What is Robots.txt for?
• Evita la indexación de contenidos de las URLs protegidas
• Por tanto, no se realiza spidering• No evita que se indexen las URLS
Robots.txt Security Issues
B14Ck S30 Pwn1nage!
Robots.txt “leakeage”
Robots.txt “leakeage” + Archive.org
Robots.txt “leakeage” + Google
http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
Robots.txt “leakeage”+ Google+ Directory Listing
http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
Robots.txt “leakeage” + Google + IIS ShortName b
http://www.elladodelmal.com/2013/10/un-bug-de-iis-short-name-en-el-windows.html
Robots.txt “leakeage” + Google + IIS ShortName + FOCA
http://www.elladodelmal.com/2012/07/listado-de-ficheros-en-iis-7-utilizando.html
Indexing the Robots.txt
Indexing the Robots.txt
Indexing the Robots.txt
Indexing the Robots.txt:Blogger preview + Cache
http://www.elladodelmal.com/2012/08/minority-report-pre-visualizando-el.html
Indexing the Robots.txt:WordPress preview + Cache
http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
Indexing the Robots.txt:WordPress preview + Cache
http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
“GmailGate” with Robots.txt:Octubre de 2013
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
“GmailGate” with Robots.txt:Octubre de 2013
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
“GmailGate” with Robots.txt:Octubre de 2013
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
“GmailGate” with Robots.txt:Abril de 2014
http://www.elladodelmal.com/2014/05/gmail-borraste-en-google-pero-te-quedan.html
“GmailGate” with Robots.txt:Julio de 2014
http://www.elladodelmal.com/2014/07/googe-si-usa-bing-para-borrar-las-urls.html
“Facebookgate” with Robots.txt
http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
“Facebookgate” with Robots.txt
http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
“WhatsAppGate” with Robots.txt
http://www.elladodelmal.com/2013/09/problemas-de-privacidad-de-whatsapp-con.html
Indexing the robots.txt + XSS = XSS Google-Persistentes
http://es.slideshare.net/chemai64/xss-google-persistentes
Robots.txt
• Previene que se indexe a partir de las rutas puestas.
• Evita que se guarde contenido en el índice de Google/Bing/Otros
• No evita que la URL, el título, y las keywords del enlace se indexen.
• Puede ser un leak de información en ataques dirigidos y en ataques de dorking.
• No evita la indexación en el pasado.
“Evernotegate” with Robots.txt
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
Not cache, but it is in the index
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
Evernote, Index & Cache
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
“Evernotegate” with Robots.txt
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
El “viagrate” del Albacete Balompié
Demo: Brute Forcing the index
How to manage the relationship?
http://www.slideshare.net/chemai64/black-seov3
How to manage the relationship?
• Evitar rutas con contenido mixto (publico/privado)
• Evitar contenido no enlazado en rutas publicas
• Evitar rutas privadas conocidas (/etc/ /users/)• Evitar rutas privadas explícitas• Evitar configuraciones privadas automaticas • Evitar el uso de rutas privadas a fichero • Aplicar la misma configuración para todas las
aranas de todos los buscadores de Internet• Proteger las rutas privadas con listas de
control de acceso si es posible
http://www.slideshare.net/chemai64/black-seov3
How to manage the relationship?(Google)
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
HTML Meta Tags
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
X-Robots-Tag HTTP header
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
Google WebMaster Tools
https://www.google.com/webmasters/tools/home?hl=es
Faast: Persistent Pentesting
• BlackSEO– Cheap Viagra– Cheap Software– Etc…
• Robots.txt fingerprinting– SW versions
• Robots.txt leakeage– Testing all forbiden URLs
• Robots.txt indexation– Searching forbidden
URLS in Google/Bing
https://www.elevenpaths.com/technology/faast/index.html
Chema [email protected]://www.elladodelmal.com@chemaalonso
¿Preguntas?