{\rtf1\ansi\ansicpg1252\cocoartf949
{\fonttbl\f0\fmodern\fcharset0 Courier;}
{\colortbl;\red255\green255\blue255;\red111\green133\blue36;}
\paperw11900\paperh16840\margl1440\margr1440\vieww9000\viewh8400\viewkind0
\deftab720
\pard\pardeftab720\sl260\ql\qnatural

\f0\fs20 \cf2 #\
# robots.txt para tu blog en WordPress.\
#\
# Usar bajo propia responsabilidad, que nos conocemos \}:)\
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml\
#\
\
# Primero el contenido adjunto.\
\
User-Agent: *\
Allow: /wp-content/uploads/\
Disallow: /wp-content/plugins/\
Disallow: /wp-content/themes/\
Disallow: /wp-includes/\
Disallow: /wp-admin/\
Disallow: /foro/\
Disallow: /foro\
\
# Tambi\'e9n podemos desindexar todo lo que empiece \
# por wp-. Es lo mismo que los Disallow de arriba pero\
# incluye cosas como wp-rss.php\
\
Disallow: /wp-\
\
#\
# Sitemap permitido, b\'fasquedas no.\
#\
\
Sitemap: http://tu-web/sitemap.xml\
Disallow: /?s=\
Disallow: /search\
\
#\
# Permitimos el feed general para Google Blogsearch.\
#\
# Impedimos que permalink/feed/ sea indexado ya que el\
# feed con los comentarios suele posicionarse en lugar de\
# la entrada y desorienta a los usuarios.\
#\
# Lo mismo con URLs terminadas en /trackback/ que s\'f3lo\
# sirven como Trackback URI (y son contenido duplicado).\
#\
\
Allow: /feed/$\
Disallow: /feed\
Disallow: /comments/feed\
Disallow: /*/feed/$\
Disallow: /*/feed/rss/$\
Disallow: /*/trackback/$\
Disallow: /*/*/feed/$\
Disallow: /*/*/feed/rss/$\
Disallow: /*/*/trackback/$\
Disallow: /*/*/*/feed/$\
Disallow: /*/*/*/feed/rss/$\
Disallow: /*/*/*/trackback/$\
\
#\
# A partir de aqu\'ed es opcional pero recomendado.\
#\
\
# Lista de bots que suelen respetar el robots.txt pero rara\
# vez hacen un buen uso del sitio y abusan bastante...\
# A\'f1adir al gusto del consumidor...\
\
User-agent: MSIECrawler\
Disallow: /\
\
User-agent: WebCopier\
Disallow: /\
\
User-agent: HTTrack\
Disallow: /\
\
User-agent: Microsoft.URL.Control\
Disallow: /\
\
User-agent: libwww\
Disallow: /\
\
#\
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen\
# idas de pinza, toca decirles que reduzcan la marcha.\
# El valor es en segundos y pod\'e9is dejarlo bajo e ir \
# subiendo hasta el punto \'f3ptimo.\
#\
\
User-agent: noxtrumbot\
Crawl-delay: 50\
\
User-agent: msnbot\
Crawl-delay: 30\
\
User-agent: Slurp\
Crawl-delay: 10}