Fecha actual 21 Jun 2018, 08:37




Nuevo tema Responder al tema  [ 15 mensajes ]  Ir a página 1, 2  Siguiente
 Dudas sobre archivo robots.txt 
Autor Mensaje
MiniRentabilizador

Registrado: 10 Ago 2010, 10:16
Mensajes: 284
Ubicación: Rabat
Responder citando
Nota Dudas sobre archivo robots.txt
Hola a todos, tengo unas dudas que me gustaría consultaros, creo que tenia el archivo robots.txt mal configurado y esto habia hecho que solo dos paginas estuvieran indexadas, la configuración que tenia era:

User-agent: *
Disallow: /

Creo que esto impedia la indexación ¿es correcto?

Ahora tengo instalado el plugin para wordpress PC Robots.txt y esta configurado de tal modo que tiene una lista alfabetica ( de la cual solo he puesto los ultimos) configurada para que dichos robots no sigan ¿es esto correcto?

Os agradeceria que vierais la configuración que sigue a continuación y me dijerais si es correcta.. estoy muy mosca pues no consigo indexar bien el blog.

Muchas gracias

User-agent: Alexibot
Disallow: /

User-agent: Aqua_Products
Disallow: /

---------------

User-agent: Wget/1.6
Disallow: /

User-agent: Wget
Disallow: /

User-agent: wget
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php


10 Mar 2011, 09:21
Perfil



HyperRentabilizador

Avatar de Usuario

Registrado: 02 Feb 2009, 20:51
Mensajes: 2781
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Yo en todas mis webs le tengo puesto esto:

# Robots.txt file from http://www.xxxxx
#
# Bans from cgi-bin and images
#
# Disallow /cgi-bin/

User-agent: *
Disallow: /img_men/ (no me interesa que me roben las imágenes)

Pero para un WP están bien también estas otras:
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-login.php

_________________
El blog de aWebo #nolevotes - http://awebocabron.blogspot.com/


10 Mar 2011, 10:27
Perfil
MiniRentabilizador

Registrado: 10 Ago 2010, 10:16
Mensajes: 284
Ubicación: Rabat
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Gracias aWebo , en cuanto a la relación de user-agent que el plugin lleva como disallow:/ ¿que opinas?


10 Mar 2011, 11:23
Perfil
HyperRentabilizador

Avatar de Usuario

Registrado: 02 Feb 2009, 20:51
Mensajes: 2781
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Hombre, sin ser un experto en robots.txt yo creo que si le pones

disallow:/

Le estás diciendo que no indexe nada de la raíz en adelante, no?

_________________
El blog de aWebo #nolevotes - http://awebocabron.blogspot.com/


10 Mar 2011, 11:30
Perfil
MiniRentabilizador

Registrado: 10 Ago 2010, 10:16
Mensajes: 284
Ubicación: Rabat
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Hola si a esa conclusión he llegado yo tambien, por eso este apartado que te copio lo veo bien:


User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php


mis dudas estan por ejemplo en estos:

User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

que parece como si fuera una "autorización" a estos robots

y tambien en estos:
User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus
Disallow: /

que a mi entender no permiten a estos robots, como bien dices, que lean los archivos.

¿que opinas?


10 Mar 2011, 11:42
Perfil
Moderador

Avatar de Usuario

Registrado: 15 Abr 2008, 20:40
Mensajes: 2165
Ubicación: Uruguay
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Si no vas a bloquear nada mejor no ponerlos, ya entran en el bloqueo de directorios que pusiste más arriba para todos los robots

topmarruecos escribió:
User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:


En cuanto a estos 2 les estas bloqueando el acceso total (no se que serán esos robots)
topmarruecos escribió:
User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus
Disallow: /

_________________
Mi blog
http://www.DanielCostas.com


10 Mar 2011, 13:05
Perfil
HyperRentabilizador

Avatar de Usuario

Registrado: 02 Feb 2009, 20:51
Mensajes: 2781
Responder citando
Nota Re: Dudas sobre archivo robots.txt
+1

_________________
El blog de aWebo #nolevotes - http://awebocabron.blogspot.com/


10 Mar 2011, 13:42
Perfil
MiniRentabilizador

Registrado: 10 Ago 2010, 10:16
Mensajes: 284
Ubicación: Rabat
Responder citando
Nota Re: Dudas sobre archivo robots.txt
OK voy a arreglarlo, yo tampoco se que son

Gracias


10 Mar 2011, 14:12
Perfil
MiniRentabilizador

Registrado: 10 Ago 2010, 10:16
Mensajes: 284
Ubicación: Rabat
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Bueno he eliminado lo que no veia claro y consultando http://topmarruecos.es/robots.txt esto es lo que me aparece.
Creo que esta correcto ¿?




# This virtual robots.txt file was created by the PC Robots.txt WordPress plugin.
# For more info visit: http://petercoughlin.com/robotstxt-wordpress-plugin/

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php

Sitemap: http://topmarruecos.es/sitemap.xml.gz


10 Mar 2011, 14:18
Perfil
HyperRentabilizador

Avatar de Usuario

Registrado: 02 Feb 2009, 20:51
Mensajes: 2781
Responder citando
Nota Re: Dudas sobre archivo robots.txt
Yo particularmente este no lo pondría:

Disallow: /wp-content/themes/

_________________
El blog de aWebo #nolevotes - http://awebocabron.blogspot.com/


10 Mar 2011, 15:04
Perfil
Mostrar mensajes previos:  Ordenar por  
Nuevo tema Responder al tema  [ 15 mensajes ]  Ir a página 1, 2  Siguiente


¿Quién está conectado?

Usuarios navegando por este Foro: No hay usuarios registrados visitando el Foro y 1 invitado


No puede abrir nuevos temas en este Foro
No puede responder a temas en este Foro
No puede editar sus mensajes en este Foro
No puede borrar sus mensajes en este Foro

Buscar:
Saltar a:  
cron