Trovator y Robots.txt

De Trovator Wiki
Saltar a: navegación, buscar

Trovator utiliza bots para indexar los contenidos de las páginas que posteriormente aparecen en los resultados de las búsquedas.

Estos bots aparecen registrados en los logs de los servidores web con la cadena (User-Agent) 'trovator', y respetan el protocolo de robots.txt.

Es posible regular su forma de actuar configurando el archivo robots.txt en el directorio raiz, ya que es el primer archivo que Trovator lee en cualquier servidor y respeta sus indicaciones, incluyendo el parámetro 'delay' que determina el tiempo mínimo en segundos entre lectura y lectura. No obstante, y aunque no exista 'delay' o archivo robots.txt, Trovator intenta espaciar las lecturas en el tiempo

Los robots solamente leerán o indexarán páginas de acceso público y que además no estén denegadas en el archivo robots.txt.

Algunos parámetros de uso común en el archivo robots.txt son:

Cualquier bot:

 User-Agent: * 

Indicar al bot que no indexe un directorio:

 Disallow: /este_directorio_no/

Indicar al bot que espere 2 segundos (como mínimo) para leer otra página:

 Craw-Delay: 2

Parámetros específicos para un bot:

 User-Agent: trovator 
 Disallow: /este_directorio_no/


Permitir cualquier directorio:

 Disallow:

Denegar todo:

 Disallow: /


Más información sobre el archivo robots.txt y su configuración puede encontrarla aquí.

Herramientas personales
Espacios de nombres

Variantes
Acciones
Navegación
Herramientas