Hola:

He mirado las estádisticas de Yanayurack Crafts y me pone que el robot "WebCopier" ha visitado la página ¿Alguien sabe que robot es?. También que ha visitado la url " /robots.txt" y yo no tengo ningún fichero llamado robots.txt ¿Alguien me lo puede explicar?

Gracias

WebCopier puede ser un robot de un buscador o de un programa de descarga de webs.

El archivo robots.txt es un archivo tipico que tienen las webs para impedir la entrada a determinados buscadores o ha determinados directorios.

Un programa para copiar webs son programas que un usuario pone la dirección de una página y se la descarga para verla cuando no este conectado. Mira en www.softonic.com

El archivo robots.txt lo intentan leer, si no existe pues da un error 404.

El manual, pues no se... yo no tengo tiempo para hacerle, pero en lo básico esta la ayuda, que si es pequeña es suficiente para empezar, y sobre todo mirar las opciones.

Es precisamente varias (bastantes) opciones las que no entiendo, y si pongo aquí todo lo que no entiendo me pasaría meses ad+ de que al final se cansarían de responder seguramente