Avatar Image
Usuario habitual
Usuario habitual

Alguien sabe como se crea ese archivo para que lo lean los robots? y lo de que debe ir dentro?

gracias.

Avatar Image
@man / @woman
@man / @woman

Si te hubieras molestado en bucar en Google antes de preguntar, habrías encontrado algo como esto, por ejemplo.

Recuerda siempre... Google conoce la respuesta.

Avatar Image
Usuario habitual
Usuario habitual

Gracias por el enlace, es verdad mire poco, por si alguien tiene la misma pregunta que yo, dejo unos ejemplos sacados de esa pagina.



Ejemplos:

User-agent: *
Disallow :

El asterisco * significa TODOS LOS ROBOTS. En este caso no hay ninguna regla especial, así que este fichero no restringe el acceso a ninguna página ni a ningún robot. Implica acceso total.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /borrador/

Todos los robots tienen restringido el acceso a los directorios /cgi-bin, al /tmp o / borrador .

ATENCIÓN: Este tema no tiene actividad desde hace más de 6 MESES,
te recomendamos abrir un nuevo tema en lugar de responder al actual
Opciones:
Ir al subforo:
Permisos:
TU NO PUEDES Escribir nuevos temas
TU NO PUEDES Responder a los temas
TU NO PUEDES Editar tus propios mensajes
TU NO PUEDES Borrar tus propios mensajes
Temas similares
No se han encontrado temas similares