El archivo robots.txt, como su nombre indica, es un simple archivo de texto con una serie de instrucciones que los buscadores tienen en cuenta a la hora de indexar el contenido. Básicamente sirve para todo lo contrario que el sitemap, sirve para NO INDEXAR algo. En todas las webs tenemos secciones internas que no interesan [...]