El fichero robots.txt es una herramienta fundamental para cualquier página web que desea aparecer bien posicionada por los motores de búsqueda como Chrome . Sirve como una instructivo para los crawlers , indicándoles qué áreas de tu sitio pueden ser crawleadas y cuáles evitar. La adecuada configuración de este documento sirve a evitar proble