El archivo robots.txt es un recurso esencial para la sitio que pretende estar bien vista por los rastreadores como Google . Opera como una instructivo para los bots, indicándoles qué secciones de tu web pueden están rastreadas y cuáles evitar. La adecuada configuración de este archivo puede a evitar problemas de indexación , mejorar la veloci