El documento robots.txt es un recurso fundamental para controlar cómo los motores de búsqueda rastrean tu página web . Permite a los bots indicaciones sobre qué páginas de tu web pueden ser rastreadas y cuáles no deben ser ignoradas . Una configuración adecuada del robots.txt puede aumentar tu SE