Googlebot es el más conocido, pero hay muchos: otros buscadores, herramientas de SEO, redes sociales que generan las previsualizaciones y, cada vez más, los rastreadores de las empresas de inteligencia artificial.
Un crawler tiene un presupuesto de rastreo limitado para tu sitio. Si lo gasta en páginas de filtros, resultados de búsqueda interna y duplicados, le queda menos para lo que importa.
Puedes orientarlo con robots.txt, con enlazado interno claro y con un mapa del sitio. Lo que no puedes es obligarlo a indexar lo que rastrea.
En inglés: Crawler or Spider
Este término forma parte del glosario de marketing digital de Do It Marketing.
