Todas las herramientas
Rastreo e indexación · herramienta gratuita
Generador de robots.txt
Decide qué rastreadores de IA entran y genera el archivo.
Rastreadores de IA
Activa los que quieres dejar entrar.
- GPTBotOpenAI · entrenamiento de modelos
- OAI-SearchBotOpenAI · búsqueda en ChatGPT
- ChatGPT-UserOpenAI · visitas pedidas por usuarios
- ClaudeBotAnthropic · entrenamiento de modelos
- Claude-UserAnthropic · visitas pedidas por usuarios
- PerplexityBotPerplexity · índice de respuestas
- Google-ExtendedGoogle · Gemini y entrenamiento
- Applebot-ExtendedApple · Apple Intelligence
- CCBotCommon Crawl · dataset abierto
robots.txt
# robots.txt generado con yeswecontent User-agent: * Disallow: /wp-admin/ Disallow: /carrito/ Disallow: /checkout/ Allow: /wp-admin/admin-ajax.php Sitemap: https://tuweb.com/sitemap.xml
Súbelo a la raíz de tu dominio (tuweb.com/robots.txt). Recuerda que robots.txt es una petición: los robots respetuosos la cumplen, pero no es un candado.
Qué revisa
- Interruptores por rastreador
- Rutas privadas
- Sitemap
- Archivo listo para subir
Por qué importa
Tú decides si quieres que tu contenido alimente a los asistentes. Este generador te deja tomar esa decisión con conocimiento de causa.
Otras herramientas de rastreo e indexación