Directorio de bots de IA

Alimenta las respuestas de búsqueda de ChatGPT. Bloquearlo te elimina de esas respuestas. Casi nunca querés bloquearlo.

Alimenta la búsqueda web de Claude. Bloquearlo reduce tu presencia en las respuestas de Claude que citan fuentes web.

Alimenta las respuestas de Perplexity. Bloquearlo te saca de sus resultados. Perplexity aclara que este bot no se usa para entrenar modelos.

Crawler de Apple para Siri, Spotlight y Safari. Bloquearlo reduce tu presencia en esos productos de búsqueda de Apple.

Es el crawler de Google Search: cubre Search, Discover, Google Images, Google News y funciones con IA como AI Overviews. NUNCA lo bloquees: desaparecés de Google por completo. No es un bot de IA opcional.

Analiza contenido para mejorar la relevancia de las respuestas de Meta AI. Bloquearlo reduce tu presencia en esas respuestas, sin afectar el entrenamiento de modelos.

Se activa cuando una persona le pide a ChatGPT que mire una página puntual. OpenAI aclara que, al ser un pedido iniciado por un usuario, tu robots.txt puede no aplicar — bloquearlo no lo garantiza.

Se activa cuando una persona le pide a Claude que analice una página puntual. A diferencia de OpenAI con ChatGPT-User, Anthropic indica que este bot sí respeta tu robots.txt. Bloquearlo rompe ese pedido explícito del usuario.

Fetch en tiempo real iniciado por una persona en Perplexity. Perplexity indica que, al ser un pedido de un usuario, generalmente no respeta tu robots.txt — bloquearlo no lo garantiza.

Opt-out del entrenamiento de Apple Intelligence y otros modelos de Apple. No crawlea nada por su cuenta: solo decide cómo se usan los datos que ya junta Applebot. No te saca de la búsqueda ni de Siri.

Controla solo si Google puede usar tu contenido para entrenar futuros modelos Gemini. Google aclara que no afecta tu inclusión en Search ni es señal de ranking.

Bloquearlo saca tu contenido del entrenamiento de futuros modelos de OpenAI. No afecta si aparecés en las respuestas de ChatGPT ni tu ranking en Google.

Bloquearlo saca tu contenido del entrenamiento de los modelos de Anthropic. No afecta tu visibilidad en las respuestas de Claude ni en la búsqueda web de Claude-SearchBot.

Common Crawl alimenta a muchos modelos de IA, incluidos varios open-source, que después descargan su dataset público. Bloquearlo es una forma amplia e indirecta de opt-out de entrenamiento.

Crawler de entrenamiento de Meta (modelos Llama y afines). Bloquearlo saca tu contenido de ese entrenamiento, sin afectar a Meta-WebIndexer ni tu presencia en Meta AI.

ByteDance dice que respeta robots.txt, pero hay reportes de 2023 de que siguió crawleando rutas bloqueadas. Una regla acá es un primer intento razonable; si te importa en serio, sumá un bloqueo a nivel servidor o CDN.

Valida que las páginas de destino de los anuncios de OpenAI funcionen bien. No entrena modelos ni afecta tu visibilidad en ChatGPT — solo importa si corrés anuncios en OpenAI.

Crawler genérico que usan distintos equipos internos de Google para investigación y desarrollo, sin un producto de cara al usuario asociado. Bloquearlo no tiene un efecto documentado en Search.

Crawlea tu sitio solo cuando un cliente de Google Cloud pide construir un agente de Vertex AI sobre tu contenido. Google aclara que no tiene efecto en Search ni en otros productos.

User-agent viejo, ya no está en uso activo. Si tu robots.txt lo bloquea creyendo que frena a Anthropic, no está haciendo nada: el set activo hoy es ClaudeBot, Claude-SearchBot y Claude-User.

User-agent viejo, ya no está en uso activo. Bloquearlo no frena nada de Anthropic hoy: el set activo es ClaudeBot, Claude-SearchBot y Claude-User.