¿Qué es CCBot?
Common Crawl alimenta a muchos modelos de IA, incluidos varios open-source, que después descargan su dataset público. Bloquearlo es una forma amplia e indirecta de opt-out de entrenamiento.
¿Debería bloquear CCBot?
Depende de tu prioridad: si querés que tu contenido no alimente el entrenamiento de modelos futuros, bloquearlo es razonable y no tiene costo de visibilidad. Si priorizás aparecer en todos lados, dejalo permitido.
Regla de robots.txt
Para bloquearlo:
User-agent: CCBot Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.