Puntos clave
- El web scraping es software que lee páginas y extrae su contenido automáticamente. La técnica es neutra; el uso decide si es justo.
- El content scraping, copiar tus páginas para publicarlas en otro sitio, va contra las políticas de spam de Google cuando no aporta nada.
- Casi ninguna copia supera al original, pero puede confundir los resultados y cargar tu servidor.
- Tus herramientas: vigilar, canonical limpio, reglas sensatas para bots, contactar al sitio o al hosting y la solicitud legal de Google.
El scraping aparece en mi trabajo de SEO técnico de dos formas: un dueño encuentra su sitio copiado en otro dominio, o el servidor se pone lento porque los bots lo están golpeando. Las dos tienen respuestas prácticas. Si algún término te suena raro, mi glosario SEO lo explica en palabras simples.
¿Qué es el web scraping?
El web scraping es la extracción automática de información de páginas web con un programa, que se suele llamar scraper o bot. El programa pide la página como lo haría un navegador, lee el HTML y guarda lo que le interesa: precios, nombres de productos, artículos, imágenes o datos de contacto. Buscadores, comparadores e investigadores usan alguna versión de esto.
La técnica en sí es común. El rastreador de Google también lee páginas para armar su índice. Lo que importa es qué se hace después: ¿esos datos sirven para mandarte visitas o para poner tu trabajo en el sitio de otro?
¿Cuándo el scraping web es legítimo y cuándo es abusivo?
Suele ser legítimo cuando respeta las reglas del sitio, no satura el servidor y usa los datos sin hacer pasar el trabajo ajeno como propio, como la indexación de buscadores o el monitoreo de precios. Se vuelve abusivo cuando ignora el robots.txt, inunda el servidor, toma datos personales o republica páginas enteras como si fueran originales.
| Uso | Normalmente bien | Normalmente un problema |
|---|---|---|
| Buscadores que indexan páginas | Sí, y respetan el robots.txt | Solo si ignoran tus reglas |
| Comparar precios o seguir tus propios rankings | Sí, a un ritmo razonable | Cuando satura tu servidor |
| Investigación y análisis de datos | Con cuidado de términos y privacidad | Cuando recoge datos personales sin base |
| Copiar artículos a otro sitio | Con permiso y crédito | Sin permiso: content scraping |
Si un caso concreto es legal o no depende del país, de los términos de uso del sitio y del tipo de datos. Esa pregunta es para un abogado, no para una guía de SEO.
¿El content scraping afecta el SEO?
Normalmente menos de lo que se teme. Google trata el scraping como spam y busca mostrar la fuente original. Los problemas aparecen cuando la copia está en un dominio más fuerte, cuando tu página es nueva y aún no está indexada, o cuando hay miles de copias. Ahí una copia puede salir en lugar de la tuya.
Las políticas de spam de Google describen el scraping como tomar contenido de otros sitios, muchas veces de forma automática, y alojarlo para manipular los rankings. Entre sus ejemplos están republicar sin aportar nada ni citar la fuente, y copiar con cambios mínimos como reemplazar sinónimos. El que rompe las reglas es quien copia, no tú. Si tu tráfico cae y sospechas de las copias, descarta antes otras causas; mi guía sobre penalizaciones de Google explica cómo revisarlo.
¿Cómo afectan los bots de scraping a un sitio de empresa?
Además de las copias, los bots agresivos consumen recursos del servidor. Cientos de solicitudes por minuto pueden hacer lentas las páginas para tus clientes reales, subir el costo del hosting y llenar tu analítica de ruido. Algunos bots incluso se hacen pasar por Googlebot copiando su user agent, así que no todo lo que dice ser Google lo es.
Google confirma en su documentación de Googlebot que otros rastreadores suplantan con frecuencia su user agent, y recomienda verificar la IP de origen con una búsqueda DNS inversa o con sus rangos de IP publicados antes de confiar en ella o bloquearla.
Qué puede hacer el dueño de un sitio contra los scrapers
- Vigila: busca en Google, entre comillas, una frase exacta de tu página cada pocas semanas.
- Mantén una etiqueta canonical que apunte a la propia página en cada URL, así una copia del HTML completo sigue señalándote a ti.
- Usa enlaces internos absolutos: algunos scrapers los copian tal cual y la copia termina enlazándote.
- Pon límites sensatos en el robots.txt para los bots que no quieres, sabiendo que los malos pueden ignorarlo.
- Pregunta a tu hosting o CDN por límites de solicitudes y reglas para tráfico abusivo, y verifica a Googlebot antes de bloquear algo que diga ser Google.
- Escribe al sitio que copia y luego a su hosting, con tu URL original y la fecha en que la publicaste.
- Si copiaron tu obra sin permiso, usa la solicitud legal de retiro de Google.
Unas notas sobre esos pasos. Google recomienda un canonical autorreferencial en la propia página canónica, y no cuesta nada. El robots.txt solo funciona con los rastreadores que deciden respetarlo; la introducción a robots.txt de Google lo presenta como una forma de administrar el tráfico de rastreo, no como un candado. En qué es robots.txt dejé ejemplos seguros.
Cuidado con bloquear de más. En un rescate técnico que hice para una clínica en Dallas–Fort Worth, el firewall del sitio estaba bloqueando al propio Google. Una regla que frena a los scrapers pero también a Googlebot hace mucho más daño que cualquier copia.
¿Cómo se denuncia ante Google un contenido copiado?
Si alguien publicó tu obra sin permiso, puedes enviar una solicitud en la página de Google para denunciar contenido por motivos legales. Google dice que cumple los avisos de derechos de autor de la ley DMCA de EE. UU. Puede limitar el acceso en sus productos, pero la copia puede seguir en el otro sitio.
Por eso la página de denuncias legales de Google también sugiere contactar al dueño del sitio para retirar el contenido en su origen. Haz la solicitud solo con contenido que de verdad sea tuyo: es un aviso legal y, si tienes dudas, consulta a un abogado.
¿Se puede evitar el scraping por completo?
No. Todo lo que un navegador puede mostrar, un programa lo puede copiar. La meta realista es dificultar el abuso, limitar su efecto y responder rápido. Un contenido original y útil, una marca conocida, señales técnicas limpias y páginas que se indexan pronto hacen mucho más probable que Google te reconozca como el original.
De ahí sale casi toda la protección. Los sitios que publican páginas originales y útiles y logran indexarlas rápido rara vez pierden frente a una copia. Como consultor SEO, puedo revisar cómo maneja tu sitio los bots y las copias en un diagnóstico gratis: agéndalo aquí.
Preguntas frecuentes
¿El web scraping es ilegal?
Depende del país, de los términos del sitio y de los datos que se recojan. Para un caso concreto, consulta a un abogado.
¿Google me penaliza si otro copia mi sitio?
Las copias hechas por otros no son tu infracción. Las políticas de spam de Google apuntan a quien copia.
¿Debo bloquear todos los bots?
No. Los buscadores también son bots. Bloquea el tráfico abusivo después de verificar quién es.
¿Una copia me roba los backlinks?
Puede atraer algunos enlaces, pero los que apuntan a tu página original siguen contando para ti.
¿Puedo poner el texto en imágenes para que no lo copien?
Mejor no. Los buscadores y los lectores de pantalla necesitan texto real, y las imágenes también se copian.
Sobre el autor
Juan José Giraldo es consultor SEO en Medellín, Colombia, con más de 5 años de experiencia. Trabaja el SEO técnico y local de más de 600 concesionarios en EE. UU. en Reunion Marketing, agencia de la lista Inc. 5000, y supervisa el SEO de 18 tiendas online en EE. UU. con más de 3 millones de productos en Prontomowers. Ver más · LinkedIn.