Puntos clave
- El paper "GEO: Generative Engine Optimization" se publicó en arXiv en noviembre de 2023 y fue aceptado en KDD 2024.
- Creó GEO-bench, con 10.000 consultas de nueve fuentes, y probó nueve formas de reescribir una página en un motor de respuestas hecho para el estudio y en Perplexity.
- Agregar citas textuales, agregar estadísticas y citar fuentes funcionó mejor. Repetir palabras clave quedó por debajo de las páginas sin cambios en la métrica principal.
- Las mejoras fueron mayores para páginas en el quinto lugar de los resultados; las primeras muchas veces perdieron visibilidad. Los autores reconocen límites claros.
Este resumen del estudio GEO se limita a lo que escribieron los autores. Cada cifra sale del resumen en arXiv o del texto completo, versión 3. Para entender el GEO como práctica, y cómo lo aplico, mira la guía central de GEO.
¿Qué es el paper de generative engine optimization?
Es un artículo de investigación de Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan y Ameet Deshpande. Salió en arXiv el 16 de noviembre de 2023, fue aceptado en KDD 2024 y propuso la optimización para motores generativos como forma de que los creadores ganen visibilidad en respuestas de IA.
El problema de partida es sencillo. Los motores de respuesta con IA leen varias páginas y escriben una sola respuesta, así que el dueño de una página tiene poco control sobre si aparece o cómo aparece. El resumen dice que el GEO puede subir la visibilidad hasta un 40% y que las mejores estrategias cambian según el tema. La versión vigente (v3) es del 28 de junio de 2024.
¿Cómo funcionó el estudio GEO?
Para cada consulta, los investigadores tomaron los cinco primeros resultados de Google y se los dieron a gpt-3.5-turbo, que escribía una respuesta citándolos. Luego reescribían una de esas páginas con un método GEO, generaban de nuevo la respuesta y comparaban cuánto se veía la página antes y después. Tomaron cinco respuestas por consulta.
Dos métricas midieron la visibilidad. El conteo de palabras ajustado por posición (Position-Adjusted Word Count) cuenta cuántas palabras de la respuesta vienen de frases que citan la página y da más peso a las citas que aparecen primero. La impresión subjetiva (Subjective Impression) promedia siete juicios calificados por GPT-3.5, como relevancia, influencia, originalidad y la probabilidad de que alguien haga clic. La reescritura la hizo un modelo de lenguaje siguiendo las instrucciones de cada método.
¿Qué es GEO-bench?
GEO-bench es el conjunto de pruebas que los autores publicaron con el paper: 10.000 consultas, 8.000 para entrenamiento, 1.000 para validación y 1.000 para prueba. Vienen de nueve fuentes, entre ellas MS MARCO, ORCAS-1, Natural Questions, ELI5, Perplexity.ai Discover y consultas escritas con GPT-4, en 25 temas distintos.
Según el paper, cerca del 80% de las consultas son informativas, el 10% transaccionales y el 10% de navegación. Cada una lleva una etiqueta de categoría, asignada con GPT-4 y revisada a mano en el conjunto de prueba. Tenlo presente: casi todas piden información, no buscan contratar a un negocio.
¿Qué métodos GEO funcionaron mejor?
Agregar citas textuales, agregar estadísticas y citar fuentes lideraron, con mejoras relativas de 30% a 40% en el conteo de palabras ajustado y de 15% a 30% en la impresión subjetiva. Mejorar la fluidez y simplificar también ayudaron. Repetir palabras clave quedó por debajo de la base, y los autores dicen que casi no mejora nada.
| Método (nombre del paper) | Conteo de palabras ajustado | Impresión subjetiva |
|---|---|---|
| Agregar citas textuales (Quotation Addition) | 27,2 | 24,7 |
| Agregar estadísticas (Statistics Addition) | 25,2 | 23,7 |
| Mejorar la fluidez (Fluency Optimization) | 24,7 | 21,9 |
| Citar fuentes (Cite Sources) | 24,6 | 21,9 |
| Términos técnicos (Technical Terms) | 22,7 | 21,4 |
| Fácil de entender (Easy-to-Understand) | 22,0 | 20,5 |
| Tono de autoridad (Authoritative) | 21,3 | 22,9 |
| Palabras poco comunes (Unique Words) | 20,5 | 20,4 |
| Sin optimizar (base) (No optimization (baseline)) | 19,3 | 19,3 |
| Repetir palabras clave (Keyword Stuffing) | 17,7 | 20,2 |
Puntajes copiados de la Tabla 1 del texto principal, conjunto de prueba de GEO-bench. Más alto es mejor. Ojo: el apéndice (Tabla 6) imprime otros valores, con una base de 19,8, así que los resúmenes que mezclan las dos tablas dan porcentajes un poco distintos.
¿Ganan más las páginas que están más abajo?
Sí, en este estudio. Citar fuentes subió la visibilidad un 115,1% en páginas que estaban de quintas en Google, pero la bajó un 30,3% en las que estaban de primeras. Agregar citas textuales (+99,7% en quinto lugar, -22,9% en primero) y agregar estadísticas (+97,9%, -20,6%) siguieron el mismo patrón: ganaron más los sitios pequeños.
Los autores lo leen como una oportunidad más justa para los creadores pequeños frente a los sitios grandes. El paper también probó cada tema por separado: las estadísticas funcionaron mejor en Derecho y Gobierno, Debate y Opinión; las citas textuales en Personas y Sociedad, Explicaciones e Historia; y citar fuentes en Afirmaciones, Hechos y Derecho y Gobierno. En una muestra de 200 consultas, la mejor pareja de métodos, fluidez más estadísticas, superó a cualquier método solo por más de 5,5%.
¿Funcionaron los métodos en un motor de IA real?
Los autores repitieron la prueba en Perplexity.ai con una muestra de 200 consultas. Agregar citas textuales dio el mejor conteo de palabras ajustado, con una mejora del 22% sobre la base, y agregar estadísticas subió la impresión subjetiva un 37%. Repetir palabras clave volvió a rendir cerca de un 10% peor que la base.
¿Cuáles son los límites del estudio GEO?
Los autores señalan cuatro: solo probaron dos motores generativos, así que los métodos pueden cambiar cuando los motores evolucionen; las consultas cambian con el tiempo y el conjunto necesita actualizarse; no midieron efectos en el posicionamiento; y las etiquetas pueden tener ruido. Agrego uno: el motor y el juez eran modelos de 2023.
Ese último punto es mi lectura, no la de los autores. El motor de prueba usó gpt-3.5-turbo y los cinco primeros resultados de Google, y GPT-3.5 también calificó la impresión subjetiva. Hoy AI Overviews, el Modo IA y la búsqueda de ChatGPT usan otros modelos y consultan muchas más páginas. El estudio mide cómo se usa una página dentro de una respuesta, no si la citan, ni si alguien hace clic o compra.
Lo que una empresa debe sacar del estudio
- Pon pruebas, no adjetivos. Las estadísticas con fuente y las citas de expertos con nombre fueron los métodos más fuertes.
- Escribe claro. Mejorar la fluidez y simplificar ayudó; también ayuda a quien lee.
- No repitas palabras clave. Quedó por debajo de las páginas sin cambios en la métrica principal y en Perplexity.
- Los sitios pequeños tienen una oportunidad real. Las mayores mejoras fueron para páginas en quinto lugar, no en primero.
- Prueba con tus propias preguntas. Los resultados cambiaron según el tema, así que mide las preguntas de tus clientes en vez de confiar en un porcentaje.
Para llevar estas lecciones a la escritura, lee cómo escribir contenido para IA, y usa el checklist GEO para la parte técnica. Mi auditoría GEO prueba las preguntas de tus clientes en seis asistentes de IA para ver dónde estás hoy, y en el inicio te cuento cómo trabajo.
Preguntas frecuentes
¿Quién escribió el estudio GEO?
Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan y Ameet Deshpande. Fue aceptado en la conferencia KDD 2024. Puedes leer el paper completo en arXiv y revisar cómo midieron cada método, con qué tipo de consultas y con qué motores.
¿Dónde puedo leer el paper de GEO?
Está gratis en arXiv con el número 2311.09735, en PDF y en HTML. La versión 3, del 28 de junio de 2024, es la vigente. Está en inglés. Lee la sección de métodos para entender cómo se midieron los resultados.
¿El 40% está garantizado?
No. El resumen dice hasta 40%, medido en promedio sobre el conjunto de pruebas y con un motor de 2023. Tus páginas pueden ganar más, menos o nada. Úsalo como guía, no como promesa, y mide tus propios resultados con preguntas reales.
¿GEO-bench es público?
Sí. Los autores lo publicaron con el paper, con 10.000 consultas, para que otros pudieran probar sus propios métodos. Sirve para investigar, pero tus propias preguntas de clientes son mejor prueba para tu negocio, porque muestran lo que de verdad te afecta.
¿El estudio probó AI Overviews de Google?
No. Probó su propio motor, hecho con gpt-3.5-turbo y resultados de Google, y Perplexity.ai. Las funciones de IA de Google no se midieron. Por eso sus resultados no se pueden aplicar directo a Google, y conviene hacer tus propias pruebas.
¿Quieres ver estas guías primero? Elige JJ SEO Colombia como fuente preferida en Google y mis artículos tendrán más posibilidades de aparecerte en Noticias destacadas.
Síguenos en GoogleAgregar como fuente preferida