Cómo lograr que la búsqueda con IA lea y cite un sitio de suministro para investigación

Cómo la búsqueda con IA encuentra y cita una página

Google AI Overviews, la búsqueda de ChatGPT, Perplexity, Gemini y Copilot funcionan, a grandes rasgos, en el mismo orden. Un rastreador descarga páginas y las guarda en un índice, propio del operador o de un buscador. Cuando alguien hace una pregunta, el sistema recupera los pasajes que parecen relevantes, redacta una respuesta a partir de ellos y enlaza algunas de las páginas que usó. Una página que nunca se descarga, o que se descarga pero no se puede leer, nunca llega al último paso.

Cada sistema tiene su propio rastreador y su propio índice, y ninguno publica cómo elige las fuentes que cita. Lo que tienen en común es que prefieren pasajes que responden directamente a una pregunta, que provienen de una fuente que pueden identificar y que coinciden con otras fuentes. Por eso el trabajo que sigue trata sobre todo de acceso, claridad y evidencia, no de trucos.

El suministro para investigación añade un filtro más. Los asistentes son cautelosos con todo lo que suena a consejo de salud, y una página que hace afirmaciones de uso o de resultados es a la vez un problema de cumplimiento y una fuente débil. Los datos del catálogo, la documentación y la información clara de la empresa son lo que un sitio de suministro para investigación puede ver citado, y también lo que buscan los compradores.

Acceso de rastreadores, bot por bot

robots.txt se lee por agente de usuario, y hoy cada operador de IA usa varios agentes con funciones distintas. Bloquear uno no bloquea a los demás, y permitir un rastreador de entrenamiento es una decisión distinta de permitir uno de búsqueda. Decida bot por bot y deje la regla por escrito.

Los nombres y las funciones cambian, así que consulte la documentación vigente de cada operador antes de editar el archivo. Según lo publicado en el momento de escribir esto:

• Googlebot. Rastrea para la Búsqueda de Google, y AI Overviews se nutre del mismo índice. No existe un rastreador aparte para AI Overviews que haya que permitir.
• Google-Extended. No es un rastreador sino un token de robots.txt. Controla si el contenido que Google ya rastreó puede usarse para los modelos de Gemini y su fundamentación; no cambia el posicionamiento ni la inclusión en la Búsqueda de Google.
• Bingbot. Rastrea para Bing, y las respuestas de Copilot se nutren del índice de Bing, así que bloquear Bingbot también saca el sitio de los resultados de búsqueda de Copilot.
• OAI-SearchBot y ChatGPT-User. El rastreador de búsqueda de OpenAI y su agente para las páginas que un usuario le pide a ChatGPT que abra. GPTBot es el rastreador de entrenamiento, aparte.
• PerplexityBot y Perplexity-User. El rastreador del índice de Perplexity y su agente para descargas iniciadas por un usuario.
• ClaudeBot, Claude-SearchBot y Claude-User. El rastreador de entrenamiento, el rastreador de búsqueda y el agente para descargas iniciadas por un usuario de Anthropic.
• Applebot-Extended. Un token, como Google-Extended, que controla el uso del contenido rastreado para los modelos de Apple.

Cómo es un robots.txt sensato

Para una empresa que quiere que la encuentren, la regla más sencilla es permitir todo lo público y cerrar solo lo que nunca debe indexarse: rutas de administración, cuentas, carrito y API. Nombre además a los rastreadores de IA de forma explícita, para que una regla posterior más estricta para todos los agentes no los deje fuera por accidente.

Este sitio hace exactamente eso. Su robots.txt lo genera la aplicación: una regla para todos los agentes de usuario que permite el sitio y bloquea /api/, y una segunda regla que nombra a GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, Bingbot y varios más con los mismos permisos y bloqueos. Los despliegues de vista previa lo bloquean todo y envían una cabecera noindex, para que una dirección de prueba nunca compita con la real.

• Mantenga la línea del sitemap en robots.txt, apuntando a un sitemap que liste solo páginas canónicas e indexables.
• No bloquee las rutas de scripts y estilos del framework. Los rastreadores que sí renderizan páginas las necesitan.
• Revise robots.txt después de cada despliegue. Una regla de pruebas que llega a producción puede sacar un sitio de todos los índices a la vez.
• Recuerde que robots.txt es una petición, no un control de acceso. Lo privado necesita inicio de sesión, no una línea de bloqueo.
• Si hay un firewall o un servicio de protección contra bots delante del sitio, compruebe que no esté desafiando a los rastreadores que usted permitió. Un bot que recibe una página de desafío no lee nada.

Renderizado: lo que el rastreador recibe de verdad

Googlebot ejecuta JavaScript, aunque el renderizado puede ocurrir después de la primera descarga. Se ha informado que muchos rastreadores de IA solo leen el HTML que devuelve el servidor. Si los nombres de producto, los números de lote o las respuestas solo aparecen después de que un script se ejecute en el navegador, esos rastreadores pueden ver una carcasa vacía.

La solución es enviar el texto importante en la primera respuesta: renderizado en el servidor o generación estática, que frameworks como Next.js hacen por defecto en las páginas que no lo desactivan. Una comprobación rápida es descargar una página con una herramienta de línea de comandos o ver el código fuente de la página, no el inspector, y buscar una frase que espera que se cite. Si no está en el código fuente, suponga que algunos rastreadores no pueden verla.

• Mantenga títulos, respuestas, datos de producto y respuestas de preguntas frecuentes en el HTML, no dentro de pestañas que cargan al hacer clic.
• Dé a los datos de cada informe y COA una entrada de texto en la página. Un certificado que solo existe como imagen o como PDF escaneado le dice muy poco a un rastreador.
• Evite verificaciones de edad o ventanas emergentes que reemplacen el contenido de la página para visitantes sin cookies, porque los rastreadores llegan sin cookies.
• Mantenga las páginas rápidas y estables. Una respuesta lenta o fallida es una página que el rastreador puede saltarse; Core Web Vitals explicados cubre la parte de velocidad.

llms.txt: útil, no mágico

llms.txt es una convención propuesta (llmstxt.org): un archivo de texto plano en la raíz de un sitio que resume qué es el sitio y enlaza sus páginas más importantes, escrito para modelos de lenguaje y no para personas. Es una propuesta, no un estándar, y los principales operadores de búsqueda y de IA no se han comprometido a leerlo. Trátelo como un resumen de bajo costo que puede ayudar a algunas herramientas, nunca como sustituto de páginas rastreables.

Si publica uno, genérelo a partir de los mismos datos que las páginas, para que no pueda desfasarse. Este sitio sirve /llms.txt y un /llms-full.txt más largo desde rutas que leen los mismos datos de servicios, productos y guías que usan las páginas, incluida la respuesta breve de cada guía y el aviso de uso exclusivo en investigación. Cuando cambia una guía, ambos archivos cambian con ella.

• Indique qué es la empresa, a quién sirve, desde dónde se envía el inventario y cómo funcionan los precios y el contacto, y enlace las páginas clave.
• Nunca ponga en llms.txt nada que el sitio visible no diga también.

Coherencia de la entidad

Un asistente tiene que decidir qué es su empresa antes de poder citarla. Construye esa imagen a partir de su sitio, sus datos estructurados y todo lo demás en la web que la menciona. Cuando el nombre de la empresa, la dirección, los datos de contacto y la descripción cambian de una página a otra, la imagen se desdibuja, y una entidad desdibujada es una fuente arriesgada.

Elija una versión canónica de cada dato y úsela en todas partes: el pie de página, la página de contacto, el marcado Organization, el archivo llms.txt, las facturas, los perfiles en marketplaces y las redes sociales. En suministro para investigación, mantenga también idéntica la descripción de lo que vende: materiales de investigación, uso exclusivo en investigación, los mismos nombres de compuestos. Un sitio que llama al mismo producto con un código en una página y con el nombre del compuesto en otra dificulta la coincidencia; si existen códigos, inclúyalos como sinónimos en la página del producto, como hace el catálogo de este sitio.

• Un nombre legal o comercial, escrito igual en todas partes.
• Un correo de soporte y un número de teléfono o mensajería, mostrados como texto y no solo como imágenes.
• Una página de presentación que nombre al operador y, cuando sea cierto, a la empresa matriz.
• Marcado Organization con el mismo nombre, URL, logotipo y datos de contacto que la página.

Páginas con la respuesta primero

La recuperación trabaja con pasajes, no con páginas enteras. Un párrafo que responde la pregunta en sus dos o tres primeras frases, y que sigue teniendo sentido cuando se saca por sí solo, es más fácil de citar que una respuesta repartida en cinco párrafos de introducción.

Escriba cada página importante en torno a la pregunta que responde. Ponga la pregunta en el título o en el primer encabezado, la respuesta justo debajo y luego el detalle que la respalda. Cada guía de este sitio sigue esa forma: la respuesta breve del principio es el pasaje con más probabilidades de citarse, y está marcada como la parte speakable de la página. La optimización para motores de respuesta aplica la misma idea a sitios completos.

• Un tema por página, con un encabezado que diga qué responde la página.
• La respuesta en las primeras frases, con el sujeto nombrado, no "esto" o "eso".
• Sustantivos concretos: el nombre del compuesto, el número de informe, la ciudad desde la que se envía el inventario.
• Respuestas de preguntas frecuentes que se sostienen solas, sin "como se mencionó arriba".

Fuentes, citas y marcado que coincide con la página

Un asistente cita con más tranquilidad una afirmación que puede comprobar. En un sitio de suministro para investigación, los datos verificables ya están ahí: el nombre del laboratorio, el número de informe y la fecha en un certificado de análisis, el número de lote en la etiqueta, el registro de publicaciones detrás de un resumen de investigación. Póngalos en la página como texto y enlace la fuente.

Las páginas de investigación de este sitio muestran el patrón: estadísticas de publicaciones con las consultas que las produjeron, y resúmenes en los que cada hallazgo nombra el modelo estudiado y enlaza el artículo citado. La página de análisis lista los informes publicados por producto y tamaño. Ninguna de las dos hace una afirmación que la fuente no respalde, y ninguna le dice a nadie cómo usar un compuesto.

Lo contrario también se cumple. Una afirmación general de pureza, una estadística sin fuente o una certificación que la empresa no puede documentar es un motivo para que un sistema cuidadoso busque en otra parte, y para que un proveedor de pagos o un revisor de anuncios mire más de cerca.

El marcado de schema.org en JSON-LD les dice a las máquinas qué es una página: una organización, un producto, un artículo, un conjunto de datos, una serie de preguntas y respuestas. Por sí solo no consigue una cita, y ningún operador promete que lo haga. Lo que sí hace es eliminar ambigüedad, lo que ayuda a cualquier sistema que lo lea a describir la página con precisión.

La regla que más importa es que el marcado debe describir lo que dice la página visible. Un producto sin precio en la página no lleva precio en el marcado; una pregunta frecuente en el marcado aparece en la página palabra por palabra. Datos estructurados para sitios web de péptidos cubre cada tipo que necesita un sitio de suministro para investigación, con ejemplos.

Actualidad y fechas

Los asistentes que responden preguntas sobre proveedores, disponibilidad o documentación tienden a preferir fuentes actuales, y una página sin fecha no les da nada en que basarse. Muestre una fecha de actualización en las páginas que cambian, ponga la misma fecha en el marcado Article como dateModified y dé al sitemap un lastModified que coincida.

Cambie la fecha solo cuando cambie el contenido. Adelantar fechas sin editar es fácil de detectar, porque el texto es el mismo que la última vez, y les enseña a los rastreadores que sus fechas no significan nada. En este sitio, la fecha de la guía, el marcado Article y la entrada del sitemap salen todos de un único campo de actualización.

• Revise las páginas clave con un calendario y deje constancia de lo que cambió.
• Agregue los lotes e informes nuevos antes de que el inventario salga a la venta, para que la documentación nunca vaya por detrás del catálogo.
• Retire las páginas con una redirección a la página vigente más cercana, no con un callejón sin salida.

Medir el tráfico que llega desde la IA

La mayoría de las visitas desde herramientas de IA llegan como referencias desde el dominio del asistente, como chatgpt.com, perplexity.ai, gemini.google.com o copilot.microsoft.com, y algunos asistentes añaden una etiqueta utm_source a los enlaces que muestran. Cree un canal o segmento en su analítica para esas fuentes de referencia, de modo que ese tráfico se cuente por separado en lugar de perderse entre las referencias generales. Revise los nombres de dominio que llegan de verdad a sus informes, porque cambian.

Conviene conocer dos límites. Los clics desde Google AI Overviews se registran como tráfico normal de búsqueda de Google, así que no se pueden separar de otras visitas orgánicas. Y mucha gente lee una respuesta de IA y nunca hace clic, así que los conteos de referencias subestiman con qué frecuencia se usa un sitio como fuente.

Para ver qué fuentes usan los asistentes, hágales las preguntas que hacen sus compradores, con una lista fija y un calendario, y anote qué sitios citan. Después juzgue el trabajo por lo que importa a una empresa mayorista: las consultas. Este sitio guarda en el navegador, durante la sesión, la página de entrada, el sitio de referencia y las etiquetas utm, y los adjunta a una consulta solo cuando el visitante la envía, de modo que una consulta que empezó en un asistente puede contarse como tal. Generación de clientes B2B para proveedores de investigación cubre cómo medir las consultas hasta llegar a los pedidos.

Qué no hacer

• Reseñas o valoraciones falsas. Los testimonios inventados y el marcado de reseñas sin reseñas reales incumplen las directrices de búsqueda y las reglas de cumplimiento de esta categoría. Además le enseñan a cualquier sistema cuidadoso que las demás afirmaciones del sitio también pueden ser inventadas.
• Afirmaciones sin fuente o exageradas. Nada de cifras generales de pureza, estadísticas inventadas ni certificaciones sin documentar. Si un dato no tiene fuente, déjelo fuera.
• Lenguaje de uso o de resultados. Nada de dosis, uso ni planteamientos de resultados en ninguna parte, incluidas las preguntas frecuentes y el marcado. Consulte textos de tienda para uso exclusivo en investigación.
• Cloaking. Mostrar a los rastreadores un texto distinto del que ven los visitantes, incluido texto oculto escrito para la IA. Los buscadores lo tratan como spam, y un asistente que cita un texto que el visitante no puede encontrar ha sido engañado.
• Texto de instrucciones dirigido a la IA. Las instrucciones ocultas que le dicen a un asistente qué decir son una forma de cloaking, y ponen en riesgo la credibilidad de todo el sitio.
• Páginas pobres producidas en masa. Cientos de páginas casi idénticas no aportan nada al índice. Las páginas a escala funcionan cuando cada una dice algo cierto y específico de esa página.
• Garantías. Quien promete una cita, un posicionamiento o un lugar en una respuesta de IA promete algo que ningún operador ofrece.

Lista de comprobación

Repase esta lista antes del lanzamiento y después de cualquier cambio importante en plantillas, alojamiento o textos. Construimos sitios de suministro para investigación según esta lista como parte de SEO y búsqueda con IA y de la optimización para motores generativos; envíe la dirección de su sitio y lo que vende desde la página de desarrollo web, y le diremos qué arreglaríamos primero.

• robots.txt permite por nombre los rastreadores de búsqueda que usted quiere y cierra solo las rutas privadas.
• Ninguna regla del firewall desafía a los rastreadores que usted permitió.
• El texto clave está en el HTML del servidor: encabezados, respuestas, datos de producto, datos de informes, preguntas frecuentes.
• Un sitemap lista las páginas canónicas e indexables con fechas lastModified honestas.
• llms.txt, si se usa, se genera a partir de los mismos datos que las páginas.
• El nombre de la empresa, los datos de contacto y la descripción coinciden en cada página y perfil.
• Cada página importante responde su pregunta en las primeras frases.
• Los datos enlazan a sus fuentes: informes, números de lote, artículos citados.
• Los datos estructurados coinciden con la página visible, sin precios, reseñas ni afirmaciones inventados.
• Las fechas de actualización cambian solo cuando cambia el contenido.
• La analítica tiene un canal para las referencias de IA, y las consultas llevan su origen.
• Los textos son de uso exclusivo en investigación de principio a fin, sin afirmaciones de uso ni de resultados.