19 de octubre de 2026Actualizado el Fathy Shalaby15 min de lectura
Alucinación de la IA en las specs: la auditoría Claim Trace en 15 minutos
Las specs escritas por IA suenan bien fundamentadas, pero muchas veces no lo están. El Claim Trace es una auditoría de 15 minutos que etiqueta cada afirmación como Con fuente, Inferida, Supuesta o Inventada antes de que ingeniería o un agente de código construya a partir de ella.
Una alucinación de la IA en las specs ocurre cuando un PRD o una spec escritos por IA afirman algo sobre tus usuarios, tu mercado o tu producto que ninguna fuente respalda, con el mismo tono seguro que las partes verdaderas. La solución es una auditoría breve antes de que nadie construya: rastrear cada afirmación y etiquetarla como Con fuente, Inferida, Supuesta o Inventada. A esa auditoría la llamamos el Claim Trace, y lleva unos 15 minutos.
Ideas clave
El NIST incluye la «confabulación» entre los 12 riesgos propios de la IA generativa o agravados por ella, y advierte de que los modelos también pueden producir citas inventadas que justifican una respuesta errónea (NIST, 2024).
Los modelos adivinan porque el entrenamiento y los benchmarks premian adivinar: de los 10 benchmarks populares que revisó un artículo de 2025, 9 no dan ningún punto por «no lo sé» (Kalai et al., 2025).
En las specs, la alucinación rara vez inventa una funcionalidad. Inventa una razón: un patrón de uso, un motivo de abandono, un ranking de lo «más solicitado».
Solo el 3 % de los desarrolladores dice confiar mucho en la exactitud de lo que produce la IA, y el 46 % desconfía activamente (Stack Overflow, 2025). Las specs merecen el mismo escepticismo que el código.
El resultado más útil de la auditoría no es la spec depurada. Es el registro de supuestos, que se convierte en tu plan de discovery.
¿Qué es la alucinación en una spec?
La alucinación en una spec es un tipo concreto de lo que el NIST llama confabulación: contenido «confidently stated but erroneous or false» que puede inducir a error al lector (NIST AI 600-1). En una spec vive en las secciones de Problema, Contexto y Métricas de éxito, las que se supone que salen de evidencia.
Rara vez parece una funcionalidad inventada. La funcionalidad es plausible y la estructura es limpia. Lo inventado es la justificación:
«Los admins exportan datos manualmente cada semana.»
«Los informes eran la capacidad más solicitada entre las cuentas perdidas.»
«Esperamos una mejora notable en la activación.»
Cada una se lee como un hallazgo. Puede que ninguna lo sea. El modelo ha leído miles de PRD, así que produce la de la evidencia: un comportamiento, un segmento, una dirección de cambio. Si tus entradas eran escasas, rellena los huecos con lo que es estadísticamente típico en una spec como la tuya.
Alucinación intrínseca frente a extrínseca en una spec
Los investigadores distinguen dos tipos de alucinaciones (Ji et al., 2022), y ambos aparecen en las specs:
Tipo
Definición
Cómo se ve en una spec
Intrínseca
La salida contradice la fuente que le diste al modelo
Tus notas de entrevistas dicen que 3 de 12 clientes mencionaron las exportaciones; la spec dice «la mayoría de los clientes»
Extrínseca
La salida no puede ser respaldada ni contradicha por la fuente
La spec dice «los admins pasan horas en hojas de cálculo» y nada de lo que aportaste menciona el tiempo
Las alucinaciones extrínsecas son las más difíciles de detectar, porque no hay nada con lo que compararlas. El lector tiene que darse cuenta de que una frase no tiene fuente, justo lo que la escritura fluida disimula.
¿Por qué los modelos de IA inventan afirmaciones en las specs?
Un artículo de 2025 de investigadores de OpenAI y Georgia Tech sostiene que los modelos alucinan porque el entrenamiento y la evaluación premian adivinar frente a admitir incertidumbre, como un estudiante que adivina en un examen tipo test (Kalai et al., 2025). De 10 benchmarks muy usados que revisaron los autores, 9 califican las respuestas estrictamente como correctas o incorrectas y no dan ningún crédito por «no lo sé». Con esa puntuación, una conjetura segura siempre gana a un blanco honesto.
El artículo también explica por qué unos hechos están más expuestos que otros. Si el 20 % de un tipo de hechos (su ejemplo son los cumpleaños de las personas) aparece una sola vez en los datos de entrenamiento, cabe esperar que un modelo base alucine en al menos el 20 % de esos hechos. Cuando los autores pidieron a un gran modelo abierto una fecha de cumpleaños y le dijeron «responde solo si lo sabes», dio tres fechas distintas, todas erróneas.
Aplícalo a tu spec. Los hechos sobre tus clientes, tus cuentas perdidas y los hábitos semanales de tus admins aparecen cero veces en cualquier dato de entrenamiento. La única forma de que un modelo los afirme es que se los hayas aportado tú. Cualquier cosa concreta sobre tus usuarios que no hayas proporcionado es, por construcción, una conjetura disfrazada de hallazgo.
El NIST añade otra advertencia que importa para los documentos de producto: el texto generado puede incluir lógica o citas confabuladas que justifican la respuesta, lo que hace más probable que los lectores confíen en ella (NIST, 2024). Una spec que dice «como nos contaron los clientes en el T3» resulta más persuasiva que una que simplemente afirma, exista o no esa conversación del T3.
¿Por qué la alucinación de la IA en las specs sale más cara en 2026?
Han cambiado tres cosas a la vez.
El coste de redactar se desplomó. Una spec le llevaba un día a un PM, y ese día lo obligaba a volver a la evidencia. Ahora el borrador llega en menos de un minuto, antes de que nadie haya reabierto la investigación.
El coste posterior no se desplomó. Si un ingeniero o un agente de código construye a partir de la spec, una premisa inventada se convierte en código funcional en cuestión de horas. Descubres que la premisa era inventada después de lanzar la funcionalidad, no antes.
Los hábitos de revisión no se adaptaron. Los equipos revisan las specs por claridad, completitud y tono, que son justo las propiedades que mejor producen los modelos de lenguaje. Casi nadie revisa la procedencia. Los desarrolladores ya aprendieron esta lección con el código: el 66 % señala las «soluciones de IA que casi son correctas, pero no del todo» como su mayor frustración, y el 45 % dice que depurar código generado por IA lleva más tiempo (Stack Overflow, 2025). Una spec casi correcta es peor, porque nada falla al compilar.
Los documentos profesionales tampoco son inmunes. En octubre de 2025, Deloitte aceptó devolver el último pago de un informe de 440 000 AU$ para un departamento del Gobierno australiano después de que un investigador encontrara referencias académicas inventadas y una cita falsa de una sentencia. La versión corregida eliminó más de una docena de referencias y notas al pie falsas e indicó que se había usado una cadena de herramientas basada en GPT-4o (The Register, 2025). Una spec rara vez recibe tanto escrutinio externo, por eso la comprobación tiene que hacerse dentro del equipo.
La solución no es «no usar IA para redactar». Es añadir el paso de revisión que el borrador se saltó: rastrear cada afirmación hasta una fuente.
¿Cómo se audita una spec escrita por IA? El Claim Trace
Lee la spec una vez, frase por frase. Cada frase que afirme algo sobre los usuarios, el mercado, el producto o el futuro recibe exactamente una de cuatro etiquetas.
Etiqueta
Definición
La prueba
Qué haces con ella
Con fuente
Apunta a algo que puedes abrir: una entrevista, un ticket, el resultado de una consulta, una decisión firmada
¿Puede un compañero que no estuvo hacer clic y ver lo mismo?
Adjuntar el enlace en línea
Inferida
Una conclusión razonable a partir de material con fuente, pero la conclusión en sí es nueva
¿Puedes nombrar las fuentes de las que se infirió?
Adjuntar las fuentes y hacer visible la inferencia («A partir de las 3 llamadas enlazadas, creemos que…»)
Supuesta
Algo que el equipo cree pero no ha comprobado
¿Apostaría alguien del equipo dinero por ello sin comprobarlo?
Pasarla al registro de supuestos con un responsable y una prueba
Inventada
Sin fuente, sin cadena de inferencia, nadie sabe de dónde salió
¿La puso ahí una persona o una fuente, o el modelo?
Eliminarla o convertirla en pregunta
Con fuente
«Tres de las últimas cinco llamadas de onboarding mencionan exportar a hojas de cálculo» tiene fuente si puedes enlazar esas tres llamadas. La prueba es mecánica: un compañero que no estaba en la sala puede abrir el enlace y ver lo mismo.
Inferida
«Los admins probablemente exportan porque informan hacia arriba» se infiere de esas llamadas. Está bien, siempre que esté etiquetado y se adjunten las fuentes subyacentes. La inferencia es donde vive el criterio de producto; el problema es solo la inferencia sin etiquetar.
Supuesta
Los supuestos no son algo vergonzoso. Las specs funcionan con ellos. El fallo ocurre cuando un supuesto se escribe con la misma voz que un hallazgo, de modo que el lector lo absorbe en lugar de cuestionarlo.
Inventada
Esta es la etiqueta que más importa. Las afirmaciones inventadas son la aportación del modelo al documento, y son las que hay que eliminar o convertir en preguntas.
No discutas los casos límite entre etiquetas. Si dudas entre Inferida y Supuesta, elige Supuesta. La etiqueta es una invitación a mirar con más atención, no un veredicto.
¿Cómo se hace el Claim Trace en 15 minutos?
Minutos 0-3: extraer. Copia cada afirmación factual en una lista de trabajo. Salta los requisitos puros («la exportación debe ser un CSV»); son decisiones, no afirmaciones. Busca frases que empiecen por «los usuarios», «los clientes», «los admins», «actualmente», «la mayoría», «porque» o un número.
Minutos 3-8: rastrear. Para cada afirmación, intenta encontrar la fuente en menos de 60 segundos. Si no puedes, no tiene fuente. No busques una justificación a posteriori: buscar hasta que algo encaje vagamente es como las afirmaciones inventadas se blanquean en afirmaciones con fuente.
Minutos 8-12: actuar según cada etiqueta. Con fuente recibe un enlace. Inferida recibe enlaces y un razonamiento visible. Supuesta pasa al registro con un responsable y la prueba más barata. Inventada se elimina o se reescribe como pregunta.
Minutos 12-15: releer la spec. Si la sección de Problema se derrumbó al retirar las afirmaciones inventadas, has aprendido lo más valioso que la auditoría puede decirte: la funcionalidad aún no tiene un problema.
Una regla de decisión sencilla para el final del paso 4: si más de un tercio de las afirmaciones de la sección de Problema resultaron Inventadas, devuelve la spec a discovery en lugar de enviarla a ingeniería.
¿Cómo se ve un Claim Trace en un borrador real?
Toma un borrador de IA inventado pero típico para una funcionalidad de exportación para admins. La sección de Problema dice:
Los admins exportan datos manualmente cada semana y pasan horas en hojas de cálculo. Los informes son lo más solicitado entre las cuentas perdidas. Una exportación nativa reducirá el abandono.
Haz el Claim Trace:
Afirmación
Etiqueta
Acción
Los admins exportan datos manualmente cada semana
Supuesta (una llamada lo mencionó, nada sobre la frecuencia)
Pasar al registro; probar con una consulta de uso
Pasan horas en hojas de cálculo
Inventada
Eliminar
Los informes son lo más solicitado entre las cuentas perdidas
Inventada (no existe ningún ranking en ninguna parte)
Eliminar; sustituir por una pregunta
Una exportación nativa reducirá el abandono
Supuesta
Mantener como hipótesis con una métrica y una fecha
Cuatro afirmaciones: dos eliminadas, dos rebajadas, ninguna con fuente. La sección de Problema reescrita es más corta y honesta:
Una llamada de onboarding (enlazada) mencionó exportar datos de la cuenta a una hoja de cálculo. Todavía no sabemos con qué frecuencia exportan los admins ni por qué. Pregunta abierta: ¿qué dijeron las cuentas perdidas cuando se fueron? Hipótesis: una exportación nativa reduce el abandono en cuentas con más de 5 admins. Lo comprobaremos antes de comprometernos a construir.
Ese documento aún puede llevar a construir. Pero el equipo ya sabe a qué está apostando, y quien lo lee puede discrepar del supuesto en lugar de absorberlo.
¿Qué va en el registro de supuestos?
El registro es la lista de todas las afirmaciones Supuestas, y es tu plan de discovery. Anota cuatro campos por fila:
REGISTRO DE SUPUESTOS: [nombre de la spec]
| # | Supuesto (tal como está escrito en la spec) | Responsable | Prueba más barata | Decidir antes de |
|---|---|---|---|---|
| 1 | Los admins exportan datos de la cuenta cada semana | [nombre] | Consultar los clics en el botón de exportar de los últimos 30 días | [fecha] |
| 2 | Una exportación nativa reducirá el abandono | [nombre] | Preguntar a 5 cuentas perdidas por qué se fueron, antes de construir | [fecha] |
| 3 | | | | |
Una spec con un registro corto y con responsables puede avanzar rápido y con seguridad. Una spec sin registro o no tiene supuestos, lo cual casi nunca es cierto, o los ha ocultado. Para un método más completo de ordenar los supuestos por importancia y evidencia, consulta nuestra guía de mapeo de supuestos, o clasifícalos en el mapa de supuestos gratuito.
¿Cómo reducir la alucinación de la IA en las specs antes de escribirlas?
Un rastreo manual funciona, pero depende de la disciplina justo en el momento en que es más barato saltársela. Es mejor pedir la procedencia mientras se produce el borrador. La documentación de Anthropic enumera las técnicas básicas (Anthropic):
Permitir «no lo sé». Permite explícitamente que el modelo diga que le falta información.
Citar primero. Para entradas largas (Anthropic da más de 20 000 tokens como umbral), pide al modelo que extraiga citas literales antes de escribir nada.
Citar y luego retractarse. Pide al modelo que, tras el borrador, busque una cita que respalde cada afirmación y elimine toda afirmación que no pueda sustentar.
Restringir el conocimiento. Dile que use solo los documentos que le diste, no su conocimiento general.
El artículo de Kalai sugiere otra idea más: fijar un objetivo de confianza en el prompt. Por ejemplo, responder solo si estás más de un 75 % seguro, porque una respuesta errónea cuesta 2 puntos y «no lo sé» no cuesta nada (Kalai et al., 2025). Aplicado a las specs, significa premiar al modelo por escribir «sin fuente» en lugar de rellenar el hueco con soltura.
Aquí tienes un bloque de prompt que puedes pegar bajo cualquier solicitud de spec:
Usa ÚNICAMENTE las notas de investigación, tickets y datos que he adjuntado.
En cada frase sobre usuarios, clientes, el mercado o resultados esperados:
- añade [S: fuente] si un elemento adjunto concreto la respalda,
- añade [I: fuentes] si es una inferencia tuya a partir de elementos adjuntos,
- añade [A] si es un supuesto sin fuente.
No afirmes números, rankings ni frecuencias que no estén en los adjuntos.
Si una sección no tiene material de respaldo, escribe «Aún no hay evidencia» y enumera
las preguntas que tendríamos que responder.
Después de redactar, comprueba cada afirmación [S] con el adjunto y elimina cualquier
afirmación que no puedas sustentar con una cita directa.
Anthropic deja claro que estas técnicas reducen las alucinaciones, pero no las eliminan. El prompt acelera el Claim Trace; no lo sustituye. Si estás redactando todo el PRD con IA, nuestra guía del PRD con IA cubre el resto del flujo de trabajo.
Errores comunes al revisar specs escritas por IA
Revisar el pulido en lugar de la procedencia. La claridad y el tono son lo que mejor hacen los modelos. Pregunta «¿de dónde sale esto?» antes de «¿está bien escrito?»
Buscar una fuente a posteriori. Si una afirmación necesita cinco minutos de búsqueda para justificarse, era Supuesta o Inventada cuando se escribió.
Tratar los requisitos como afirmaciones. «La exportación debe admitir CSV» es una decisión. No malgastes los 15 minutos rastreando decisiones.
Auditar solo la sección de Problema. Las métricas de éxito también alucinan. «Una mejora del 15 % en la activación» sin línea base es Inventada, por muy precisa que parezca.
Dejar que el registro se pudra. Un supuesto sin responsable ni fecha es un deseo. Si el registro no se revisa antes de que empiece la construcción, la auditoría fue teatro.
¿Dónde se detiene el Claim Trace?
El método te dice si una afirmación tiene una fuente. No te dice si la fuente es buena. Una spec con todo respaldado aún puede describir lo que no es, porque las fuentes pueden estar sesgadas, ser escasas o no ser representativas. Combina el rastreo con una comprobación de la calidad de la evidencia: cuántas fuentes independientes, cuán recientes y cuán cerca de una decisión real de compra o de uso. Nuestro artículo sobre qué cuenta como evidencia para cada riesgo de producto ofrece una escala rápida para esto.
Además, cubre solo una parte del riesgo. Los cuatro grandes riesgos de Marty Cagan son el valor, la usabilidad, la viabilidad técnica y la viabilidad de negocio, y atribuye el valor y la viabilidad de negocio al product manager (SVPG, 2017). La IA ha abaratado un prototipo funcional, lo que reduce algunas preguntas de viabilidad técnica. No ha hecho más fácil saber el valor ni la viabilidad de negocio, y esas son justo las secciones donde se concentran las afirmaciones inventadas.
El Claim Trace resulta más fácil cuando la procedencia se captura en el momento de escribir. Esa es la postura de diseño detrás de Specky. Las entrevistas, los tickets, el feedback y las decisiones viven como nodos conectados en un Product Graph, y cuando la IA redacta una spec o un insight cita en línea la evidencia concreta que usó. Los borradores llegan al PM Inbox para revisión humana en lugar de ir directamente al registro, así que quien revisa puede ver qué frases llevan citas y cuáles no llevan ninguna. Puedes aproximar lo mismo en cualquier herramienta con el prompt de arriba; lo importante es que «sin fuente» sea visible, no esté oculto.
Preguntas frecuentes
¿Qué es la alucinación de la IA en las specs?
Es cuando un PRD o una spec escritos por IA afirman algo sobre los usuarios, el mercado o los resultados esperados que ninguna fuente respalda, con el mismo tono seguro que las partes con fuente. Suele aparecer como una razón inventada (un patrón de uso, un ranking, un motivo de abandono) más que como una funcionalidad inventada, y por eso quienes revisan la pasan por alto.
¿Cuánto tarda un Claim Trace?
Unos 15 minutos para una spec típica de una a tres páginas: 3 minutos para extraer las afirmaciones, 5 para rastrearlas, 4 para actuar según cada etiqueta y 3 para releer. Dedica 60 segundos por afirmación a encontrar una fuente. Las specs más largas escalan aproximadamente con el número de afirmaciones factuales, no con el de páginas.
¿Puedo pedirle a la IA que compruebe ella misma las alucinaciones de su spec?
En parte. Pedir al modelo que busque una cita que respalde cada afirmación y retire las que no pueda sustentar es una de las técnicas que recomienda Anthropic, y detecta muchas alucinaciones extrínsecas. No basta por sí sola, porque el modelo puede leer mal una fuente o citar algo que en realidad no respalda la afirmación. Un humano sigue comprobando los enlaces.
¿Cuál es la diferencia entre un supuesto y una alucinación?
Un supuesto es una creencia que el equipo tiene y sabe que no ha comprobado. Una alucinación es una afirmación sin origen que nadie del equipo creía hasta que el modelo la escribió. Los supuestos etiquetados son útiles porque se convierten en pruebas. Las alucinaciones deben eliminarse o convertirse en preguntas.
¿Deberíamos dejar de usar IA para escribir PRD?
No. Redactar con IA ahorra tiempo real en estructura, casos límite y redacción. El riesgo está en las secciones de evidencia. Aporta la investigación, los tickets y los datos como entradas, pide al modelo que marque fuentes y supuestos, y haz un Claim Trace antes de que la spec pase a ingeniería o a un agente de código.
¿Qué hago si la mayor parte de la sección de Problema es inventada?
Detén la construcción y vuelve a discovery. Si más de un tercio de las afirmaciones del problema son inventadas, la funcionalidad aún no tiene un problema demostrado. Convierte cada afirmación inventada en una pregunta, elige las dos que más cambiarían la decisión y pruébalas primero con entrevistas, una consulta de uso o una revisión de tickets de soporte.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing