Alucinaciones de IA en derecho: las cuatro categorías que documenta Stanford y cómo evitarlas

La pregunta correcta no es si la IA se equivoca, es cómo se equivoca

Cuando un modelo de lenguaje afirma con seguridad que la Ley 6/2017 regula el Estatuto del Trabajo Autónomo (la ley correcta es la 20/2007), no comete un error puntual: ejecuta su comportamiento estructural. Lo que llamamos "alucinación" es una propiedad emergente de la arquitectura, no un defecto que se pueda parchear con más entrenamiento. Entender esto es la diferencia entre asumir que ChatGPT "está mejorando" y aceptar que cualquier modelo de lenguaje, por arquitectura, prefiere completar una respuesta inventada antes que admitir que no sabe.

El estudio publicado por Stanford Institute for Human-Centered AI en enero de 2024 (Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive) midió este fenómeno con rigor metodológico. Sus conclusiones, en una frase: entre el 58 y el 88 por ciento de las consultas jurídicas a modelos generalistas (GPT-3.5, GPT-4, PaLM, Llama 2) producen al menos una afirmación incorrecta verificable.

Lo interesante no es solo el porcentaje. Es la clasificación: casi todos los errores caen en cuatro categorías distintas, cada una con su propia mecánica y su propia mitigación.

Categoría 1: existencia de sentencias

Es la más visible, la que firmó la condena de Steven Schwartz en Mata vs Avianca. El modelo afirma que existe una sentencia con un determinado nombre, número y razonamiento, cuando en realidad nunca ha sido dictada por ningún tribunal.

En las pruebas de Stanford, GPT-3.5 inventó sentencias en un porcentaje cercano al 70 por ciento de las consultas que pedían jurisprudencia específica. GPT-4 mejoró notablemente, pero la tasa de alucinación se mantuvo por encima del 30 por ciento en consultas de jurisprudencia menor. El modelo combinaba elementos plausibles (formato del reportero oficial, nombres de partes verosímiles, razonamiento jurídico coherente) en un objeto sintético que no existe en ninguna base de datos.

Cómo se manifiesta en derecho español: ChatGPT cita una "STS 234/2019" sobre arrendamiento que no aparece en CENDOJ, o atribuye al TJUE un asunto que jamás ha resuelto, o menciona una resolución de la Dirección General de Tributos con un número compuesto que la propia DGT desconoce.

Por qué pasa: el modelo aprende el patrón de cómo se cita una sentencia (formato del número, abreviaturas del tribunal, estilo del razonamiento) y reproduce ese patrón sin acceso a la base de datos real. El parecido es estructural; la veracidad es accidental.

Mitigación arquitectónica: la arquitectura RAG con corpus jurisprudencial oficial (CENDOJ, TJUE, jurisprudencia consolidada) solo permite citar lo que el modelo recupera. Si CENDOJ no contiene la sentencia, no puede aparecer en la respuesta.

Categoría 2: atribución de autoría

El modelo cita correctamente una sentencia que sí existe, pero atribuye su autoría a un juez o sala equivocados. En el caso Mata, ChatGPT atribuyó la fictitia Varghese v. China Southern Airlines a un juez del Eleventh Circuit que existe pero que jamás firmó esa opinión. El juez después tuvo que enviar carta al tribunal de Nueva York pidiendo que el caso falso no se le atribuyera.

En derecho español, el equivalente típico es: la IA atribuye una sentencia del Tribunal Supremo a una sala distinta a la que la dictó (una sentencia social atribuida a la Sala Primera, cuando en realidad la firmó la Sala Cuarta). O atribuye una resolución del TJUE a un Tribunal General de la UE, o viceversa.

Por qué pasa: el modelo conoce la existencia de la sentencia y conoce la existencia de los jueces, pero no almacena la asociación correcta entre sentencia y firmante. Cuando se le pide la atribución, sintetiza la respuesta más probable según patrones, no la verdadera.

Mitigación arquitectónica: el RAG sobre el texto completo de la sentencia recupera la cabecera con la sala y los magistrados firmantes. La atribución la lee literalmente, no la deduce.

Categoría 3: cita literal de pasajes

El modelo afirma citar un párrafo concreto de una sentencia o de una norma. La sentencia o la norma existen. Pero el párrafo que cita no existe en ninguna parte del texto real. Es un párrafo plausible, redactado en el estilo del documento, que el modelo ha generado para apoyar la respuesta.

Este es uno de los más peligrosos porque la verificación superficial (¿existe la sentencia citada? sí) no detecta el problema. Hay que leer el texto real y comparar palabra por palabra. En derecho español es habitual encontrar:

• Citas literales del artículo 1591 del Código Civil que no aparecen en el código consolidado vigente.
• Pasajes atribuidos al Estatuto de los Trabajadores que tienen redacción anterior a la última reforma.
• Extractos del Reglamento del IRPF que combinan textos de versiones de distintos años.

Por qué pasa: el modelo conoce el estilo del texto y los conceptos relevantes, pero al generar la cita literal rellena con su propio modelo del lenguaje lo que no recuerda con precisión. El resultado es coherente pero falso.

Mitigación arquitectónica: el RAG recupera el pasaje literal de la fuente oficial y lo cita verbatim. Si Legatiq dice "el artículo 30.2.c) de la Ley 35/2006 establece que...", el texto que sigue es exactamente el que aparece en el BOE consolidado de esa ley a esa fecha. Verificable de un clic.

Categoría 4: vigencia normativa

El modelo afirma que una norma está vigente cuando ya ha sido derogada, o cita una versión anterior de un artículo que ha sido reformado. El derecho español es especialmente vulnerable a este tipo de alucinación porque la frecuencia de reforma es alta:

• El Estatuto de los Trabajadores ha sufrido más de cincuenta modificaciones desde 1995.
• La Ley General de la Seguridad Social se reforma con cada Ley de Presupuestos.
• El sistema de cotización del autónomo cambió radicalmente en 2023 (RDL 13/2022) y los modelos entrenados antes pueden seguir respondiendo con el sistema anterior.

ChatGPT entrenado con datos hasta 2023 puede afirmar que la cuota mínima de autónomo es de 294 euros mensuales (la cifra anterior al cambio) cuando la actual depende del tramo de rendimientos netos. La afirmación es plausible, fue cierta, y ya no lo es. Para el usuario que no sabe que el sistema cambió, la respuesta es indistinguible de una correcta.

Por qué pasa: los modelos tienen una fecha de corte de entrenamiento. Lo que ocurre después de esa fecha es invisible para ellos. La actualización requiere reentrenamiento o búsqueda en internet en tiempo real, ambas con sus propios riesgos.

Mitigación arquitectónica: el RAG sobre el BOE consolidado trabaja siempre con la versión vigente. Cuando una norma se reforma, el corpus se actualiza y la respuesta refleja la versión actual. El riesgo de "vigencia engañosa" se mantiene solo en la ventana entre que la norma se publica y se actualiza el corpus, ventana que se reduce a horas en sistemas bien mantenidos.

Las cuatro categorías combinadas explican el 80 por ciento de los errores

Stanford agrupó casi todos los errores documentados en estas cuatro categorías. Lo que queda fuera (errores de razonamiento, omisiones, etc.) representa una minoría. Esto significa algo práctico: mitigar las cuatro categorías reduce el riesgo de alucinación legal en un orden de magnitud.

Y la mitigación pasa por arquitectura, no por fuerza bruta de entrenamiento. Un modelo más grande no alucina menos en estas categorías. Un modelo con recuperación de fuentes oficiales antes de generar la respuesta sí.

Por qué la verificación humana es necesaria pero costosa

El AI Act europeo (Reglamento UE 2024/1689, artículo 14) impone supervisión humana efectiva sobre los sistemas de IA de alto riesgo. El anexo III, punto 8.a), sitúa en esa categoría los sistemas destinados a ayudar a una autoridad judicial, o a quien actúe en su nombre, a investigar e interpretar los hechos y el Derecho. La asistencia jurídica que un despacho presta a sus clientes no figura en esa lista, así que el artículo 14 no le alcanza por ese solo hecho. Para el abogado, la verificación humana sigue sin ser opcional, pero por su deber deontológico de diligencia.

Pero supervisión humana eficaz tiene dos modos:

Modo costoso: la IA produce afirmaciones, el humano va a la fuente original a verificar cada una. Si la IA dice que existe la STS 1234/2020, el abogado abre CENDOJ y comprueba. Si la IA cita el artículo 30.2.c de la Ley del IRPF, el abogado abre el BOE y compara. Este modo destruye buena parte del ahorro de tiempo que la IA prometía.

Modo eficiente: la IA entrega la afirmación junto con el enlace al BOE oficial donde se basa. El abogado hace clic y verifica de un vistazo. La verificación pasa de minutos a segundos por afirmación. Este modo solo es posible con arquitectura RAG sobre fuentes oficiales.

La elección es operativa, no filosófica. Si tu IA es generativa pura, la verificación es costosa y, por tanto, suele relajarse en la práctica. Si tu IA tiene citas verificables, la verificación es barata y se cumple sistemáticamente. La diferencia entre ambos modos no es académica: es la diferencia entre Mata vs Avianca y un flujo de trabajo deontológicamente sólido.

Casos posteriores a Mata vs Avianca

Aunque el caso Mata sigue siendo el más documentado, no es único. Desde 2023 se han registrado en jurisdicciones estadounidenses varios casos similares: letrados sancionados o suspendidos por presentar escritos con citas fabricadas por IA generativa. La pauta es consistente:

• Ningún colegio profesional ha prohibido el uso de IA. Lo que ha prohibido es la presentación de afirmaciones no verificadas.
• Las sanciones suelen incluir multa económica y obligación de formación específica.
• En varios casos, los letrados sancionados han alegado desconocer que la IA podía alucinar; los tribunales han rechazado esa defensa: el deber de diligencia técnica es del letrado, no del proveedor de la herramienta.

En España no existe aún caso disciplinario público equivalente, pero los Colegios profesionales ya emiten advertencias internas y la doctrina jurídica reciente trata el caso Mata como referente ilustrativo del riesgo profesional. Es razonable anticipar que el primer caso disciplinario español por uso negligente de IA generativa llegue antes que después.

La conclusión operativa

Las alucinaciones son propiedad estructural de los modelos generalistas, no fallo puntual. Las cuatro categorías de Stanford explican casi todo el riesgo. La mitigación eficaz es arquitectónica: la IA con recuperación sobre fuentes oficiales reduce el riesgo en origen. La verificación humana es obligatoria para el abogado por su deber de diligencia, pero solo es eficiente cuando la IA entrega citas verificables al BOE oficial.

La pregunta para cualquier despacho, gestoría o profesional que use IA en su trabajo es directa: ¿la herramienta que usas entrega cada afirmación con su enlace a la fuente oficial verificable? Si la respuesta es no, el riesgo Mata vs Avianca es estructural, no hipotético.

Para profundizar

Para entender el caso fundacional, caso Mata vs Avianca: cuando ChatGPT inventó jurisprudencia y un abogado fue sancionado.

Para entender por qué confiar en IA generalista para derecho es estructuralmente arriesgado, por qué no debes confiar en una IA genérica para temas legales.

Para ver la arquitectura técnica que evita las alucinaciones en origen, Legatiq no es un chatbot: arquitectura de una IA jurídica.