Por qué no debes confiar en una IA genérica para temas legales

El caso que abrió los ojos a la profesión

En junio de 2023, el juez federal Kevin Castel del Distrito Sur de Nueva York firmó una resolución que recorrió el mundo jurídico en cuestión de horas. El caso era de aviación, una reclamación de un pasajero contra Avianca por una lesión a bordo. Lo que llamó la atención no fue el fondo, sino el escrito que presentó el abogado del demandante: contenía seis citas jurisprudenciales que no existían.

Las sentencias citadas tenían nombre, número, fecha y un párrafo argumentativo. Todo era plausible. Todo era falso. El abogado las había pedido a ChatGPT y las había incorporado al escrito sin verificar ninguna. Cuando el tribunal contrario denunció la imposibilidad de localizarlas, el letrado pidió a ChatGPT que confirmara que existían. El modelo confirmó. Las sentencias seguían sin existir.

El juez impuso una sanción económica al abogado y a su despacho. El argumento de la resolución es el que importa: la responsabilidad profesional de verificar las afirmaciones que se llevan a un tribunal no se delega en una herramienta. Da igual que la herramienta sea un becario, un buscador o un modelo de lenguaje. Si firmas, respondes.

El caso se conoce como Mata vs Avianca (Roberto Mata v. Avianca, Inc., 22-cv-1461, S.D.N.Y.) y es la referencia inevitable cuando se habla de IA generativa en derecho. Tres años después, sigue siendo un buen punto de partida para entender qué pasa cuando una herramienta diseñada para producir texto coherente se usa en un terreno donde la coherencia no basta.

Los números: 58 por ciento a 88 por ciento de error

En enero de 2024, cuatro investigadores de Stanford publicaron el estudio "Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models", que después recogió el Journal of Legal Analysis. Probaron tres modelos punteros (GPT-4, Llama 2, PaLM 2) con preguntas legales reales sobre derecho federal y estatal de Estados Unidos. Las cifras son las que son:

• GPT-4 alucinaba al menos un dato relevante en el 58 por ciento de las respuestas legales analizadas.
• Llama 2 llegaba al 88 por ciento.
• PaLM 2 quedaba en torno al 72 por ciento.

Las alucinaciones no eran errores periféricos. Incluían sentencias inventadas, citas a artículos inexistentes, atribuciones erróneas de doctrina. El estudio fue replicado y matizado por otros equipos en los meses siguientes. La tendencia se mantiene: la frecuencia de error es estructural, no anecdótica, y aumenta cuanto más específica es la pregunta jurisdiccionalmente.

Trasladar esos porcentajes al derecho español es directo. La materia es más tecnificada, más circunstancial y más sujeta a tiempos de modificación normativa. Una IA generalista entrenada con datos del 2023 no sabe que en 2026 se aplica la Orden PJC/297/2026 con sus nuevas tablas. Si le preguntas, te responderá con cifras de 2022. Y lo hará con la misma confianza con la que te respondería bien.

Por qué inventan: cómo funciona una IA generalista

Una IA como ChatGPT, Gemini o Claude es un modelo de lenguaje entrenado para predecir la palabra siguiente más probable a partir de un texto previo. Su entrenamiento condensa miles de millones de páginas de internet en patrones estadísticos. Cuando le preguntas algo, no consulta una base de datos: genera la respuesta tomando como base esos patrones.

Cuando le pides "cita una sentencia del Tribunal Supremo sobre falso autónomo", el modelo no abre el CENDOJ. Calcula qué texto sería plausible como respuesta a esa pregunta. Si el patrón estadístico le sugiere que existe una sentencia con tales características, la genera con nombre y fecha. La invención no es un fallo: es exactamente el funcionamiento normal del sistema.

El problema es que la coherencia narrativa de la respuesta no se distingue, mirando solo el texto, de la veracidad. Una sentencia inventada del Tribunal Supremo puede ser indistinguible, en redacción, de una real. Y un modelo no puede decir "no lo sé" si su mecanismo le lleva siempre a producir la palabra siguiente más probable.

La alternativa: arquitectura RAG con fuentes oficiales

Hay otra forma de construir IA jurídica. Se llama RAG (Retrieval-Augmented Generation) y cambia el orden de las operaciones.

En un sistema RAG, ante cada consulta el sistema:

1. Busca en una biblioteca de documentos oficiales los pasajes más relevantes para la pregunta.
2. Los pasa como contexto al modelo de lenguaje, junto con la consulta.
3. El modelo genera la respuesta anclada a esos pasajes recuperados, con la cita correspondiente.

La diferencia operativa es simple: lo que no está en una fuente recuperada, no se afirma. Si la biblioteca no tiene una sentencia que responda a la pregunta, la respuesta lo dice. Si la tiene, se cita y se enlaza.

Esto es lo que hace Legatiq: lee solo seis tipos de fuente oficial (BOE, boletines autonómicos, ordenanzas municipales, jurisprudencia consolidada, criterios de entidades públicas, convenios colectivos), y cada respuesta se construye sobre los pasajes recuperados con su enlace al texto original. Pinchas el enlace y llegas al BOE, al CENDOJ o a la sede de la AEAT, sin intermediarios.

Una IA RAG sigue siendo una IA. Puede equivocarse al elegir el pasaje relevante, al sintetizar, al traducir el lenguaje técnico. Pero es mucho más difícil que se invente una sentencia, porque construye la respuesta desde las fuentes que recupera, no solo desde patrones estadísticos, y te da el enlace para comprobarla. La diferencia es enorme en términos de riesgo profesional.

La responsabilidad del profesional

El Código Deontológico de la Abogacía Española es claro en el deber de diligencia: obliga a asesorar y defender al cliente «con el máximo celo y diligencia asumiéndose personalmente la responsabilidad del trabajo encargado» (art. 12.A.8), y recuerda que usar las tecnologías de la información «no exime de cumplir las normas deontológicas» (art. 21.1). El abogado responde de lo que firma, incluida la veracidad de lo que sostiene ante un tribunal o un cliente.

Esa responsabilidad no se transfiere a la herramienta utilizada. Da igual que la herramienta sea un becario, un buscador o un modelo de lenguaje. Si una alegación es falsa porque la IA se la inventó y el abogado no la verificó, la responsabilidad es del abogado. La doctrina del Mata vs Avianca, aunque venga de un tribunal estadounidense, refleja un principio universal de responsabilidad profesional aplicable también en España.

Lo mismo aplica a gestores, asesores fiscales y cualquier profesional que firme un dictamen o un escrito basándose en información obtenida de una IA. La firma certifica el contenido. El contenido tiene que estar comprobado.

En España, los colegios de abogados han empezado a publicar guías sobre el uso responsable de IA en el ejercicio de la profesión. La línea común: la IA puede acelerar borradores, pero la verificación de cada afirmación contra la fuente original es responsabilidad indelegable del profesional.

El AI Act europeo y lo que viene

El Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, conocido como AI Act, se aplica con carácter general desde el 2 de agosto de 2026. Para el caso legal hay tres previsiones relevantes:

• Sistemas de alto riesgo: en la justicia, el anexo III califica así la IA destinada a una autoridad judicial, o a usarse de forma similar en una resolución alternativa de litigios. Esos sistemas tienen obligaciones de evaluación de conformidad y supervisión humana, que el Ómnibus digital (Reglamento UE 2026/1744) retrasó al 2 de diciembre de 2027. La herramienta que un abogado usa para preparar su trabajo no está en esa lista.
• Quien habla con una IA debe saberlo: el artículo 50.1 obliga a los proveedores de sistemas que interactúan con personas a que estas sepan que hablan con una IA.
• Quien la usa en su trabajo es «responsable del despliegue» y debe adoptar medidas para apoyar la alfabetización en IA de su personal (art. 4).

El AI Act no obliga a un despacho a verificar cada afirmación de una IA: eso lo exige ya su deber de diligencia. Lo relevante para esta discusión es otra cosa: el regulador europeo asume que el riesgo de error es real. Lo explicamos en qué obliga de verdad el AI Act a un despacho.

Cómo distinguir una IA legal seria de una IA generalista con barniz

Si vas a confiar trabajo legal a una herramienta de IA, hay tres preguntas que conviene hacer antes:

¿De dónde saca cada afirmación? Si la respuesta es "lo aprendió en su entrenamiento", es una IA generalista. Si la respuesta es "lo recuperó de un BOE concreto que puedes pinchar y leer", es una IA con arquitectura RAG sobre fuentes oficiales. La diferencia operativa para tu trabajo es enorme.

¿Cita siempre la fuente? Una IA seria muestra el enlace exacto a la norma o sentencia que ha usado. Una IA generalista te puede dar una redacción brillante sin enlazar a nada, o enlazar a páginas que no existen. La presencia de citas verificables es el primer filtro.

¿Qué pasa cuando no encuentra respuesta? Una IA RAG bien construida lo dice. Una IA generalista nunca dice "no sé": siempre te devuelve algo, sea correcto o no. La capacidad de admitir el desconocimiento es paradójicamente una señal de fiabilidad.

Lo que hacemos en Legatiq

Legatiq busca primero en fuentes oficiales españolas. Sus respuestas se construyen sobre los pasajes recuperados, con su cita verificable. Cuando la pregunta no encuentra base normativa adecuada, está hecho para decirlo. La verificación humana adicional la hacen abogados colegiados antes de publicar contenido en este sitio.

No es la única forma de construir IA jurídica fiable, pero es la que hemos elegido porque elimina de raíz la categoría de error más cara: la afirmación inventada con apariencia de hecho.

Si quieres profundizar en la arquitectura técnica concreta, lo explicamos en las seis fuentes oficiales que lee Legatiq.

Si quieres ver el directorio completo de fuentes con enlaces a cada una, está en fuentes oficiales.

Y si quieres probarlo con tu propia consulta, Legatiq es gratis durante el plan básico.