Análisis jurídico completo para empresas y administraciones públicas. La guía oficial de la AESIA más el criterio de iusia para el asesoramiento práctico.
El artículo 15 del AI Act obliga a los sistemas de alto riesgo a alcanzar niveles adecuados de precisión, solidez y ciberseguridad. La Guía 9 de la AESIA analiza específicamente el requisito de precisión, que es el primero de los tres. La precisión es la capacidad del sistema de producir los outputs correctos con la frecuencia suficiente para que sea fiable en el contexto de su aplicación específica.
La formulación del Reglamento — "niveles adecuados de precisión" — es intencionalmente abierta porque no existe un nivel universal de precisión aceptable. Un nivel de precisión del 95% puede ser excelente para un sistema de recomendación de contenido y completamente insuficiente para un sistema de diagnóstico médico donde los errores tienen consecuencias irreversibles. El requisito del art. 15 es que el nivel de precisión sea adecuado para el riesgo y las consecuencias del uso específico del sistema.
La guía destaca que el requisito de precisión tiene dos dimensiones que deben considerarse conjuntamente. La primera es la precisión técnica: la tasa de acierto del modelo en sus predicciones o clasificaciones, medida con las métricas estadísticas apropiadas para el tipo de sistema. La segunda es la capacidad del sistema de identificar su propia incertidumbre: la capacidad de señalar cuándo una predicción tiene baja confianza, lo que permite al supervisor humano aplicar un escrutinio adicional en esos casos.
La guía proporciona un catálogo de métricas de evaluación relevantes para distintos tipos de sistemas de alto riesgo. Para los sistemas de clasificación binaria — que clasifican cada caso en una de dos categorías (aprobado/rechazado, positivo/negativo, riesgo alto/bajo) — las métricas más relevantes son la exactitud (accuracy), la precisión (precision), la sensibilidad o recall, la especificidad y el área bajo la curva ROC (AUC-ROC).
La exactitud o accuracy — el porcentaje de casos clasificados correctamente — es la métrica más intuitiva pero también la más engañosa cuando las clases están desequilibradas. Un sistema que clasifica el 99% de los solicitantes como de bajo riesgo crediticio puede tener una exactitud del 99% aunque nunca identifique correctamente a los morosos, si solo el 1% de los solicitantes son efectivamente morosos. La guía insiste en que para sistemas de alto riesgo, la exactitud global debe complementarse siempre con métricas que evalúen el rendimiento en cada categoría de forma independiente.
La distinción entre falsos positivos y falsos negativos es fundamental para evaluar la precisión de los sistemas de alto riesgo porque los dos tipos de error tienen consecuencias asimétricas. En un sistema de detección de fraude en transacciones bancarias, un falso positivo (marcar como fraudulenta una transacción legítima) genera un inconveniente temporal para el cliente. Un falso negativo (no detectar una transacción realmente fraudulenta) genera una pérdida económica para el banco y para el cliente perjudicado. La guía orienta sobre cómo calibrar el umbral de clasificación del sistema para ajustar el equilibrio entre falsos positivos y falsos negativos según el contexto y el impacto relativo de cada tipo de error.
Una de las contribuciones más relevantes de la Guía 9 es su análisis de la precisión diferencial — la evaluación de si el sistema tiene el mismo nivel de precisión para distintos grupos de la población. Un sistema puede ser estadísticamente preciso en el agregado pero producir errores significativamente más frecuentes para ciertos grupos — por razón de género, edad, origen étnico u otras características protegidas — lo que constituye discriminación algorítmica.
El requisito de precisión del art. 15 debe leerse en conjunto con el requisito de representatividad de los datos del art. 10. Un sistema que ha sido entrenado con datos representativos de todos los grupos relevantes y que ha sido evaluado con métricas de equidad tiene más probabilidades de cumplir el requisito de precisión del art. 15 para todos los grupos. Un sistema que ha sido evaluado solo en el agregado puede tener una precisión alta globalmente pero discriminatoria para subgrupos específicos.
Las métricas de equidad más relevantes para sistemas de alto riesgo incluyen la paridad demográfica (igualdad de tasa de acierto entre grupos), la igualdad de oportunidades (igualdad de tasa de verdaderos positivos entre grupos), y la igualdad de error predictivo (igualdad de tasa de falsos positivos y negativos entre grupos). La guía no establece cuál de estas métricas debe usarse en cada caso — esa decisión depende del contexto de aplicación y de las consecuencias de cada tipo de error para cada grupo.
El proveedor debe documentar en las instrucciones de uso del art. 13 los niveles de precisión alcanzados durante las pruebas del sistema, con indicación de las condiciones bajo las que se obtuvieron. Esta información permite al desplegador calibrar correctamente la supervisión humana: si el sistema tiene una tasa de error del 5% en ciertas condiciones, el desplegador sabe que aproximadamente 1 de cada 20 outputs del sistema requiere revisión humana adicional.
La documentación de precisión debe incluir: las métricas usadas y los resultados obtenidos, desagregados por grupos relevantes; las condiciones de prueba (características de los datos de prueba, condiciones de operación); las limitaciones conocidas de la evaluación (tamaño de la muestra, representatividad del conjunto de prueba); y los umbrales de confianza del sistema y su relación con la precisión.
Esta documentación tiene también valor probatorio en caso de reclamaciones. Si una persona impugna una decisión del sistema argumentando que el sistema es impreciso, el proveedor debe poder demostrar que la precisión del sistema ha sido evaluada con rigor y que los resultados se comunicaron al desplegador. Sin esa documentación, la carga de la prueba se invierte.
El requisito de precisión no se limita a la evaluación previa a la comercialización. El art. 72 del AI Act obliga a los proveedores a vigilar la precisión del sistema en producción y a actuar cuando detecten degradaciones significativas. Esta vigilancia poscomercialización de la precisión es especialmente importante por el fenómeno del distributional shift: el cambio gradual en las características de los datos de entrada del sistema en producción respecto a los datos de entrenamiento, que puede degradar la precisión sin que haya ningún cambio en el sistema.
La guía recomienda establecer un proceso de monitorización continua de la precisión en producción con alertas automáticas cuando la precisión caiga por debajo de umbrales establecidos. Cuando se detecta una degradación significativa, el proceso de gestión de riesgos del art. 9 debe activarse para evaluar si la degradación constituye un nuevo riesgo que requiere medidas de mitigación, incluyendo en su caso la suspensión temporal del sistema mientras se identifican y corrigen las causas.
La guía dedica especial atención a la determinación de niveles de precisión aceptables en sectores con regulación específica que establece estándares de calidad propios. En el sector sanitario, los sistemas de diagnóstico por imagen tienen que cumplir no solo con el art. 15 del AI Act sino también con los requisitos de la normativa de productos sanitarios (Reglamento 2017/745 sobre productos sanitarios, MDR) cuando el sistema esté registrado como producto sanitario. El MDR establece requisitos de rendimiento clínico que son más específicos que los del AI Act y que prevalecen cuando ambos son aplicables.
En el sector financiero, los modelos de scoring crediticio están sujetos a las guías de la Autoridad Bancaria Europea (EBA) sobre machine learning en modelos de riesgo crediticio, que establecen criterios cuantitativos de rendimiento específicos para distintos tipos de modelos. La guía recomienda que las entidades financieras alineen su interpretación del art. 15 del AI Act con las guías de la EBA para evitar tener que cumplir con dos estándares potencialmente contradictorios.
Para los sistemas de IA usados en procesos de selección de personal, la guía introduce el concepto de validación laboral: la demostración de que el sistema predice con suficiente precisión el rendimiento laboral futuro del candidato. Esta validación no es solo un requisito del art. 15 del AI Act — es también un requisito del principio de no discriminación de la legislación laboral, que establece que los instrumentos de selección de personal deben estar validados como predictores del rendimiento para la posición específica.
El AI Act no establece un nivel mínimo de precisión numérico aplicable con carácter general. El requisito es que la precisión sea "adecuada" para el propósito del sistema y coherente con el "estado del arte". Esto implica que el nivel de precisión aceptable evoluciona con el tiempo a medida que la tecnología avanza: lo que era un nivel de precisión aceptable para un sistema de reconocimiento facial en 2020 puede no serlo en 2026 porque el estado del arte ha mejorado.
La referencia al estado del arte tiene implicaciones prácticas importantes para los proveedores: deben monitorizar activamente el progreso tecnológico en su área de aplicación y actualizar sus sistemas cuando el estado del arte avanza de forma que el rendimiento de su sistema queda significativamente por debajo de la media del mercado. Un sistema con una tasa de precisión que era competitiva en el momento de su lanzamiento puede no serlo tres años después si el sector ha avanzado significativamente.
Para los sistemas de diagnóstico médico que son también productos sanitarios bajo el MDR, el proceso de evaluación de conformidad del AI Act y el proceso de certificación del MDR deben coordinarse. Ambos procesos requieren evidencias de rendimiento clínico y técnico del sistema, con metodologías de evaluación que en muchos puntos se solapan.
La Comisión Europea ha publicado orientaciones sobre cómo coordinar ambos procesos para los sistemas de IA que son componentes de productos sanitarios, estableciendo que la documentación técnica del AI Act puede integrarse con la documentación técnica del MDR, y que las pruebas de rendimiento clínico realizadas para el MDR pueden usarse como evidencia para el requisito de precisión del art. 15 del AI Act siempre que cubran los aspectos específicos que el AI Act exige.
Para los proveedores que desarrollan sistemas de diagnóstico médico con IA, la coordinación entre el equipo de asuntos regulatorios que gestiona la certificación MDR y el equipo jurídico que gestiona el cumplimiento del AI Act es esencial. Ambos procesos tienen plazos críticos que deben coordinarse para evitar retrasos en la comercialización del sistema.
La guía dedica especial atención a la determinación de niveles de precisión aceptables en sectores con regulación específica que establece estándares de calidad propios. En el sector sanitario, los sistemas de diagnóstico por imagen tienen que cumplir no solo con el art. 15 del AI Act sino también con los requisitos de la normativa de productos sanitarios (Reglamento 2017/745 sobre productos sanitarios, MDR) cuando el sistema esté registrado como producto sanitario. El MDR establece requisitos de rendimiento clínico que son más específicos que los del AI Act y que prevalecen cuando ambos son aplicables.
En el sector financiero, los modelos de scoring crediticio están sujetos a las guías de la Autoridad Bancaria Europea (EBA) sobre machine learning en modelos de riesgo crediticio, que establecen criterios cuantitativos de rendimiento específicos para distintos tipos de modelos. La guía recomienda que las entidades financieras alineen su interpretación del art. 15 del AI Act con las guías de la EBA para evitar tener que cumplir con dos estándares potencialmente contradictorios.
Para los sistemas de IA usados en procesos de selección de personal, la guía introduce el concepto de validación laboral: la demostración de que el sistema predice con suficiente precisión el rendimiento laboral futuro del candidato. Esta validación no es solo un requisito del art. 15 del AI Act — es también un requisito del principio de no discriminación de la legislación laboral, que establece que los instrumentos de selección de personal deben estar validados como predictores del rendimiento para la posición específica.
El AI Act no establece un nivel mínimo de precisión numérico aplicable con carácter general. El requisito es que la precisión sea "adecuada" para el propósito del sistema y coherente con el "estado del arte". Esto implica que el nivel de precisión aceptable evoluciona con el tiempo a medida que la tecnología avanza: lo que era un nivel de precisión aceptable para un sistema de reconocimiento facial en 2020 puede no serlo en 2026 porque el estado del arte ha mejorado.
La referencia al estado del arte tiene implicaciones prácticas importantes para los proveedores: deben monitorizar activamente el progreso tecnológico en su área de aplicación y actualizar sus sistemas cuando el estado del arte avanza de forma que el rendimiento de su sistema queda significativamente por debajo de la media del mercado. Un sistema con una tasa de precisión que era competitiva en el momento de su lanzamiento puede no serlo tres años después si el sector ha avanzado significativamente.
Para los sistemas de diagnóstico médico que son también productos sanitarios bajo el MDR, el proceso de evaluación de conformidad del AI Act y el proceso de certificación del MDR deben coordinarse. Ambos procesos requieren evidencias de rendimiento clínico y técnico del sistema, con metodologías de evaluación que en muchos puntos se solapan.
La Comisión Europea ha publicado orientaciones sobre cómo coordinar ambos procesos para los sistemas de IA que son componentes de productos sanitarios, estableciendo que la documentación técnica del AI Act puede integrarse con la documentación técnica del MDR, y que las pruebas de rendimiento clínico realizadas para el MDR pueden usarse como evidencia para el requisito de precisión del art. 15 del AI Act siempre que cubran los aspectos específicos que el AI Act exige.
Para los proveedores que desarrollan sistemas de diagnóstico médico con IA, la coordinación entre el equipo de asuntos regulatorios que gestiona la certificación MDR y el equipo jurídico que gestiona el cumplimiento del AI Act es esencial. Ambos procesos tienen plazos críticos que deben coordinarse para evitar retrasos en la comercialización del sistema.
Una técnica fundamental para evaluar la precisión real de un sistema de IA es la validación cruzada — la división del conjunto de datos disponible en subconjuntos de entrenamiento, validación y prueba de forma que las métricas de precisión se estimen sobre datos que el modelo no ha visto durante el entrenamiento. La guía de la AESIA recomienda que el conjunto de prueba — el utilizado para la evaluación final del sistema antes de su comercialización — esté completamente separado del proceso de entrenamiento y validación, y que su composición sea representativa de los datos reales que el sistema encontrará en producción.
El sobreajuste (overfitting) es el riesgo técnico más frecuente en la evaluación de la precisión: el modelo obtiene métricas de precisión muy altas en los datos de entrenamiento y validación pero funciona significativamente peor en datos nuevos. Un sistema que ha sufrido overfitting puede superar la evaluación de conformidad con métricas de precisión aparentemente excelentes pero fallar en producción cuando se enfrenta a datos reales que difieren de los datos de prueba. La guía recomienda usar técnicas de regularización y validación robusta para detectar el overfitting antes de que el sistema sea comercializado.
La guía también aborda la importancia de mantener el conjunto de prueba "contaminado" — no reutilizarlo para ajustar el sistema si los primeros resultados no son satisfactorios, ya que hacerlo contaminaría la evaluación y produciría métricas optimistas que no reflejan el rendimiento real del sistema. Esta práctica, desafortunadamente común en el desarrollo de sistemas de IA, es exactamente el tipo de comportamiento que el requisito de precisión del art. 15 pretende prevenir.
Más recursos: calendario del AI Act tras el Ómnibus Digital · análisis del AI Act en 2026 · servicios para administraciones públicas (LexQuark).
Newsletter gratuita · Empresas y administraciones públicas · En español