Cómo auditar conjuntos de datos para el cumplimiento de la Ley de IA de la UE de alto riesgo

La Oficina Europea de Inteligencia Artificial ha publicado recientemente su primer acto delegado en virtud de la Ley de IA de la UE, proporcionando las especificaciones técnicas tan esperadas para la calidad de los datos, la gobernanza y la documentación. Para los propietarios y compradores de datos, esta medida traslada el cumplimiento de una abstracción legal a un requisito operativo concreto. Si su conjunto de datos está destinado a ser utilizado en sistemas de IA de 'alto riesgo', como los utilizados en la contratación, la calificación crediticia o la infraestructura crítica, el cumplimiento de estas normas ya no es opcional; es el requisito previo para la entrada en el mercado.

Identificación de los requisitos de datos de 'alto riesgo'

Según la Ley de IA de la UE, la clasificación de 'alto riesgo' se determina por la aplicación, no por los datos en sí. Sin embargo, la carga de la prueba recae en gran medida en los datos de entrenamiento. De acuerdo con el Artículo 10 de la Ley de IA de la UE, los conjuntos de datos utilizados para el entrenamiento, la validación y las pruebas de IA de alto riesgo deben estar sujetos a estrictas 'prácticas de gobernanza y gestión de datos'. Esto incluye todo, desde las opciones de diseño iniciales hasta el examen final de sesgos.

Para un propietario de datos, esto significa que el valor de su activo está ahora intrínsecamente ligado a su registro de auditoría. Para un comprador, adquirir datos no conformes para una aplicación de alto riesgo representa una responsabilidad catastrófica. El incumplimiento puede dar lugar a multas administrativas de hasta 35.000.000 € o el 7% de la facturación anual global total (https://artificialintelligenceact.eu/fines/), la que sea mayor. En consecuencia, la capacidad de adquirir datos de entrenamiento raros y conformes según la Ley de IA de la UE se ha convertido en una prioridad estratégica principal para los laboratorios de IA.

La lista de verificación de cumplimiento del Artículo 10

Para preparar un conjunto de datos para casos de uso de alto riesgo, las organizaciones deben implementar un marco de gobernanza de múltiples capas. Los siguientes criterios son ahora obligatorios para cualquier conjunto de datos que ingrese a la cadena de suministro de alto riesgo:

• Opciones de diseño y recopilación de datos: Debe documentar la justificación detrás de la selección de datos y los métodos específicos utilizados para la recopilación. Esto incluye verificar la base legal para el procesamiento, especialmente en virtud del GDPR.
• Operaciones de procesamiento de datos: Cada paso (limpieza, transformación y etiquetado) debe documentarse. En escenarios de alto riesgo, la 'procedencia' de una etiqueta (quién la asignó y bajo qué directrices) es tan importante como la etiqueta en sí.
• Representatividad y análisis de brechas: La Ley de IA exige que los conjuntos de datos sean 'relevantes, representativos y, en la medida de lo posible, libres de errores'. Esto requiere un análisis formal de brechas para identificar datos demográficos faltantes o casos extremos que podrían llevar a fallos del sistema.
• Detección y mitigación de sesgos: Este es el requisito técnicamente más exigente. Los propietarios de datos deben realizar pruebas estadísticas para detectar sesgos que podrían conducir a discriminación prohibida. Si se encuentra un sesgo, el conjunto de datos debe ser 'reequilibrado' o el sesgo debe mitigarse por medios técnicos antes de la venta.

El costo del cumplimiento frente a la prima de mercado

Preparar un conjunto de datos para el cumplimiento de alto riesgo requiere muchos recursos. La evaluación de impacto inicial de la Comisión Europea estimó que los costos de cumplimiento para las PYMES podrían oscilar entre 6.000 y 7.000 € (cifra revelada: https://digital-strategy.ec.europa.eu/en/library/impact-assessment-report-and-executive-summary-proposal-laying-down-harmonised-rules-artificial) específicamente para los requisitos de gobernanza de datos de sistemas de alto riesgo. Sin embargo, los analistas de la industria sugieren ahora que para conjuntos de datos multimodales complejos, el costo de una auditoría completa del Artículo 10 puede superar los 50.000 € por activo.

Si bien estos costos son significativos, crean una 'barrera de cumplimiento'. Los datos que están pre-auditados y 'listos para su implementación de alto riesgo' obtienen una prima significativa en el mercado secundario. Estamos viendo que los conjuntos de datos 'listos para el Artículo 10' para servicios de atención médica y financieros se negocian a 2x o 3x el precio de alternativas estándar no auditadas en nuestro catálogo de conjuntos de datos curados.

Documentación: El 'Pasaporte de Datos'

El requisito final es la creación de una documentación técnica completa. Este 'Pasaporte de Datos' debe permitir a un auditor externo comprender exactamente cómo se manejaron los datos. Debe incluir el origen de los datos, sus características y las medidas tomadas para garantizar que cumple con los estándares de calidad de la Oficina Europea de Inteligencia Artificial. Sin esta documentación, los datos son efectivamente 'tóxicos' para cualquier desarrollador de IA de alto riesgo, ya que no pueden cumplir sus propias obligaciones de transparencia en virtud de la Ley.

Lo que esto significa para usted

Para los Propietarios de Datos, el mensaje es claro: la era de vender datos 'en bruto' en industrias sensibles ha terminado. Para maximizar el valor de sus activos, debe invertir en la capa de gobernanza. Un conjunto de datos auditado ya no es solo una colección de puntos; es un activo financiero certificado.

Para los Compradores de Datos, el enfoque debe pasar del volumen a la adquisición 'primero la gobernanza'. Antes de firmar un acuerdo de licencia, exija el informe de auditoría del Artículo 10. Si un proveedor no puede proporcionar un linaje claro y un informe de mitigación de sesgos, los datos son una responsabilidad que podría llevar a la desmantelación forzada de su modelo de IA por parte de los reguladores europeos.