Suerte, perseverancia y abogados entusiastas

El pasado 1 de agosto, con la entrada en vigor del Reglamento de inteligencia artificial (AIA), se puso en marcha la cuenta regresiva para ajustar los sistemas de IA a la nueva normativa antes de que ésta sea aplicable. Realizar este ejercicio de adecuación en el campo de la salud exige, entre otras cosas, que se consideren ciertos requisitos en materia de diseño, protección de derechos, transparencia y, en general, un marco de responsabilidad ética vinculado al riesgo.

Es normal que en estos momentos se esté generando un aluvión de mensajes teóricos y conceptuales sobre la regulación y gobernanza en materia de IA. Por ello, seguramente sea también de utilidad tener presentes los riesgos y errores que la aplicación de la IA ya se está ocasionando en otros lugares.

Buen ejemplo de ello es un pronunciamiento judicial reciente de un Tribunal de Distrito de Tennessee, que ilustra que los algoritmos son una herramienta valiosa, pero no infalible.

El Estado de Tennessee decidió implementar un sistema de determinación de elegibilidad electrónica en Tenncare, el programa de ayudas estatales en materia de sanidad. En lo que nos interesa, sus algoritmos determinaban si un ciudadano era o no elegible para beneficiarse de la cobertura sanitaria. Varios errores tanto en la calidad de los datos, como en el diseño del algoritmo o la falta de adecuada supervisión humana llevaron a que en muchas ocasiones se denegase asistencia sanitaria a personas que objetivamente cumplían con los requisitos para acceder a ella.

Entre los errores del algoritmo destacaríamos que el sistema de IA infravaloraba algunas categorías poblacionales, y como resultado, no valoraba si un ciudadano que ya no cumplía los requisitos de un determinado nivel de cobertura podía ser reubicado en otro.

Lo que podría ser un error puntual, se convertía en un error sistemático a medida que se repetían las mismas operaciones y se alcanzaban las mismas conclusiones erróneas una y otra vez, sin que se supervisase adecuadamente su funcionamiento.

Errores de diseño, poca calidad de los datos y exceso de confianza son algunos de los puntos por los que el juez concluye que los ciudadanos no deberían depender de la suerte, la perseverancia o la abogacía entusiasta para recibir los beneficios que la ley les proporciona.

Una herramienta de IA similar a la comentada sería considerada en la Unión Europea como un sistema de alto riesgo, y se le exigiría para que fuera operativa que implementara una serie de requisitos en materia de transparencia, gestión de la calidad, identificación de sesgos y muy singularmente la necesidad de evaluar su conformidad.

Por ello, cuando se trata de implementar herramientas de IA en salud, tal vez podamos renunciar a la suerte, pero sin duda debemos tener perseverancia y, a poder ser, un abogado entusiasta cerca.