Desigualdades algorítmicas: conductas de alto riesgo para los derechos humanos
| Autor | María José Añón Roig |
| Cargo | Universitat de València |
| Páginas | 17-49 |
Desigualdades algorítmicas: conductas de alto riesgo para los derechos humanos 17
ISSN: 1133-0937 DERECHOS Y LIBERTADES
DOI: https://doi.org/10.20318/dyl.2022.6872 Número 47, Época II, junio 2022, pp. 17-49
DESIGUALDADES ALGORÍTMICAS:
CONDUCTAS DE ALTO RIESGO PARA LOS DERECHOS HUMANOS*
ALGORITHMIC INEQUALITIES:
HIGH-RISK PRACTICES TO HUMAN RIGHTS
MARÍA JOSÉ AÑÓN ROIG
Universitat de València
https://orcid.org/0000-0001-6742-4199
Fecha de recepción: 23-1-22
Fecha de aceptacion: 15-3-22
Resumen: Este artículo propone un análisis sobre las desigualdades originadas o refor-
zadas por el uso de los modelos y programas de aprendizaje automático que
encuentran una de sus principales justificaciones en el principio de precisión
predictiva, así como sobre algunas respuestas que cabe esperar del sistema jurí-
dico para abordarlas. Este tema ha sido tratado fundamentalmente bien a través
de la tutela del derecho a la privacidad y la protección de datos, bien mediante la
elaboración de códigos éticos. Aquí se adoptarán dos perspectivas distintas a las
anteriores. En primer lugar, el enfoque del riesgo, marco en el que se ha empla-
zado recientemente la regulación europea de la inteligencia artificial y desde el
que se examinarán las obligaciones vinculadas a las prácticas consideradas de
alto riesgo. En segundo lugar, la perspectiva del Derecho antidiscriminatorio;
en este sentido, se analizarán las virtualidades y los límites del este sector de
los ordenamientos jurídicos. La finalidad de este artículo es mostrar que si el
Derecho antidiscriminatorio ha de responder a las prácticas más controvertidas
de los modelos algorítmicos, ha de superar la visión binaria de la teoría anti-
discriminatoria y ser interpretada como una teoría jurídica con capacidad para
transformar la realidad social.
Abstract: This article proposes an analysis of the inequalities that arise from or are
reinforced using artificial intelligence models that find one of their main
* Este trabajo se ha realizado en el marco del proyecto GVPROMETEO2018-156, del
programa de investigación Prometeo de la Generalitat Valenciana.
18 María José Añón Roig
DERECHOS Y LIBERTADES ISSN: 1133-0937
Número 47, Época II, junio 2022, pp. 17-49 DOI: https://doi.org/10.20318/dyl.2022.6872
justifications in the principle of predictive accuracy, and some of the replies
that can be expected from the legal system to deal with them. The approach to
this issue has mainly been through the right to privacy and data protection, on
the one hand, or the development of ethical codes, on the other. Here I adopt
two different perspectives. First, the risk approach offers a framework in which
the European regulation of artificial intelligence has recently been situated
from a regulatory point of view. It examines the obligations linked to practices
considered high-risk. Second, the perspective of anti-discrimination law; the
potential and limits of this area of Law. The aim of this article is to show that
the capacity of anti-discrimination law to respond to the most controversial
practices of algorithmic models, it must overcome the binary vision of anti-
discrimination theory and be interpreted as a legal theory oriented to transform
social reality.
Palabras clave: inteligencia artificial, derechos humanos, riesgo, discriminación
estructural, justicia
Keywords: artificial intelligence, human rights, risk, structural discrimination,
justice
1. INTRODUCCIÓN. INTELIGENCIA ARTIFICIAL E INSUFICIENTE
VINCULACIÓN A LOS DERECHOS HUMANOS
La ubicuidad de la inteligencia artificial 1 es un hecho incuestionable que
actualmente se proyecta sobre todas las áreas de conocimiento y sobre la
conducta humana. Sus implicaciones en el ámbito de los derechos humanos
son especialmente plásticas, dado que puede impactar de diversas formas en
el ejercicio de un amplio conjunto de derechos como las libertades de expre-
sión y reunión, el control de los datos personales, la satisfacción de los dere-
chos sociales y de otros bienes básicos, el acceso a la justicia, la garantía de la
1 La Propuesta de Reglamento de la UE sobre inteligencia artificial, de 21 de abril 2021
define la inteligencia artificial en estos términos: “El software que se desarrolla empleando una
o varias de las técnicas y estrategias que figuran en el Anexo I y que puede, para un conjunto
determinado de objetivos definidos por seres humanos, generar información de salida como
contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los
que interactúa” (artículo 3.1). “Estrategias de aprendizaje automático, incluidos el aprendi-
zaje supervisado, el no supervisado y el realizado por refuerzo, que emplean una amplia va-
riedad de métodos, entre ellos el aprendizaje profundo. Estrategias basadas en la lógica y
el conocimiento, especialmente la representación del conocimiento, la programación (lógica)
inductiva, las bases de conocimiento, los motores de inferencia y deducción, los sistemas ex-
pertos y de razonamiento (simbólico). Estrategias estadísticas, estimación bayesiana, métodos
de búsqueda y optimización” (Anexo I).
Desigualdades algorítmicas: conductas de alto riesgo para los derechos humanos 19
ISSN: 1133-0937 DERECHOS Y LIBERTADES
DOI: https://doi.org/10.20318/dyl.2022.6872 Número 47, Época II, junio 2022, pp. 17-49
seguridad o el derecho al trabajo, así como en determinados actos jurídicos
propios de la esfera privada –piénsese, por ejemplo, en la concesión de un
crédito o en la suscripción de un contrato de seguro–. Lo cierto es que la apli-
cación de las tecnologías digitales a la esfera de los derechos humanos puede
utilizarse y, de hecho, se utiliza para “automatizar, predecir, identificar, vi-
gilar, detectar, singularizar y castigar” 2. No me refiero exactamente a estos
usos de la inteligencia artificial cuando operan como instrumento o apoyo
de una decisión, sino más bien cuando predeterminan la decisión final de
los poderes públicos, delimitando el margen de discrecionalidad a partir de
los postulados contenidos en la programación 3. En este sentido, cabe hacer
hincapié en el uso de la automatización con fines predictivos del compor-
tamiento humano y su capacidad para originar prácticas injustas o contro-
vertidas, como son las que crean o perpetúan situaciones de discriminación
de personas y colectivos en situación de desigualdad –particularmente, de
desigualdad estructural–, o bien las que justifican decisiones basadas en cri-
terios irrelevantes, o las que comportan predicciones incorrectas. La contra-
cara de las potencialidades de estos sistemas automatizados para articular
nuevas formas de acceso, ejercicio y defensa de los derechos es la posibilidad
–bien real y también novedosa– de su vulneración 4.
La aparente neutralidad del proceso que ha dado en llamarse transfor-
mación digital no debería soslayar la profundidad de los cambios cualitati-
vos y estructurales que puede generar en los sistemas jurídicos. Como apunta
Boix 5, constituye una exigencia mínima prestar atención a las modificaciones
cualitativas que debe incorporar el Derecho “para preservar la equidad y la
justicia social, y actuar como un muro de contención de las desigualdades
2 P. ALSTON, “The Digital Welfare State. Report of the Special Rapporteur on extre-
me poverty and human rights”, A/74/493, 11 de octubre de 2019, pár. 3.
3 A. BOIX PALOP, “Los algoritmos son reglamentos: la necesidad de extender las
garantías propias de las normas reglamentarias a los programas empleados por la administra-
ción para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, vol. 1, 2020, p.
237. DOI: 10.37417/RPD/
4 Los avances que aporta la inteligencia artificial al conocimiento, la investigación y
el bienestar humano son indudables, así como los previsibles logros en la defensa y ejercicio
de los derechos. Sobre esta última faceta, véase S. BARONA Algoritmización del Derecho y de la
Justicia. De la Inteligencia Artificial a la Smart Justice, Valencia, Tirant Lo Blanch, 2021.
5 A. BOIX PALOP, “Los algoritmos son reglamentos: la necesidad de extender las ga-
rantías propias de las normas reglamentarias a los programas empleados por la administra-
ción para la adopción de decisiones”, cit., p. 233.
Para continuar leyendo
Solicita tu prueba