Regularidad procedimental, antidiscriminación e iniciativas no gubernamentales
| Autor | Antoni Roig |
| Cargo del Autor | Profesor Titular de Derecho Constitucional, Universidad Autónoma de Barcelona, Consultor de Derecho Constitucional en la 'Universitat Oberta' de Cataluña (UOC) |
| Páginas | 155-193 |
155
LAS GARANTÍAS FRENTE A LAS DECISIONES AUTOMATIZADAS
CAPÍTULO 5
Regularidad procedimental,
antidiscriminación e iniciativas
no gubernamentales
5.1.
Big Data Procedural Due Process
americano
El uso de decisiones automatizadas por parte de agencias públicas americanas
empieza a suscitar dudas sobre si se respetan los derechos y los principios cons-
titucionales y administrativos sobre el funcionamiento de los poderes públicos en
los Estados Unidos. Así, la doctrina de no-delegación de funciones, el procedural
due process, la no discriminación, la justificación de las decisiones y la transpa-
rencia en la actuación administrativa pueden verse afectados por lo que algún
autor ha llamado la regulación mediante robots382. El simple hecho de utilizar
382 Cary Coglianese y David Lehr (2017) «Regulating by Robot: Administrative Decision Making in
the Machine-Learning Era», The Georgetown Law Journal, vol. 105, 1147-1223.
Sumario:
5.1. Big Data Procedural Due Process americano. 5.2. Regularidad
procedimental. 5.3. La prohibición de discriminación mediante al-
goritmo. 5.3.1. La respuesta americana. 5.3.2. La deseable fusión
entre el RGPD y la regulación antidiscriminatoria en Europa. 5.3.2.1.
La regulación antidiscriminatoria, por sí sola, es insuficiente. 5.3.2.2.
El posible impacto del RGPD sobre la regulación antidiscriminatoria.
5.4. Fair Machine Learning o Algorithmic Fairness. 5.4.1. Sesgos
discriminatorios. 5.4.2. Soluciones a los sesgos discriminatorios
–Debiasing–. 5.4.2.1. Introducción de aleatoriedad. 5.4.2.2. Omi-
sión de atributos sensibles. 5.4.2.3. Fair machine learning. 5.5. Ini-
ciativas no gubernamentales. 5.5.1. Estándares. 5.5.2. Códigos de
conducta y principios éticos. 5.5.3. Congresos y comunidades de IA.
5.5.4. Herramientas para poderes públicos y ciudadanos.
156
Antoni Roig
LAS GARANTÍAS FRENTE A LAS DECISIONES AUTOMATIZADAS
algoritmos de decisión no se considera, per se, inconstitucional, aunque son
necesarias algunas garantías de buen gobierno en el uso de tales herramientas383.
Pues bien, hasta el momento, en los Estados Unidos, se ha intentado
dar un marco de respuesta a la gobernabilidad de los algoritmos sin acudir al
derecho a la explicación. En primer lugar, se ha querido utilizar la Freedom of
Information Act (FOIA) para lograr una transparencia frente a la Administración
pública384. Con ello, se busca conseguir una responsabilidad pública por los al-
goritmos usados. Sin embargo, las posibilidades de que esta vía pueda lograr
mínimamente una responsabilidad de las Administraciones públicas son escasas.
Es necesario un planteamiento más amplio, como por ejemplo el modelo del
USACM385: concienciación –awareness–, derecho de acceso y recurso, respon-
sabilidad, derecho de explicación tanto sobre los procedimientos como sobre las
decisiones concretas tomadas, origen de los datos, auditorías y validación y test.
Mucho más productivos parecen los esfuerzos centrados en el derecho
clásico al proceso debido. La idea es adaptarlo progresivamente al ámbito de las
decisiones automatizadas, con lo cual se ha usado la expresión «big data due
process». Se busca así que estos derechos clásicos aporten justicia («Fairness»)
y transparencia frente a decisiones automatizadas de la Administración pública.
De momento, sin embargo, la jurisprudencia es bastante más moderada. En
el caso Loomis, el Tribunal Supremo de Wisconsin resuelve sobre el uso de sistemas
automáticos de evaluación del riesgo de reincidencia de una persona con el perfil del
acusado en un proceso penal386. En esta decisión se afirma que, per se, el uso de un
sistema de asesoramiento algorítmico de riesgos por parte de un órgano jurisdiccional
cuando adopta una resolución no vulnera las garantías del acusado a un proceso de-
bido. Y ello a pesar de que la metodología usada por el sistema no haya sido difundida
debido al secreto comercial, ni sea, por consiguiente, conocida por parte del tribunal,
ni por parte del acusado. Eso sí, el Alto Tribunal realiza alguna advertencia genérica
sobre los riesgos del uso de estos sistemas: primero, la falta de transparencia sobre
383 Se mencionan, entre otros, los problemas debidos al porcentaje de posibles errores, la falta de
empatía, la pérdida de puestos de trabajo o la pérdida de privacidad (ibídem, 1217-1220).
384 Katherine Fink (2018) «Opening the government’s black boxes: freedom of information and
algorithmic accountability». Information, Communication & Society. Vol. 21. Núm. 10. 1453-
1471.
385 Association for Computing Machinery US Public Policy Council (USACM) (12-01-2017) State-
ment on Algorithmic Transparency and Accountability.
386 State v. Loomis, 881 N.W.2d 749 (Wis. 2016).
157
LAS GARANTÍAS FRENTE A LAS DECISIONES AUTOMATIZADAS
CAPÍTULO 5 Regularidad procedimental, antidiscriminación e iniciativas no gubernamentales
la metodología se debe a la naturaleza propietaria del algoritmo usado, COMPAS,
protegido por el secreto comercial; segundo, el algoritmo no puede identificar indivi-
duos concretos de alto riesgo pues se basa en datos de grupos; no se ha realizado
una comprobación local de los datos usados que parta de la población general de los
Estados Unidos; existen estudios que han cuestionado este algoritmo por sesgos dis-
criminatorios contra las minorías; finalmente, este algoritmo ha sido desarrollado ex-
presamente para asesorar a la Administración pública para decidir sobre el riesgo de
reincidencia. Esta decisión deja en manos del juez la decisión de confiar o no en estas
herramientas, sin indicar la información mínima que éste debería tener para tomar
la decisión: por ejemplo, excluir su uso cuando falte la explicación de la metodología
o mientras no haya estudios que lo avalen podría haber sido una guía más efectiva.
Por otro lado, en el caso Houston Federation of Teachers, se había usado
un algoritmo llamado «Educational Value-Added Assessment System» (EVAAS)
con el fin de determinar el rendimiento de los profesionales y que podía incluso
llevar al despido387. Los docentes demandantes alegaban que se había vulnerado
su derecho procedimental al proceso debido al decidir en base a un algoritmo
«secreto», sin poder saber cómo se había llegado al resultado. El Tribunal no per-
mitió el acceso al código, alegando secreto comercial, pero anuló la decisión por
vulneración del derecho al proceso debido.
Estos precedentes parecen indicar que el tradicional derecho al proceso
debido podría ser útil para obtener mejores algoritmos, aunque, para ello, debería
adaptarse, según Citron, como sigue388:
• Sería menester formar sobre los sesgos y las falacias de los sistemas au-
tomatizados
• Deberían contratarse expertos para que explicasen la confianza que me-
recen los resultados obtenidos a partir de los sistemas automatizados
• Deberían comprobarse con regularidad los sistemas para corregir sesgos
y errores
• Los sistemas deberían procurar elementos para su auditoría e informar a
los interesados sobre su uso y sobre la posibilidad de un recurso judicial
frente al mismo.
387 Houston Federation of Teachers, Local 2415 v. Houston Independent School District, F.Supp.3d,
No. H–14–1189, 2017 WL 1831106 (S.D. Texas, 4 de mayo de 2017).
388 Danielle Keats Citron (2008), «Technological Due Process», WASH. U. L. REV., Vol. 85, Issue 6,
1249-1313.
Para continuar leyendo
Solicita tu prueba