Tecnología garante y gobernanza algorítmica
| Autor | Antoni Roig |
| Cargo del Autor | Profesor Titular de Derecho Constitucional, Universidad Autónoma de Barcelona, Consultor de Derecho Constitucional en la 'Universitat Oberta' de Cataluña (UOC) |
| Páginas | 195-243 |
195
LAS GARANTÍAS FRENTE A LAS DECISIONES AUTOMATIZADAS
CAPÍTULO 6
Tecnología garante y
gobernanza algorítmica
6.1. Protección de datos por el diseño
y por defecto en el RGPD
Uno de los aspectos más destacados del RGPD es la previsión expresa de la
protección de datos desde el diseño y por defecto (art. 25.1 y 25.2 RGPD)532. El
art. 25 RGPD impone el deber de adoptar medidas técnicas y organizativas a los
532 Artículo 25 RGPD Protección de datos desde el diseño y por defecto
1. Teniendo en cuenta el estado de la técnica, el coste de la aplicación y la naturaleza,
ámbito, contexto y fines del tratamiento, así como los riesgos de diversa probabilidad
y gravedad que entraña el tratamiento para los derechos y libertades de las personas
físicas, el responsable del tratamiento aplicará, tanto en el momento de determinar
los medios de tratamiento como en el momento del propio tratamiento, medidas
técnicas y organizativas apropiadas, como la seudonimización, concebidas para apli-
car de forma efectiva los principios de protección de datos, como la minimización
Sumario:
6.1. Protección de datos por el diseño y por defecto en el RGPD. 6.2.
Tecnologías garantes de la transparencia. 6.2.1. Transparencia para
obtener algoritmos responsables. 6.2.2. El proyecto Open Algorithms
(OPAL). 6.2.3. Ethical Black box en robótica. 6.2.4. Transparencia
y Smart Cities. 6.3. Inteligencia artificial explicable. 6.3.1. Visualiza-
ción y diagnóstico de representaciones. 6.3.2. Patrones y modelos
explicativos. 6.3.3. Usar tecnología semántica para facilitar la HCI
(Human-computer interaction). 6.4. De la IA ética a la gobernanza
algorítmica –algorithmic governance–. 6.4.1. Responsabilidad algo-
rítmica, mejor que simple transparencia algorítmica. 6.4.2. Gober-
nanza algorítmica para una mejor responsabilidad algorítmica. 6.4.3.
Contenidos de la gobernanza algorítmica. 6.4.4. Plataformas AI-on-
demand y Digital Innovation Hubs. 6.5. ¿Es necesaria una institución
garante de la gobernanza algorítmica?
196
Antoni Roig
LAS GARANTÍAS FRENTE A LAS DECISIONES AUTOMATIZADAS
responsables con el fin de proteger los derechos de los usuarios. Por defecto,
además, deberán asegurarse los principios de protección de datos, sobre todo
los principios de minimización y de proporcionalidad. Con esta previsión se su-
pera claramente la perspectiva técnica de la DPD, centrada básicamente en la
seguridad de la información.
Dado que las decisiones automatizadas se toman en tiempo real, permitien-
do por ejemplo acceder a un servicio o denegando un acceso, es imprescindible
anticipar el respeto a la protección de datos antes de su puesta en funcionamiento.
El RGPD incluye garantías que no pretenden ya ofrecer al interesado un derecho
individual frente a las decisiones automatizadas, sino más bien favorecer el diseño
de sistemas automatizados que sean a su vez garantes de la privacidad. Para ello,
el principio de privacidad por el diseño trata de impulsar herramientas que no
sacrifiquen la privacidad, sino que la compaginen con su cometido principal. En
este sentido, el legislador abandona parcialmente su pretensión de monopolio de la
regulación previa e incide en los responsables y en los encargados para que éstos
desarrollen productos menos invasivos para la privacidad de los interesados.
Se han propuesto soluciones integradas de cumplimiento normativo que
contemplan la lealtad del tratamiento (art. 5 RGPD), así como el derecho a ob-
tener una información significativa (art. 13 RGPD), y ello además en los propios
entornos de IoT533. Esta solución mejora la recomendación del Grupo 29 de ges-
tionar los riesgos debidos al Internet de las cosas incorporando herramientas ga-
rantes de la privacidad (Privacy Enhancing Technologies, PET) en los productos
o servicios534. La solución, debe estar en los propios entornos de IoT, con herra-
mientas de responsabilidad proactiva y cumplimiento normativo.
de datos, e integrar las garantías necesarias en el tratamiento, a fin de cumplir los
requisitos del presente Reglamento y proteger los derechos de los interesados.
2. El responsable del tratamiento aplicará las medidas técnicas y organizativas apropia-
das con miras a garantizar que, por defecto, solo sean objeto de tratamiento los datos
personales que sean necesarios para cada uno de los fines específicos del tratamiento.
Esta obligación se aplicará a la cantidad de datos personales recogidos, a la extensión
de su tratamiento, a su plazo de conservación y a su accesibilidad. Tales medidas ga-
rantizarán en particular que, por defecto, los datos personales no sean accesibles, sin
la intervención de la persona, a un número indeterminado de personas físicas.
533 Andy Crabtree,·Tom Lodge, James Colley, Chris Greenhalgh,·Kevin Glover,·Hamed Haddadi,· You-
sef Amar,·Richard Mortier,·Qi Li,·John Moore,·Liang Wang,·Poonam Yadav,·Jianxin Zhao,· Anthony
Brown,·Lachlan Urquhart y·Derek McAuley (2018) «Building accountability into the Internet of
Things: the IoT Databox model». Journal of Reliable Intelligent Environments. Vol. 4, 39–55.
534 Grupo 29 (2014) Recomendación 8/2014 sobre desarrollos recientes en el Internet de las
cosas. WP233.
197
LAS GARANTÍAS FRENTE A LAS DECISIONES AUTOMATIZADAS
CAPÍTULO 6 Tecnología garante y gobernanza algorítmica
En lo concerniente a las decisiones automatizadas, cobra importancia el
diseño de la revisión a posteriori. La razón es que no será posible evitar la am-
bigüedad por mucho que el legislador se esfuerce en clarificar los conceptos.
Evidentemente, el legislador debe reducir primero en lo posible la ambigüedad
pues los sistemas automatizados pueden exacerbar los inconvenientes de tales
ambigüedades. En este sentido, el legislador debería ofrecer a los diseñadores
una guía con las propiedades esperadas por el sistema regulado y que serán
posteriormente revisadas535. Tampoco es descartable el uso de estándares para
concretar las indicaciones o para hacer más fácil la prueba.
Hecho esto, es imprescindible también que el diseño del sistema contem-
ple la posibilidad de revisión, ya sea por parte de un juez o de una autoridad de
protección de datos. Por ello, no sería suficiente con garantizar que el sistema
cumpla con la legalidad536. De manera coincidente, sería conveniente que el di-
seño de los algoritmos fuese flexible, en el sentido que permitiese su adaptación
a nuevos casos o cambios en las normas aplicables. Hay que tener en cuenta, en
este sentido, que la revisión se realizará de acuerdo con las normas aplicables
al momento de producirse los hechos, y éstas pueden haber variado desde el
diseño inicial del algoritmo. No es descartable, finalmente, que ciertos casos
especialmente complejos requieran el apoyo de múltiples expertos asesores que
puedan dar su opinión sobre la revisión en cuestión.
Las decisiones automatizadas pueden tener un efecto notable en la par-
ticipación de los ciudadanos o de las asociaciones o instituciones privadas en la
revisión537. Las soluciones técnicas pueden facilitar la revisión pública o por parte
de terceros del uso de un algoritmo en una toma de decisiones concreta, o de
si contiene ciertas propiedades. De hecho, podría promoverse esta participación
para ayudar en la tarea pública de revisión. Podría ser también interesante la
apertura cuando se pretenda generar mayor aleatoriedad.
Los ámbitos en los cuales podría aplicarse la protección de los datos per-
sonales por el diseño en relación con las decisiones automatizadas son variados.
De manera general, los algoritmos discriminatorios podrían infringir el principio
de tratamiento leal del art. 5 RGPD. Por tanto, todas las posibilidades ofrecidas
por el llamado fair machine learning o algorithm fairness deberían ser considera-
535 Joshua A. KROLL, Joanna HUEY y otros, «Accountable Algorithms», op.cit., 699-702.
536 Joshua A. KROLL, Joanna HUEY y otros, «Accountable Algorithms», op.cit., 696-699.
537 Ibídem, 702-704.
Para continuar leyendo
Solicita tu prueba