Com obrir les caixes negres de les Administracions públiques? Transparència i rendició de comptes en l'ús dels algoritmes (CA-EN)
| Autor | Agustí Cerrillo i Martínez |
| Cargo | Doctor en dret per la Universitat de Barcelona |
| Páginas | 13-28 |
COM OBRIR LES CAIXES NEGRES DE LES ADMINISTRACIONS PÚBLIQUES?
TRANSPARÈNCIA I RENDICIÓ DE COMPTES EN L’ÚS DELS ALGORITMES*
Agustí Cerrillo i Martínez**
Resum
La governança intel·ligent és un nou model de gestió pública que s’està dibuixant a mesura que l’ús dels algoritmes
es va estenent entre les administracions públiques. Aquest nou model s’enfronta a diversos riscos, entre els quals
destaca l’opacitat. A l’article s’analitzen els factors que poden determinar que l’ús dels algoritmes generi opacitat a
les administracions públiques. A partir de la identicació d’aquests factors, s’exposen els mecanismes per canalitzar
la transparència dels algoritmes a través dels quals la ciutadania pot accedir i conèixer el contingut dels algoritmes i el
seu funcionament. També es presenten els mecanismes a través dels quals les administracions públiques poden rendir
comptes per les decisions que es prenen a través dels algoritmes. Finalment, es proposa l’oportunitat d’impulsar un
marc institucional que fomenti una bona governança intel·ligent.
Paraules clau: governança intel·ligent; intel·ligència articial; algoritme; transparència; rendició de comptes.
HOW CAN WE OPEN THE BLACK BOX OF PUBLIC ADMINISTRATION? TRANSPARENCY
AND ACCOUNTABILITY IN THE USE OF ALGORITHMS
Abstract
Smart governance is a new governance model that is emerging as a result of the increasingly widespread use of
algorithms in public administration. However, this new model is open to various risks, one of which is opacity. In
this article, we examine the factors that may play a determining role in algorithms generating opacity in public
administration. After identifying these factors, we describe the mechanisms for making algorithms more transparent,
based on giving citizens access to and information about the actual contents of algorithms and their functioning. We
also present the mechanisms that can be used to make public administrations accountable for any decisions taken using
algorithms. Lastly, we suggest that an opportunity exists to establish an institutional framework for promoting good,
smart governance.
Key words: smart governance; articial intelligence; algorithm; transparency; accountability.
* Aquest article ha estat elaborat en el marc del projecte “Retos jurídicos del uso de datos masivos para el fomento de la innovación
y la buena administración a través de la inteligencia articial”. Programa Estatal de I+D+i Orientada a los Retos de la Sociedad
(DER2017-85595-R).
** Agustí Cerrillo i Martínez, doctor en dret per la Universitat de Barcelona, catedràtic de dret administratiu i síndic de greuges de la
Universitat Oberta de Catalunya, avinguda del Tibidabo, 39, 08035 Barcelona. acerrillo@uoc.edu, @agusti_cerrillo.
Article rebut el 6.02.2019. Avaluació cega: 11.03.2019 i 11.03.2019. Data d’acceptació de la versió nal: 15.03.2019.
Citació recomanada: Cerrillo i Martínez, Agustí. (2019). Com obrir les caixes negres de les administracions públiques?
Transparència i rendició de comptes en l’ús dels algoritmes. Revista Catalana de Dret Públic, (58), 13-28. https://doi.org/10.2436/
rcdp.i58.2019.3277
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 14
Sumari
1 La construcció de la governança intel·ligent en temps de la intel·ligència articial
2 Una aproximació a la intel·ligència articial i els algoritmes
3 L’opacitat dels algoritmes
4 La transparència dels algoritmes
5 La rendició de comptes sobre l’ús dels algoritmes
6 El disseny d’un marc institucional pel foment de la transparència i la rendició de comptes en la governança
intel·ligent
7 Conclusions
8 Referències bibliogràques
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 15
1 La construcció de la governança intel·ligent en temps de la intel·ligència articial
La intel·ligència articial, fonament de la quarta revolució industrial,1 es va estenent i avui en dia ja és
considerada el cavall de tir de l’economia digital.2 A mesura que la capacitat de computació dels ordinadors i
el volum de dades disponibles es va incrementant exponencialment, la intel·ligència articial i els algoritmes
en què es basa regulen cada cop més les nostres vides.3
Les administracions públiques no són alienes a aquest procés i utilitzen cada dia més la intel·ligència articial
en el desenvolupament de les seves activitats i en la prestació dels serveis públics.4 Tot i que no ho estan fent
encara amb la mateixa intensitat que el sector privat, cada cop són més les administracions públiques que
utilitzen la intel·ligència articial per analitzar dades (per exemple, per predir el risc d’incendis en edicis
o identicar els locals que han de ser objecte d’inspecció), processar el llenguatge natural (per exemple, per
revisar les sol·licituds formulades per la ciutadania o detectar irregularitats i fraus en les licitacions públiques),
reconèixer imatges (per exemple, per comptar persones en espais públics o identicar possibles infractors),
prendre o facilitar la presa de decisions (per exemple, per adjudicar ajuts públics, per determinar els carrers
on enviar policies a patrullar, per identicar les escoles que poden tenir un major índex d’abandonament
escolar o sobre el tractament per a una determinada malaltia) o per personalitzar els serveis públics (per
exemple, per prestar serveis d’informació, assessorament i atenció ciutadana).5
De fet, l’extensió de l’ús de la intel·ligència articial entre les administracions públiques està començant
a dibuixar un nou model de gestió pública, la governança intel·ligent, basat en l’ús intensiu de les dades
a través d’algoritmes i una major col·laboració amb la ciutadania a través de l’ús de les tecnologies de
la informació i la comunicació per obtenir millors resultats i major obertura i rendició de comptes a la
ciutadania.6 Com observen Berggruen i Gardels, l’extensió de la governança intel·ligent respon al fet que
“las nuevas condiciones de la interdependencia global y la diversidad creciente amplicada por las nuevas
tecnologías de la sociedad del conocimiento exigen y permiten a un tiempo más estructuras inteligentes de
gobernanza”.7
La governança intel·ligent pot generar nombrosos benecis tant a les administracions públiques com a la
ciutadania en entorns complexos i contextos multifactorials, en els quals cal tenir en compte grans volums
de dades per poder prendre decisions de qualitat. Tanmateix, també pot generar nombrosos riscos.8 Conar
cegament en la bondat dels algoritmes pot dur a decisions públiques errònies, esbiaixades, discriminatòries
o que vulnerin els drets fonamentals. Per això, cal garantir que la presa de decisions a través d’algoritmes
i, en general, la governança intel·ligent es fonamentin en els principis de la bona governança, com ara la
transparència, la participació, la rendició de comptes i l’ecàcia, per garantir la seva legitimitat i efectivitat.9
En aquest article analitzarem un dels principals riscos als quals s’enfronta la governança intel·ligent: la seva
opacitat. Com veurem a continuació, hi ha diversos factors que poden determinar que l’ús dels algoritmes
1 (Holder, Khurana, Harrison i Jacobs, 2016: 383); (Salkin, Oner, Ustundag i Cevikcan, 2017: 5).
2 (Olhede i Rodrigues, 2017: 9).
3 (Edwards i Veale, 2017: 19). Això ha generat la preocupació sobre si en un futur més o menys proper, els ordinadors podran arribar
a ser més o menys autònoms i, inclús, a tenir vida pròpia. Tanmateix, com s’ha posat àmpliament de manifest, no hi ha avui cap
element que permeti considerar que la intel·ligència articial pugui esdevenir una amenaça per a la humanitat. Per a tots, vegeu
Stanford University (2016).
4 (De Laat, 2017).
5 No existeixen encara estudis sobre els usos dels algoritmes a les nostres administracions públiques. Vegeu-ne una anàlisi de
diverses experiències als Estats Units d’Amèrica a Eggers, Schatsky i Viechnicki (2018: 3) i Partnership for Public Service i IBM
Center for the Business of Government (2018: 1).
6 (Cerrillo i Martínez, 2018). Altres autors utilitzen altres expressions per referir-se a aquest nou model, com ara governança
algorítmica (Auby, 2018; Coglianese i Lehr, 2018; Danaher et al., 2017; Hassan i De Filippi, 2017), algocràcia (Aneesh, 2016) o
regulació algorítmica (Hoffmann-Riem, 2018: 49). De totes maneres, no podem desconèixer que el nou model de governança no
respon únicament a l’ús dels algoritmes a les administracions públiques, sinó també al de les dades que aquests utilitzen. En el mateix
sentit, vegeu Doneda i Almeida (2016: 61).
7 (Berggruen i Gardels, 2012).
8 Respecte als riscos que l’ús dels algoritmes pot generar a les administracions públiques i el dret administratiu, vegeu Cerrillo i
Martínez (2019), qui adverteix que “la inteligencia articial sí está tensionando algunos principios que guían la actuación de las
administraciones públicas. Ello exige impulsar nuevos mecanismos para garantizar estos principios”.
9 (Cerrillo i Martínez, 2017).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 16
generi opacitat a les administracions públiques. A partir de la identicació d’aquests factors, exposarem els
mecanismes per canalitzar la transparència dels algoritmes a través dels quals la ciutadania pot accedir i
conèixer el contingut dels algoritmes i el seu funcionament. Posteriorment, presentarem els mecanismes a
través dels quals les administracions públiques poden rendir comptes per les decisions que es prenen a través
dels algoritmes. Finalment, com a reexió nal, proposarem l’oportunitat d’impulsar un marc institucional
que fomenti una bona governança intel·ligent.
2 Una aproximació a la intel·ligència articial i els algoritmes
La intel·ligència articial és aquella capacitat dels ordinadors de realitzar accions que serien considerades com
a intel·ligents si fossin desenvolupades per persones.10 A través de la intel·ligència articial, els ordinadors
poden emular les facultats intel·lectuals de les persones i realitzar tasques pròpies dels éssers humans.
La intel·ligència articial es basa en l’ús d’algoritmes i de dades.11 Els algoritmes són procediments
dissenyats per resoldre problemes a partir d’un conjunt de dades.12 De manera més precisa, seguint el Termcat,
podem denir l’algoritme com el “procediment de càlcul que consisteix a acomplir un seguit ordenat i nit
d’instruccions amb unes dades especicades per tal d’arribar a la solució del problema plantejat”. Així doncs,
els algoritmes transformen automàticament dades en resultats apropiats per assolir un determinat objectiu.13
Els algoritmes utilitzen grans quantitats de dades. És el que es coneix com les dades massives o el big data,
que han estat denides com el nou or o el petroli del segle xxi.14 Perquè les dades puguin produir resultats
útils cal que siguin de qualitat i que no existeixin limitacions tècniques o jurídiques que n’impedeixin l’ús
per part dels algoritmes.
Tot i la simplicitat del concepte, no podem desconèixer que els algoritmes van adquirint dia a dia major
complexitat. Inicialment, els algoritmes es basaven en sistemes experts en els quals els programadors
traslladaven punt per punt les normes i els criteris previstos per prendre decisions.15 Avui en dia, alguns
algoritmes es fonamenten en l’aprenentatge automàtic (machine learning), que permet que ells mateixos
tinguin la capacitat d’aprendre de les dades i l’experiència per prendre decisions per si mateixos.16 Inclús,
emulant el funcionament del cervell humà, alguns algoritmes usen l’aprenentatge de complexes xarxes
neuronals per analitzar grans volums de dades en el que es coneix com a aprenentatge profund (deep learning).
D’aquesta manera, el funcionament dels algoritmes sovint ja no és dissenyat completament pels programadors,
sinó que són els mateixos algoritmes els que generen el model a partir de les dades disponibles.17 En aquests
casos, resulta problemàtic, si no pràcticament impossible, descobrir les relacions entre les dades o el
funcionament dels algoritmes. A més, quan això s’arriba a descobrir, generalment ens trobem davant models
molt complexos, amb un funcionament que és difícil d’entendre o explicar.18
Per això, la presa de decisions a través d’algoritmes té quelcom d’esotèric.19 En efecte, els algoritmes extreuen
patrons a partir de les dades existents sense que els seus programadors puguin conèixer de manera intuïtiva
o precisa com funcionen. Els algoritmes funcionen a partir de la correlació entre les dades i no sobre la base
10 (Kaplan, 2017: 1).
11 (West i Allen, 2018). En parlar de la intel·ligència articial, Lehr fa referència de manera il·lustrativa a manejar les dades (playing
with the data) i executar el model (running model) (Lehr i Ohm, 2017: 655).
12 Per a Benítez et al., els algoritmes són “el procedimiento para encontrar la solución a un problema mediante la reducción del
mismo a un conjunto de reglas” (Benítez, Escudero, Kanaan i Masip Rodó, 2013: 13). Hill (2016: 47) dona una denició més precisa
de l’algoritme denint-lo com “una estructura de control nita, abstracta, efectiva i composta, establerta imperativament, complint
una nalitat donada davant uns subministraments determinats”.
13 (Edwards i Veale, 2017: 24); (Yeung, 2017: 2).
14 (Mayer-Schönberger i Cukier, 2013); (The Economist, 2017).
15 Com posen de manifest Zerilli, Knott, Maclaurin i Gavaghan (2018), els algoritmes tradicionals no presentaven problemes en
relació amb la transparència.
16 (Mateo Borge, 2017: 130).
17 (World Wide Web Foundation, 2017: 7). Com destaca Tanz (2016) en el títol del seu treball, “aviat ja no programarem els
ordinadors. Els ensinistrarem com als gossos”.
18 (Ananny i Crawford, 2018: 977); (Coglianese i Lehr, 2018: 13).
19 (Deloitte, 2018: 2).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 17
d’una relació causal, i per tant produeixen prediccions més que explicacions.20 A més, els algoritmes es van
perfeccionant a mesura que disposen de noves dades. Tot això es fa de manera inintel·ligible per a la majoria
dels usuaris, ja que les dades i els resultats estan relacionats de manera complexa i no lineal.21
3 L’opacitat dels algoritmes
Els algoritmes són considerats caixes negres (black box, en la seva expressió en anglès).22 De fet, l’opacitat
dels algoritmes és la norma.23 Per això, si bé els algoritmes poden facilitar que les administracions públiques
siguin més ecients, també poden provocar que siguin menys transparents.24 A més, l’opacitat dels algoritmes
pot impedir que les administracions puguin rendir comptes per la seva actuació.25
L’opacitat dels algoritmes pot estar motivada per causes tècniques, jurídiques o organitzatives.
En primera instància, l’opacitat dels algoritmes pot estar motivada per causes tècniques. En concret,
l’opacitat pot ser fruit de la complexitat dels algoritmes o del seu caràcter dinàmic. Hi ha determinats
algoritmes dels quals és difícil saber en detall el funcionament i les dades que tenen en compte per produir
un determinat resultat.26 Això pot exigir haver de dedicar molts recursos i tenir uns coneixements i unes
capacitats determinades per poder-los comprendre.27 A més, el seu caràcter dinàmic determina que inclús
arribant a conèixer el disseny d’un algoritme, aquest respongui al seu disseny en un determinat moment que
posteriorment pot haver evolucionat.28
Des d’un punt de vista jurídic, l’opacitat dels algoritmes es pot deure a l’existència de normes o clàusules
contractuals que limitin l’accés a la informació per protegir altres béns o drets com ara el secret empresarial,
la propietat intel·lectual i industrial, la protecció de les dades personals o la seguretat pública. També per
protegir la condencialitat o el secret del procés de presa de decisió, per evitar el coneixement de decisions
en formació.29
Tot i que ens trobem en l’àmbit de les administracions públiques, no podem desconèixer que amb molta
freqüència els algoritmes que utilitzen no són programats pel personal al seu servei sinó per tercers que volen
protegir-los, per exemple, per evitar perdre un avantatge competitiu o per recuperar la inversió realitzada.30 Per
això, també és habitual que els mateixos contractistes declarin la condencialitat del codi dels algoritmes.31
Finalment, des del punt de vista organitzatiu, l’opacitat pot ser el resultat de la inexistència d’informació
sobre els algoritmes. En uns casos perquè, com acabem de veure, el seu codi font no està en mans de les
administracions públiques que els utilitzen. En altres casos perquè les administracions públiques no han
20 (Selbst i Barocas, 2018: 1090).
21 (Federal Financial Supervisory Authority, 2018: 36).
22 Entre d’altres, vegeu Coglianese i Lehr (2018: 2), Diakopoulos (2014), Fink (2017) i Pasquale (2015).
23 (De Laat, 2017); (Brauneis i Goodman, 2017: 128); (Burrell, 2016: 1). Mayer-Schönberger i Cukier (2013: 179 no només es
refereixen a l’opacitat dels algoritmes, sinó també a la de les dades sobre les quals recolzen.
24 (Pasquale, 2015); (Ramió Matas, 2019: 115).
25 (Brauneis i Goodman, 2017).
26 (García-Prieto Cuesta, 2018: 51); (Etzioni i Etzioni, 2016: 139); (Kroll et al., 2017: 659).
27 (Coglianese i Lehr, 2017: 1206).
28 (Etzioni i Etzioni, 2016: 138).
29 Article 14.1.k de la Llei 19/2013, de 9 de desembre, de transparència, accés a la informació pública i bon govern.
30 Si bé la legislació de contractes del sector públic disposa que els contractes de serveis que tinguin per objecte el desenvolupament
i la posada a disposició de productes protegits per un dret de propietat intel·lectual o industrial, com ara els algoritmes, comportarà
la seva cessió a l’Administració contractant a menys que els plecs disposin altrament, la realitat sovint no és aquesta (article 308
de la Llei 9/2017, de 8 de novembre, de contractes del sector públic). Més enllà de l’impacte que això pugui tenir en l’opacitat dels
algoritmes, cal advertir de les conseqüències que l’adquisició d’algoritmes dissenyats pel sector privat pot suposar, en traslladar les
decisions públiques en àrees estratègiques a empreses privades (Mulligan i Bamberger, 2018: 707).
31 Article 133.1 de la Llei 9/2017, de 8 de novembre. En qualsevol cas, més enllà d’un ús responsable de la declaració de
responsabilitat, seria recomanable que els plecs de clàusules incloguessin clàusules de transparència perquè els adjudicataris fessin
públics sia els algoritmes, sia informació rellevant sobre la seva conguració i funcionament. En aquest sentit, vegeu Consultative
Committee of the Convention for the Protection of Individuals with regard to Automatic Processing of Personal Data (2018: 23).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 18
formalitzat la decisió d’utilitzar un algoritme, ni les nalitats ni les fonts o els resultats obtinguts a través dels
algoritmes.32 Però l’opacitat també pot perseguir evitar l’elusió de la seva aplicació.33
L’opacitat dels algoritmes pot tenir conseqüències nefastes per a la governança intel·ligent. Per una banda,
les administracions públiques poden desconèixer com funcionen els algoritmes i, per tant, no saber com
es prenen les decisions que adopten. Això pot tenir conseqüències respecte al compliment dels principis i
normes que regeixen la seva actuació, i també en el control de l’actuació administrativa.
Per altra banda, l’opacitat també pot generar discriminacions derivades dels biaixos que puguin contenir els
algoritmes i que no es puguin detectar ni pels treballadors públics ni tampoc per la ciutadania.34 Si bé els
algoritmes poden ajudar els treballadors públics a evitar els biaixos cognitius que de manera inconscient
poden estar a les seves decisions, l’opacitat dels algoritmes en pot dicultar, si no impossibilitar, la detecció.35
Així mateix, pot dicultar la identicació d’errors generats pels algoritmes ns a l’extrem que s’acabi
considerant com a correcta qualsevol decisió que sigui presa per o amb la intervenció d’un algoritme en
creure que un ordinador funciona millor que la ment humana.36
A més, l’ús d’algoritmes que han estat dissenyats per tercers genera el risc que les empreses que programen
els algoritmes i disposen de les dades acabin prenent les decisions per les administracions públiques.37
4 La transparència dels algoritmes
La transparència és un principi de les administracions públiques que ha de guiar l’ús dels algoritmes en la
seva activitat.38
Per evitar l’opacitat dels algoritmes cal que les administracions públiques adoptin determinades mesures que
en facilitin la transparència.39 Aquestes mesures han de permetre no només l’accés als algoritmes, sinó també
el coneixement del seu contingut i la comprensió del seu funcionament i del fonament de les decisions que
es prenen a través seu.40
En primer lloc, per garantir la transparència dels algoritmes cal que qualsevol persona pugui accedir-ne al
contingut. El contingut de l’algoritme pot ser conegut a través de l’accés al seu codi font, però també a través
de l’accés a la documentació que contingui una descripció de l’algoritme, de les dades que utilitza, de com
funciona, dels models que utilitza i dels resultats que produeix i com els produeix.41
Les administracions públiques poden donar a conèixer els algoritmes que utilitzen a través de la seva difusió.
Sobre això, cal tenir present que l’article 5 de la Llei 19/2013, de 9 de desembre, de transparència, accés a
la informació pública i bon govern, disposa que les administracions públiques “han de publicar de manera
periòdica i actualitzada la informació el coneixement de la qual sigui rellevant per garantir la transparència de
32 (Brauneis i Goodman, 2017: 152-153).
33 Pel que fa a l’elusió de l’aplicació dels algoritmes, vegeu De Laat (2017) i Brauneis i Goodman (2017: 160).
34 (Lehr i Ohm, 2017: 704).
35 (Zarsky, 2016: 122); (Executive Ofce of the President, 2014).
36 (Brauneis i Goodman, 2017: 126).
37 (Brauneis i Goodman, 2017: 118). Auby adverteix dels riscos que això pot generar i parla del sorgiment d’un estadi normatiu
clandestí on l’aplicació de la norma es fa a través d’un dispositiu guiat per un algoritme on aquells que el dissenyen guanyen
protagonisme (Auby, 2018). De fet, com ja va observar Citron (2007: 1254), “els programadors de manera rutinària canvien la
substància de les normes quan les traslladen del llenguatge humà al codi de l’ordinador”.
38 Article 3 de la Llei 40/2015, d’1 d’octubre. D’acord amb el Parlament Europeu (2017), el principi de transparència “consiste en
que siempre ha de ser posible justicar cualquier decisión que se haya adoptado con ayuda de la inteligencia articial y que pueda
tener un impacto signicativo sobre la vida de una o varias personas”.
39 De totes maneres, cal advertir que no tots els problemes que es poden derivar de l’ús dels algoritmes a les administracions
públiques són fruit de la seva opacitat. Com observa Binns (2017: 11), el problema de l’opacitat no ha de ser sobreestimat.
40 (Mittelstadt, Allo, Taddeo, Wachter i Floridi, 2016: 6). En aquest sentit, Coglianese i Lehr (2018: 15) distingeixen entre la
transparència de la peixera (shbowl transparency) i la transparència raonada (reasoned transparency). Mentre la primera prioritza
la divulgació d’informació sobre el que fan les administracions públiques, la segona persegueix promoure la comprensió de per què
l’Administració fa el que fa.
41 Sobre el valor d’aquesta documentació, vegeu Selbst i Barocas (2018: 1129 i seg.).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 19
la seva activitat relacionada amb el funcionament i el control de l’actuació pública”.42 Tanmateix, no podem
desconèixer que la legislació de transparència no preveu una obligació especíca de difondre informació
relativa als algoritmes, com sí que ho feia la Llei 30/1992, de 26 de novembre, de règim jurídic de les
administracions públiques i del procediment administratiu comú, que disposava que les administracions
públiques havien de difondre públicament les característiques dels programes i aplicacions informàtiques
que usessin i que haguessin estat aprovades amb caràcter previ.43 Aquesta previsió, que ja fou suprimida
a la Llei 11/2007, de 22 de juny, d’accés electrònic dels ciutadans als serveis públics, entre altres motius
perquè no es complia per les administracions públiques, tampoc no s’inclou a la Llei 40/2015, d’1 d’octubre,
de règim jurídic del sector públic.44 En qualsevol cas, actualment les administracions públiques no estan
difonent informació relativa als algoritmes que estan utilitzant. La simple cerca als portals de transparència
de les administracions públiques ho conrma.45
Les administracions públiques també poden donar a conèixer els algoritmes que utilitzen a través de l’accés
a la informació. Al respecte, cal recordar que la Llei 19/2013, de 9 de desembre, de transparència, accés a la
informació pública i bon govern, reconeix el dret de totes les persones a accedir a la informació pública.46
D’acord amb aquesta norma, qualsevol contingut o document, sigui quin sigui el seu format o suport, que
estigui en poder d’una administració pública i que hagi estat elaborat o adquirit en l’exercici de les seves
funcions, forma part de l’objecte del dret d’accés. Per tant, els algoritmes, així com tota la informació
vinculada a ells, són susceptibles de ser objecte d’una sol·licitud d’accés a la informació pública.47 Així ho
ha entès també la Comissió de Garantia del Dret d’Accés a la Informació Pública (GAIP) en relació amb la
reclamació interposada per un professor de secundària a qui se li va denegar l’accés a l’algoritme matemàtic
que s’empra per designar els membres dels tribunals correctors de les proves d’accés a la universitat. En la
seva Resolució de 21 de setembre de 2016, d’estimació de les reclamacions 123/2016 i 124/2016, la GAIP
posa de manifest que l’algoritme, tot i poder-se trobar en llenguatge matemàtic o informàtic, no deixa de
ser un tipus d’informació que, estant en poder de l’Administració pública, constitueix informació pública a
l’efecte de l’exercici del dret d’accés que reconeix la legislació vigent.48
En segon lloc, cal recordar que l’accés a la informació pot ser limitat quan pugui suposar un perjudici a
diversos béns i drets identicats pel legislador, com ara la seguretat nacional i la seguretat pública, els
42 En una línia semblant, la Llei 19/2014, de 29 de desembre, de transparència, accés a la informació pública i bon govern, disposa
que les administracions públiques han de difondre la informació pública d’interès general (article 6.1.a).
43 Article 45.4 de la Llei 30/1992, de 26 de novembre. Al respecte, Valero (2007: 80) valorava positivament aquesta exigència en
observar que “tiene como principal nalidad ofrecer una mínima transparencia en el funcionamiento de los instrumentos técnicos
utilizados para el desarrollo de la actividad administrativa a través de medios electrónicos”. En l’actualitat, Alamillo (2017: 124)
proposa que per donar transparència als algoritmes, s’hauria d’impulsar “un procedimiento de exposición pública y admisión de
alegaciones por los ciudadanos, de forma previa a la puesta en funcionamiento de la aplicación”. Igualment, vegeu Ponce (2019).
44 Aquesta norma només disposa —entenem que amb una nalitat diferent de la de la Llei 30/1992, de 26 de novembre— que
“en cas d’actuació administrativa automatitzada s’ha d’establir prèviament l’òrgan o òrgans competents, segons els casos, per a
la denició de les especicacions, programació, manteniment, supervisió i control de qualitat i, si s’escau, auditoria del sistema
d’informació i del seu codi font. Així mateix, s’ha d’indicar l’òrgan que s’ha de considerar responsable als efectes d’impugnació”
(article 41.2 de la Llei 40/2015, d’1 d’octubre).
45 No oblidem que en el cas de l’Administració general de l’Estat, el portal de transparència ha de proporcionar informació
estructurada sobre els documents i els recursos d’informació amb vista a facilitar la identicació i recerca de la informació (article
11 de la Llei 19/2013, de 9 de desembre).
Més precisa és la Llei 19/2014, de 29 de desembre, que disposa que les administracions públiques han d’“organitzar la informació
de manera que sigui fàcilment accessible i comprensible per a les persones i que en faciliti una consulta àgil i ràpida per mitjà
d’instruments de cerca dotats de les característiques tècniques que ho garanteixin” (article 6.1.c) i “facilitar la consulta de la
informació amb l’ús de mitjans informàtics en formats fàcilment comprensibles” (article 6.1.e).
46 Article 12 de la Llei 19/2013, de 9 de desembre. Vegeu sobre això, entre altres fonts, Fernández i Pérez (2017).
47 Article 13 de la Llei 19/2013, de 9 de desembre. Igualment, vegeu les normes autonòmiques de transparència (com ara l’article
2.b de la Llei catalana 19/2014, de 29 de desembre). En el mateix sentit, vegeu Muñoz i Bermejo (2014: 204-207) i Mir (2017: 57).
48 En el mateix sentit, vegeu la Resolució 200/2017, de 21 de juny. Des d’un punt de vista comparat, diverses instàncies han arribat
a les mateixes conclusions. Així, el Tribunal Administratiu Regional de Lazio (Itàlia) (Secció Tercera), en la seva la Sentència de 14
de febrer de 2017, arma que cal reconèixer el dret d’accés a l’algoritme del programa de gestió d’un procediment administratiu,
en particular en el cas en qüestió per a la transferència interprovincial dels docents, en la mesura que es pot considerar com un acte
administratiu informàtic. Vegeu-ne una anàlisi a Mancosu (2018).
També, la Comission d’Accès aux Documents Administratifs, en diverses resolucions com ara la 20144578, de 8 de gener de 2015;
la 20161990, de 23 de juny de 2016; o, més recentment, la 20183296, de 6 de setembre de 2018.
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 20
interessos comercials, la propietat intel·lectual i industrial o la condencialitat o secret en els processos de
presa de decisió.49 També cal tenir en compte que en aquells casos en què els algoritmes hagin estat adquirits
de terceres persones, pot ésser aplicable el que disposa la legislació de contractes del sector públic i, per
tant, que el contractista declari la seva condencialitat.50 En qualsevol cas, cal valorar el perjudici que pugui
suposar l’accés respecte al codi font de l’algoritme o en relació amb la informació que s’hagi pogut generar
sobre el seu disseny i funcionament.51
Tanmateix, tot i el reconeixement del dret d’accés a la informació pública, els pocs estudis empírics que
existeixen mostren com el dret d’accés a la informació pública no està sent un mecanisme efectiu per accedir
als algoritmes.52
L’accés als algoritmes és necessari, però no sucient, per garantir-ne la transparència. L’accés al codi font de
l’algoritme no el fa necessàriament més transparent.53 Cal garantir-ne també la comprensió del funcionament.
Per garantir la comprensió de l’algoritme, serà útil que les administracions públiques facilitin una descripció
de l’algoritme en llenguatge natural.54 Al respecte, cal tenir present que la legislació de transparència es
refereix al fet que les administracions públiques han de difondre la informació de manera clara i entenedora
per a la ciutadania.55 A més, la informació pública també ha de ser comprensible.56 Per facilitar la comprensió
de la informació, també serà necessari que els destinataris disposin de les capacitats i el temps per poder
comprendre o analitzar els algoritmes.57
Per facilitar la comprensió del funcionament dels algoritmes, els seus dissenyadors poden utilitzar llenguatges
i procediments de programació que en facilitin l’anàlisi.58 En particular, algoritmes basats en programari
obert.59
49 Article 14 de la Llei 19/2013, de 9 de desembre. Tot i la no aplicació dels límits en relació amb l’accés a un determinat algoritme,
segons la GAIP, pot limitar-se la difusió o la utilització del codi font a què s’hagi accedit per a altres nalitats diferents de la que va
motivar l’accés sense l’autorització expressa de l’Administració pública. Vegeu, sobre això, les resolucions de 21 de setembre de
2016 i 200/2017, de 21 de juny.
50 Article 133 de la Llei 9/2017, de 8 de novembre. Tanmateix, en aquests casos, les administracions públiques podrien exigir als
contractistes que, sense facilitar l’accés al codi font de l’algoritme, donin informació sucient perquè la ciutadania pugui controlar
el seu funcionament (Coglianese i Lehr, 2018: 34).
51 (Coglianese i Lehr, 2018: 30).
52 En particular, en aquest sentit podem referir-nos a diversos estudis que s’han dut a terme als Estats Units d’Amèrica, en què s’ha
sol·licitat l’accés als algoritmes utilitzats per diverses agències públiques. Per una banda, podem portar a col·lació l’estudi elaborat
per Brauneis i Goodman (2017), que posen de manifest que els seus esforços per conèixer els algoritmes a través de l’exercici del
dret d’accés van ser frustrants, perquè les administracions públiques no van contestar o bé van denegar-hi l’accés al·legant que no hi
era aplicable la Freedom of Information Act o que hi era aplicable un límit com ara el relatiu a la protecció del secret comercial. Per
l’altra, podem referir-nos també a l’estudi realitzat per Fink (2017), qui, malgrat utilitzar una metodologia més complexa, va obtenir
els mateixos resultats.
A Espanya no s’han dut a terme estudis equiparables. Tanmateix, no podem desconèixer que és freqüent que les administracions
públiques rebutgin les sol·licituds d’accés als algoritmes. A efectes il·lustratius, podem recordar que el Ministeri de Justícia, a través
de la Resolució del seu secretari general de 20 d’abril de 2016, va denegar l’accés sol·licitat per un advocat al codi font de l’aplicació
informàtica Lexnet, per considerar que hi era aplicable parcialment el supòsit previst a l’article 14.1.j de la Llei 19/2013, de 9 de
desembre, en la mesura en què Lexnet és una marca registrada pel Ministeri al Registre de la Propietat Industrial. És accessible a
https://goo.gl/GY4Ugh (darrera consulta: gener de 2019).
53 (Brauneis i Goodman, 2017: 130).
54 Sobre això, cal recordar com la GAIP, en la seva Resolució de 21 de setembre de 2016, va admetre la possibilitat que, en el cas
que l’Administració no disposi de l’algoritme en llenguatge matemàtic, es pugui lliurar a la persona sol·licitant la descripció de
l’algoritme en llenguatge natural.
En aquest sentit, el Parlament Europeu considera que sempre hauria de ser possible reduir els algoritmes a una forma comprensible
per als humans. També recomana que s’utilitzin eines que permetin registrar totes les operacions que fan els algoritmes per arribar
als seus resultats (Parlamento Europeo, 2017).
55 Article 5.4 de la Llei 19/2013, de 9 de desembre.
56 Article 5.5 de la Llei 19/2013, de 9 de desembre.
57 (Consultative Committee of the Convention for the Protection of Individuals with regard to Automatic Processing of Personal
Data, 2018: 15-16).
58 (Coglianese i Lehr, 2018: 44); (Kroll et al., 2017 643); (Selbst i Barocas, 2018: 1117).
59 (Burrell, 2016: 4). Sobre això, Alamillo (2017: 124) observa que “la liberación del código fuente de las aplicaciones coadyuva
de forma extraordinariamente potente a generar conanza en el correcto funcionamiento de dichas aplicaciones por parte de los
ciudadanos”. Vegeu, en general, el que disposa l’article 157.2 de la Llei 40/2015 quan preveu que les aplicacions desenvolupades
per les administracions públiques o que hagin estat objecte de contractació i dels drets de propietat intel·lectual de les quals siguin
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 21
5 La rendició de comptes sobre l’ús dels algoritmes
La governança intel·ligent exigeix que les administracions públiques no només siguin transparents sinó
també que rendeixin comptes per les decisions que prenen a través d’algoritmes.60 La rendició de comptes
fa referència a l’obligació d’explicar i justicar les decisions adoptades pels algoritmes.61 A través de la
rendició de comptes, les administracions públiques justiquen l’ús dels algoritmes en la presa de decisions
i expliquen com funcionen, quines dades utilitzen, quins resultats se n’esperen i quins resultats se n’han
obtingut.62
La rendició de comptes facilita el control de l’activitat desenvolupada per les administracions públiques a
través d’algoritmes. També permet la detecció d’errors i biaixos. En darrera instància, la rendició de comptes
enforteix la conança ciutadana en les administracions públiques quan utilitzen algoritmes en la presa de
decisions.63
Tot i l’impacte que pot tenir la transparència com a mecanisme de rendició de comptes en poder informar
la ciutadania sobre els algoritmes que usen les administracions públiques i les decisions que prenen a través
seu,64 a mesura que s’estén l’ús dels algoritmes entre les administracions públiques, cada cop s’insisteix més
sobre la necessitat de garantir la rendició de comptes a través d’altres mecanismes quan les administracions
públiques els utilitzen.
Per això, més enllà de poder accedir a l’algoritme i conèixer-lo, és necessari que tant el disseny dels algoritmes
a les administracions públiques com la seva aplicació es facin en el marc d’un procediment que garanteixi els
principis de transparència i participació i els drets dels interessats, d’acord amb el que disposa la legislació
vigent respecte a l’elaboració de disposicions de caràcter general i d’actes administratius.65
La rendició de comptes també es pot realitzar donant una explicació sobre el funcionament de l’algoritme
i sobre les raons que justiquen les decisions adoptades per l’algoritme.66 Tanmateix, al nostre entendre,
aquesta explicació ha d’anar més enllà de la motivació prevista a la Llei 39/2015, d’1 d’octubre. Tant pel que
fa als actes administratius que s’han de motivar com al contingut de la motivació.67 En darrera instància, hem
de tenir present que l’ús dels algoritmes en la presa de decisions públiques canvia la manera com aquestes
titulars, poden ser declarades de fonts obertes, quan d’això es derivi una transparència més gran en el funcionament de l’Administració
pública.
60 Des del punt de vista jurídic, no podem desconèixer que la Llei 40/2015, d’1 d’octubre, reconeix el principi de responsabilitat
per la gestió com a principi de les administracions públiques (article 3). Tot i que en aquest treball ens centrarem en la rendició de
comptes, cal tenir present que el principi de responsabilitat també es manifesta a la governança intel·ligent a través del control de
l’ús de la intel·ligència articial i la responsabilitat patrimonial pels danys causats per l’ús dels algoritmes per les administracions
públiques (Cerrillo i Martínez, 2019).
61 Segons Bovens, Schillemans i Hart (2008: 225) la rendició de comptes (accountability) “és la relació entre un actor i un fòrum,
en la qual l’actor té l’obligació d’explicar i justicar la seva conducta, el fòrum pot plantejar preguntes i formular judicis, i l’actor
n’ha de fer front a les conseqüències”.
62 (Binns, 2017: 2); (Doshi-Velez i Kortz, 2017); (Diakopoulos, 2014).
63 (Doshi-Velez i Kortz, 2017: 2); (Lepri, Oliver, Letouzé, Pentland i Vinck, 2017: 8).
64 (Diakopoulos, 2016: 58); (Lepri et al., 2017: 7). De fet, la transparència no és una nalitat en si mateixa sinó un instrument per a
la rendició de comptes (Ananny i Crawford, 2018: 982). A més, diversos autors han advertit sobre les limitacions de la transparència
com a mecanisme de rendició de comptes quan les administracions públiques usen algoritmes. En particular, Ananny i Crawford
identiquen ns a deu limitacions de la transparència (Ananny i Crawford, 2018). De fet, aquestes limitacions també s’han observat
respecte a altres mecanismes tradicionals per la rendició de comptes que presenten limitacions quan les administracions públiques
utilitzen algoritmes per la presa de decisions (Kroll et al., 2017: 636).
65 En aquest sentit, des de la doctrina nord-americana s’ha apuntat cap al reconeixement del procediment degut electrònic per
assegurar que els interessats puguin participar en les decisions que els afecten i garantir que aquestes no contenen biaixos (Yeung,
2017: 11).
66 La rendició de comptes en relació amb l’ús dels algoritmes inclou una obligació d’informar, explicar o justicar la presa de
decisions a través d’algoritmes. També inclou l’obligació de mitigar qualsevol impacte social negatiu o dany potencial (Diakopoulos
et al., 2017; Lehr i Ohm, 2017: 706). De totes maneres, com posa de manifest Boyd (2017), “la rendició de comptes no és senzilla.
De fet, un dels major problemes avui dia és que no tenim les eines per fer bé la rendició de comptes”. En el mateix sentit, Vedder
i Naudts (2017: 206) observen que els mecanismes tradicionals de rendició de comptes no es poden usar respecte als algoritmes.
67 Sobre això, cal recordar que la Llei 39/2015, d’1 d’octubre, disposa l’obligació de motivar, entre d’altres, els actes que limitin
drets subjectius o interessos legítims, i també els actes que es dictin en l’exercici de potestats discrecionals. També, que la motivació
ha de fer referència succinta de fets i fonaments de dret (article 35 de la Llei 40/2015, d’1 d’octubre).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 22
es generen i, per tant, com es motiven els actes administratius.68 Per això, també caldrà poder explicar com
l’Administració pública ha arribat a aquella decisió, quin ha estat el procés, quines dades s’han tingut en
compte, quins objectius es perseguien.69
Això no obstant, no existeix en l’actualitat una obligació explícita en aquest sentit.70 Per aquest motiu,
caldria avançar cap a la denició d’una obligació de les administracions públiques d’explicar l’algoritme,
les seves nalitats i funcionament, així com les dades utilitzades que en permetin el coneixement per part
dels empleats públics i, en darrera instància, el control per part de la ciutadania.71 Paral·lelament, caldria
reconèixer un dret a obtenir una explicació de l’ús dels algoritmes per les administracions públiques.72
En aquest sentit, amb limitacions, el Reglament (UE) 2016/679 del Parlament Europeu i del Consell, de 27
d’abril de 2016, relatiu a la protecció de les persones físiques pel que fa al tractament de dades personals i
a la lliure circulació d’aquestes dades, i pel qual es deroga la Directiva 95/46/CE (en endavant, Reglament
general de protecció de dades), reconeix un dret a l’explicació dels tractaments automatitzats en l’àmbit de
la protecció de les dades personals. Tanmateix, la lectura atenta d’aquesta norma permet observar algunes
limitacions en la seva regulació que, en tot cas, està limitada als tractaments de dades personals.73
A més de l’explicació a què hem fet referència, les administracions públiques també poden rendir comptes
sobre les decisions adoptades a través d’algoritmes mitjançant l’evidència empírica que permet a les
administracions públiques mesurar el funcionament dels algoritmes i demostrar-ne els benecis o impactes
amb els quals justicar les decisions preses, sense la necessitat d’utilitzar una explicació de l’algoritme.74
6 El disseny d’un marc institucional pel foment de la transparència i la rendició de comptes
en la governança intel·ligent
En vista de les limitacions dels mecanismes de transparència i rendició de comptes que s’han observat al
llarg del treball, considerem que es pot reforçar la governança intel·ligent a través de la creació d’un marc
institucional que permeti garantir la seguretat —jurídica i tecnològica—, la transparència i la responsabilitat
en l’ús dels algoritmes per les administracions públiques. Aquest marc institucional també hauria d’impulsar
68 Com ja hem vist anteriorment, les decisions adoptades per un algoritme es basen en correlacions, mentre que les decisions
públiques es basen tradicionalment en una lògica causal (Auby, 2018).
69 (Binns, 2017). La rendició de comptes s’ha de fer d’acord amb diferents paràmetres. En aquest sentit, la World Wide Web
Foundation identica com a principis per als algoritmes responsables la legitimitat, l’explicabilitat, l’auditabilitat, la responsabilitat
i la precisió (World Wide Web Foundation, 2017: 11). Vegeu també Diakopoulos et al. (2017).
70 Cal recordar, sobre això, el que preveia l’article 45.4 de la Llei 30/1992, de 26 de novembre.
71 En el mateix sentit, vegeu Lehr i Ohm (2017, 708). Sobre aquesta qüestió, podem fer referència a França, on la Llei 2016/1321, de
7 d’octubre de 2016, per una república digital, que modica el codi de les relacions entre la ciutadania i l’Administració, ha previst
que una decisió individual adoptada a través d’un algoritme exigeix informar l’interessat (article L. 311-3-1). En particular, quan
així ho sol·liciti, cal informar-lo sobre les normes que deneixen el tractament i les principals característiques del seu funcionament.
També disposa que les administracions públiques han de difondre a Internet les regles que deneixen els principals tractaments a
través d’algoritmes utilitzats en el compliment de les seves funcions sobre els quals es basin les decisions individuals (article L. 312-
1-3). Aquests preceptes han estat desenvolupats pel Decret 2017/330, de 14 de març de 2017, sobre els drets de les persones subjectes
a decisions individuals preses sobre la base del processament algorítmic. Vegeu, sobre això, Coppolani (2017).
72 En el mateix sentit, vegeu Ponce (2019). Aquest autor apunta que en cas de vulnerar-se l’estàndard de deguda diligència en la
comprensibilitat, es podria al·legar la impossibilitat de complir amb allò establert i sol·licitar l’anul·lació judicial de la decisió.
73 En efecte, d’una banda, el considerant 71 declara que “cal incloure la informació especíca a l’interessat i el dret d’obtenir
intervenció humana, a expressar el seu punt de vista, a rebre una explicació de la decisió presa després d’aquesta avaluació i a
impugnar la decisió”.
En canvi, l’article 13 només disposa que el responsable del tractament de les dades personals ha de facilitar a l’interessat la
informació relativa a l’existència de decisions automatitzades, la lògica aplicada i la importància i les conseqüències previstes
d’aquest tractament per a l’interessat. Alhora, l’article 15 també preveu que l’interessat tindrà dret a obtenir del responsable del
tractament l’accés a l’existència de decisions automatitzades i, novament, informació sobre la lògica aplicada i la importància i les
conseqüències previstes. Finalment, l’article 22 reconeix el dret a no ser objecte d’una decisió basada únicament en el tractament
automatitzat, inclosa l’elaboració de perls, que produeixi efectes jurídics que l’afectin o que l’afectin signicativament de manera
similar excepte en els casos previstos en el mateix reglament.
Vegeu, en el mateix sentit, Wachter, Mittelstadt i Floridi (2017) i Mittelstadt et al., (2016: 12).
74 (Doshi-Velez i Kortz, 2017: 10-11). Segons aquests autors, les administracions públiques poden, per exemple, mesurar si
l’aterratge autònom d’un avió té menys incidents de seguretat que quan el fa un pilot, o si la diagnosi mèdica feta per un algoritme
redueix la mortalitat respecte a quan ho fan els metges sense aquesta assistència.
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 23
la innovació tecnològica a les administracions públiques a de transformar-ne el funcionament i les relacions
amb la ciutadania (per exemple, prestant els serveis públics de manera personalitzada i proactiva). En darrera
instància, hauria de ser un node d’interacció entre tots els actors implicats en el desenvolupament de la
governança intel·ligent.
Aquest nou marc institucional podria formalitzar-se a través de la creació d’un organisme que vetllés pel
desenvolupament de la governança intel·ligent i, en particular, per la incorporació de la intel·ligència
articial a les administracions públiques i per la transparència dels algoritmes i el control del seu disseny,
funcionament i aplicació.75 Essent un node de la xarxa de la governança intel·ligent, en aquest organisme
s’hauria d’aconseguir una àmplia participació de tots els implicats en el desenvolupament de la intel·ligència
articial a les administracions públiques. En aquest sentit, no podem desconèixer que els principals avenços
de la intel·ligència articial s’obtenen des del sector privat, per grans multinacionals però també per petites
empreses innovadores, per si mateixes o de la mà d’universitats, i sovint amb el suport de les administracions
públiques.
Les nalitats d’aquest organisme serien garantir la seguretat, la transparència i la rendició de comptes en
l’ús dels algoritmes a les administracions públiques, i també canalitzar la participació en el seu disseny,
desenvolupament i avaluació.
Per assolir aquestes nalitats, l’organisme hauria de desenvolupar diverses funcions.76 Per una banda, hauria
d’impulsar i facilitar la incorporació dels algoritmes a les administracions públiques. En aquest sentit, a més
de la informació, la formació i l’assessorament sobre l’ús dels algoritmes a les administracions públiques,
podria dissenyar algoritmes per a la presa de decisions públiques o per a la prestació de serveis públics, i
facilitar-ne la reutilització.77
Per una altra banda, aquest organisme també hauria de controlar l’ús dels algoritmes per les administracions
públiques, per garantir-ne la seguretat i la legalitat. Amb caràcter previ a la seva posada en funcionament
i el seu ús per les administracions públiques, el control buscaria evitar errors o biaixos en els algoritmes o
avaluar-ne l’impacte en drets fonamentals com ara la protecció de les dades personals. Amb posterioritat
a l’ús dels algoritmes, el control perseguiria avaluar-ne l’impacte i l’ecàcia, però també per controlar la
legalitat de les decisions efectivament preses per les administracions públiques a través dels algoritmes.78
Aquesta proposta està en sintonia amb les recomanacions realitzades des de diferents instàncies.79 Així, per
exemple, el Parlament Europeu, en la seva Resolució de 16 de febrer de 2017, amb recomanacions destinades
a la Comissió sobre normes de dret civil sobre robòtica, també suggereix la creació d’una agència europea
per a la robòtica i la intel·ligència articial que “proporcioni els coneixements tècnics, ètics i normatius
necessaris per donar suport a la tasca dels actors públics pertinents, tant a nivell de la Unió com a nivell dels
Estats membres, en la seva tasca de garantir una resposta ràpida, ètica i fundada davant les noves oportunitats i
reptes —sobretot els de caràcter transfronterer— que planteja el desenvolupament tecnològic de la robòtica”.
75 Com recorden Mulligan i Bamberger (2018: 759), les institucions de governança existents sovint no tenen les eines i la capacitat
regulatòria substantiva per aconseguir un ús racional de la tecnologia.
76 L’actuació d’aquest organisme s’hauria de basar en el principi de precaució per evitar que els algoritmes que es vagin dissenyant
es puguin utilitzar ns que es pugui provar que no causen cap dany a persones, grups o normes. En particular, des de la perspectiva
dels algoritmes vegeu Thierer i Castillo (2016: 3). Igualment, vegeu el Codi de conducta ètica per als enginyers en robòtica annex a
la Resolució del Parlament Europeu que incorpora, entre altres, el principi de precaució.
77 La Comissió Europea (2018) ha reconegut el paper del sector públic per desenvolupar la indústria de la intel·ligència articial.
78 Sobre aquesta qüestió, no podem desconèixer que, a mesura que es vagi estenent l’ús dels algoritmes entre les administracions
públiques, serà més complex garantir un control de les decisions que es prenguin, entre altres motius perquè la manera com es prenen
les decisions a través dels algoritmes no és la mateixa que com es prenen per part dels empleats públics. En aquest sentit, Auby (2018:
162) també ha posat de manifest que “el jutge no estarà en general més preparat que el ciutadà mitjà per comprendre els algoritmes”.
A més, observa que “els instruments que utilitza habitualment per controlar els motius de la decisió administrativa i la relació de la
decisió amb els motius puguin mantenir la seva ecàcia habitual” perquè s’adrecen a racionalitats clàssiques i causals.
79 Més enllà de les propostes institucionals, no podem desconèixer que diversos autors també han plantejat l’oportunitat o la
necessitat de crear un organisme o agència. Així, Barocas i Selbts (2016) proposen un òrgan regulador per supervisar els proveïdors
i detectar resultats esbiaixats. Tutt (2017: 15) també suggereix una agència reguladora per als algoritmes. Scherer (2016) proposa la
creació d’una agència federal d’intel·ligència articial. Calo (2015: 555-556), la creació d’una comissió federal de robòtica. També
donen suport a la creació d’òrgans reguladors Mittelstadt (2016) i Ponce (2019). Altres autors no fan proposes tan ambicioses, però
també reconeixen l’oportunitat de crear òrgans assessors per fer recomanacions polítiques (West i Allen, 2018).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 24
Igualment, l’Ofce of Science and Technology Policy de la Casa Blanca nord-americana proposa la creació
d’un organisme federal sobre robòtica i intel·ligència articial per assessorar sobre aspectes polítics, jurídics
i de protecció dels consumidors.80
7 Conclusions
La governança intel·ligent genera nous riscos per a les administracions públiques. En aquest article hem
tingut l’oportunitat d’analitzar com l’opacitat és un dels principals problemes amb què s’han d’enfrontar les
administracions públiques quan utilitzen algoritmes en la presa de decisions. També hem pogut reconèixer la
importància de la transparència i de la rendició de comptes com a principis per donar-hi resposta.
Tanmateix, al llarg de les pàgines anteriors hem pogut constatar algunes de les limitacions que presenten els
mecanismes de transparència i rendició de comptes quan les administracions públiques utilitzen algoritmes
en la presa de decisions. Si bé és evident que aquests no han estat regulats per donar resposta a la governança
intel·ligent, les administracions públiques tampoc no estan impulsant els canvis sucients per ser més
transparents ni tampoc per rendir comptes millor quan utilitzen algoritmes. A més, la complexitat que
caracteritza tota la informació relativa als algoritmes i el seu funcionament limita signicativament el paper
que pot tenir la ciutadania per controlar l’activitat de les administracions públiques a través dels algoritmes.81
Per donar resposta a aquestes limitacions s’ha proposat crear un marc institucional que permeti garantir
la seguretat —jurídica i tecnològica—, la transparència i la responsabilitat en l’ús dels algoritmes per les
administracions públiques. Aquest marc es podria formalitzar a través de la creació d’un organisme que
vetllés pel desenvolupament de la governança intel·ligent, i en el qual s’aconseguís una àmplia participació
de tots els implicats en el desenvolupament de la intel·ligència articial a les administracions públiques.
Aquest organisme esdevindria un node de la governança intel·ligent i constituiria un bon instrument per obrir
la caixa negra dels algoritmes perquè la intel·ligència articial contribueixi a la construcció d’un nou model
de gestió pública que es fonamenti en una relació entre les administracions públiques i la ciutadania més
ecaç, però també més transparent i responsable.82
8 Referències bibliogràques
Alamillo Domingo, Ignacio. (2017). La regulación de la tecnología: La superación del modelo papel como
elemento de transformación digital innovadora. Dins Isaac Martín Delgado (ed.), La reforma de
la administración electrónica: una oportunidad para la innovación desde el derecho (p. 79-130).
Madrid: Instituto Nacional de Administración Pública.
Ananny, Mike i Crawford, Kate. (2018). Seeing without knowing: Limitations of the transparency ideal and
its application to algorithmic accountability. New Media & Society, 20(3), 973-989.
Aneesh, Aneesh. (2016). Technologically coded authority: The post-industrial decline in bureaucratic
hierarchies. Stanford: Stanford University.
Auby, Jean-Bernard. (2018). Contrôle de la puissance publique et gouvernance par algorithme. A Diana-
Urania Galetta & Jacques Ziller (eds.), Das öffentliche Recht vor den Herausforderungen der
Informations-und Kommunikationstechnologien jenseits des Datenschutzes | Information and
Communication Technologies Challenging Public Law, Beyond Data Protection | Le droit public au
dé des technologies de l’information et de la communication, au-delà de la protection des donnés (p.
153-166). Baden-Baden: Nomos Verlagsgesellschaft mbH & Co. KG.
80 (Executive Ofce of the President National Science and Technology Council Committee on Technology, 2016).
Igualment, la Science and Technology Committee de la Cambra dels Comuns també apunta la necessitat de crear una comissió
(standing commission) que tingui el lideratge sobre les implicacions ètiques, jurídiques i socials de la intel·ligència articial (House
of Commons, 2016).
81 Cal evitar que el poder quedi concentrat en les mans d’aquelles poques persones que puguin accedir als algoritmes i comprendre
com funcionen (Fink, 2017: 1454).
82 En aquest sentit, són il·lustratives les paraules de Coglianese i Lehr (2018: 49) en armar que “a government that makes use of
so-called black-box algorithms need not be a black-box government”.
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 25
Barocas, Solon i Selbst, Andrew D. (2016). Big data’s disparate impact. California Law Review, 104, 671-
732.
Benítez, Raúl; Escudero, Gerard; Kanaan, Samir i Masip Rodó, David. (2013). Inteligencia articial
avanzada. Barcelona: EdiUOC.
Berggruen, Nicolas i Gardels, Nathan. (2012). Gobernanza inteligente para el siglo XXI. Madrid: Taurus.
Binns, Reuben. (2017). Algorithmic Accountability and Public Reason. Philosophy & Technology, 31(4),
543-556. Consultat a https://doi.org/10.1007/s13347-017-0263-5
Bovens, Mark; Schillemans, Thomas i Hart, Paul ’t. (2008). Does public accountability work? An assessment
tool. Public Administration, 86(1), 225-242.
Boyd, Danah. (2017). Toward Accountability. Data, Fairness, Algorithms, Consequences. Points. Consultat
a https://points.datasociety.net/toward-accountability-6096e38878f0
Brauneis, Robert i Goodman, Ellen P. (2017). Algorithmic transparency for the smart city. Yale Journal of
Law & Technology, 20, 104-176.
Burrell, Jenna. (2016). How the machine ‘thinks’: Understanding opacity in machine learning algorithms.
Big Data & Society, 3(1). https://doi.org/10.1177/2053951715622512
Calo, Ryan. (2015). Robotics and the Lessons of Cyberlaw. California Law Review, 103(3), 513-563.
Cerrillo i Martínez, Agustí. (2017). The Principles of Good Governance. Dins Ali Farazmand (ed.), Global
Encyclopedia of Public Administration, Public Policy, and Governance (1-15). Cham: Springer
International Publishing.
Cerrillo i Martínez, Agustí. (2018). Datos masivos y datos abiertos para una gobernanza inteligente. El
profesional de la información, 27(5), 1128-1135.
Cerrillo i Martínez, Agustí. (2019). El impacto de la inteligencia articial en el Derecho administrativo
¿Nuevos conceptos para nuevas realidades técnicas? Revista General de Derecho Administrativo, (50).
Citron, Danielle K. (2007). Technological due process. Washington University Law Review, 85, 1249-1313.
Coglianese, Cary i Lehr, David. (2017). Regulating by Robot: Administrative Decision Making in the
Machine-Learning Era. The Georgetown Law Journal, 105(5), 1147-1223.
Coglianese, Cary i Lehr, David. (2018). Transparency and Algorithmic Governance. Administrative Law
Review, 70(4).
Comisión Europea. (2018). Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al
Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones ‘Inteligencia articial
para Europa’ COM(2018) 237 nal.
Consultative Committee of the Convention for the Protection of Individuals with regard to Automatic
Processing of Personal Data. (2018). Report on Articial Intelligence. Articial Intelligence and Data
Protection: Challenges and Possible Remedies. Estrasburg: Consell d’Europa.
Coppolani, Pascal. (2017). Le décret n° 2017–330 du 14 mars 2017 relatif aux droits des personnes faisant
l’objet de décicions individuelles prises sur le fondement d’un traitement algorithmique: vers un
victoire à la pyrrhus? I2D: information, données & documents, 54(4), 16-21.
Danaher, John; Hogan, Michael J.; Noone, Chris; Kennedy, Rónán; Behan, Anthony; De Paor, Aisling,... i
Shankar, Kalpana. (2017). Algorithmic governance: Developing a research agenda through the power
of collective intelligence. Big Data & Society, 4(2), 1-21. https://doi.org/10.1177/2053951717726554.
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 26
De Laat, Paul B. (2017). Algorithmic Decision-Making Based on Machine Learning from Big Data: Can
Transparency Restore Accountability? Philosophy & Technology, 31(2), 1-17. https://doi.org/10.1007/
s13347-017-0293-z
Deloitte. (2018). Articial Intelligence Innovation Report.
Diakopoulos, Nicholas. (2014). Algorithmic-Accountability: the investigation of Black Boxes. Tow Center
for Digital Journalism.
Diakopoulos, Nicholas. (2016). Accountability in algorithmic decision making. Communications of the
ACM, 59(2), 56-62.
Diakopoulos, Nicholas; Friedler, Sorelle; Arenas, Marcelo; Barocas, Solon; Hay, Michael; Howe, Bill,... i
Zevenbergen, Bendert. (2017). Principles for Accountable Algorithms and a Social Impact Statement
for Algorithms. Consultat a https://www.fatml.org/resources/principles-for-accountable-algorithms
Doneda, Danilo i Almeida, Virgilio. (2016). What Is Algorithm Governance? IEEE Internet Computing.
20(4), 60-63. https://doi.org/10.1109/MIC.2016.79
Doshi-Velez, Finale i Kortz, Mason. (2017). Accountability of AI Under the Law: The Role of Explanation.
Berkman Klein Center Working Group on Explanation and the Law, Berkman Klein Center for Internet
& Society working paper.
Edwards, Lilian i Veale, Michael. (2017). Slave to the Algorithm? Why a ‘Right to an Explanation’ is
Probably not the Remedy you are Looking for. Duke Law & Technology Review, 16, 18-84.
Eggers, William D.; Schatsky, David i Viechnicki, Peter. (2018). AI-augmented government. Using cognitive
technologies to redesign public sector work. Deloitte Center for Government Insights.
Etzioni, Amitai i Etzioni, Oren. (2016). Keeping AI legal. Vanderbilt Journal of Entertainment & Technology
Law, 19(1), 133-146.
Executive Ofce of the President. (2014). Big Data: Seizing Opportunities, Preserving Values.
Executive Ofce of the President National Science & Technology Council Committee on Technology.
(2016). Preparing for the Future of Articial Intelligence.
Federal Financial Supervisory Authority. (2018). Big data meets articial intelligence. Challenges and
implications for the supervision and regulation of nancial services.
Fernández Ramos, Severiano i Pérez Monguió, José María. (2017). El derecho de acceso a la información
pública en España. Cizur Menor: Thomson Reuters-Aranzadi.
Fink, Katherine. (2017). Opening the government’s black boxes: freedom of information and algorithmic
accountability. Information, Communication & Society, 21(10), 1-19.
García-Prieto Cuesta, Juan. (2018). ¿Qué es un robot? Dins Moisés Barrio Andrés (ed.), Derecho de los
Robots (p. 25-60). Madrid: La Ley-Wolters Kluwer.
Hassan, Samer i De Filippi, Primavera. (2017). The Expansion of Algorithmic Governance: From Code is
Law to Law is Code. Journal of Field Actions, (17), 88-90.
Hill, Robin. (2016). What an algorithm is. Philosophy & Technology, 29(1), 35-59.
Hoffmann-Riem, Wolfgang. (2018). Big Data. Desafíos también para el Derecho. Cizur Menor: Civitas.
Holder, Chris; Khurana, Vikram; Harrison, Faye i Jacobs, Louisa. (2016). Robotics and law: Key legal and
regulatory implications of the robotics age (Part I of II). Computer Law & Security Review, 32(3),
383-402. https://doi.org/10.1016/j.clsr.2016.03.001
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 27
House of Commons. (2016). Robotics and articial intelligence.
Kaplan, Jerry. (2017). Inteligencia articial. Lo que todo el mundo debe saber. Zaragoza: Teell.
Kroll, Joshua A.; Huey, Joanna; Barocas, Solon; Felten, Edward W.; Reidenberg, Joel R.; Robinson, David
G. i Yu, Harlan. (2017). Accountable algorithms. University of Pennsylvania Law Review, 165(3),
633-705.
Lehr, David i Ohm, Paul. (2017). Playing with the Data: What Legal Scholars Should Learn About Machine
Learning. University of California Davies Law Review, 51(2), 653-717.
Lepri, Bruno; Oliver, Nuria; Letouzé, Emmanuel; Pentland, Alex i Vinck, Patrick. (2017). Fair, Transparent,
and Accountable Algorithmic Decision-making Processes. Philosophy & Technology, 31(3), 1-17.
https://doi.org/10.1007/s13347-017-0279-x
Mancosu, Giorgio. (2018). Les algorithmes publics déterministes au prisme du cas italien de la mobilité des
enseignants. Revue générale du droit, (29646).
Mateo Borge, Iván. (2017). La robótica y la inteligencia articial en la prestación de servicios jurídicos.
Dins Susana Navas Navarro (ed.), Inteligencia articial. Tecnología. Derecho (p. 123-150). València:
Tirant lo Blanch.
Mayer-Schönberger, Viktor i Cukier, Kenneth. (2013). Big data. La revolución de los datos masivos. Madrid:
Turner.
Mir Puigpelat, Oriol. (2017). L’accés a la informació pública en la legislació espanyola de transparència:
crònica d’un canvi de paradigma. Revista Catalana de Dret Públic, (55), 48-66. https://doi.org/10.2436/
rcdp.i55.2017.3018
Mittelstadt, Brent. (2016). Auditing for Transparency in Content Personalization Systems. International
Journal of Communication, (10), 4991-5002.
Mittelstadt, Brent, Allo, Patrick, Taddeo, Mariarosaria, Wachter, Sandra, i Floridi, Luciano. (2016).
The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2), 1-21. https://doi.
org/10.1177/2053951716679679
Mulligan, Deirdre K. i Bamberger, Kenneth A. (2018). Saving Governance-by-Design. California Law
Review, 106(3), 697-784.
Muñoz Soro, José Félix i Bermejo Latre, José Luis. (2014). La redenición del ámbito objetivo de la
transparencia y el derecho de acceso a la información del sector público. Dins Julián Valero Torrijos
i Manuel Fernández Salmerón (ed.), Régimen jurídico de la transparencia del sector público. Del
derecho de acceso a la reutilización de la información (p. 189-239). Cizur Menor: Thomson Reuters-
Aranzadi.
Olhede, Soa i Rodrigues, Russell. (2017). Fairness and transparency in the age of the algorithm. Signicance,
14(2), 8-9.
Parlamento Europeo. (2017). Resolución del Parlamento Europeo, de 16 de febrero de 2017, con
recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica.
Partnership for Public Service i IBM Center for the Business of Government. (2018). The future has begun.
Using articial intelligence to transform government.
Pasquale, Frank. (2015). The Black Box Society: The Secret Algorithms That Control Money and Information.
Cambridge (Massachusetts): Harvard University Press.
Ponce Solé, Juli. (2019). Inteligencia articial, Derecho administrativo y reserva de humanidad: algoritmos
y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, (50).
Agustí Cerrillo i Martínez
Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes
Revista Catalana de Dret Públic, núm. 58, 2019 28
Ramió Matas, Carles. (2019). Inteligencia articial y administración pública. Robots y humanos compartiendo
el servicio público. Madrid: Catarata.
Salkin, Ceren; Oner, Mahir; Ustundag, Alp i Cevikcan, Emre. (2017). A Conceptual Framework for Industry
4.0. Dins Alp Ustundag i Emre Cevikcan (eds.), Industry 4.0: Managing The Digital Transformation
(p. 3-23). Berlín: Springer.
Scherer, Matthew U. (2016). Regulating articial intelligence systems: Risks, challenges, competencies, and
strategies. Harvard Journal of Law & Technology, 29(2), 353-400.
Selbst, Andrew D. i Barocas, Solon. (2018). The Intuitive Appeal of Explainable Machines. Fordham Law
Review, 87(3), 1085-1139.
Stanford University. (2016). Articial Intelligence and Life in 2030. One Hundred Year Study on Articial
Intelligence: Report of the 2015-2016 Study Panel. Stanford.
Tanz, Jason. (2016, juliol 17). Soon we won’t program computers. We’ll train them like dogs. Wired.
Consultat a https://www.wired.com/2016/05/the-end-of-code/
The Economist. (6 de maig de 2017). Data is giving rise to a new economy. How is it shaping up? Consultat
a https://www.economist.com/brieng/2017/05/06/data-is-giving-rise-to-a-new-economy
Thierer, Adam i Castillo, Andrea. (2016). Preparing for the Future of Articial Intelligence. Public Interest
Comment. Arlington (Virgínia, EUA): George Mason University.
Tutt, Andrew. (2017). An FDA for algorithms. Administrative Law Review, 69(1), 84-123.
Valero Torrijos, Julián. (2007). El régimen jurídico de la e-Administración (2a edició). Granada: Comares.
Vedder, Anton i Naudts, Laurens. (2017). Accountability for the use of algorithms in a big data environment.
International Review of Law, Computers & Technology, 31(2), 206-224.
Wachter, Sandra; Mittelstadt, Brent i Floridi, Luciano. (2017). Why a right to explanation of automated
decision-making does not exist in the general data protection regulation. International Data Privacy
Law, 7(2), 76-99.
West, Darrell M. i Allen, John R. (24 d’abril de 2018). How articial intelligence is transforming the world.
Consultat a https://www.brookings.edu/research/how-articial-intelligence-is-transforming-the-world
World Wide Web Foundation. (2017). Algorithmic Accountability. Applying the concept to different country
contexts.
Yeung, Karen. (2017). Algorithmic regulation: a critical interrogation. Regulation & Governance, 12(4),
505-523. https://doi.org/10.1111/rego.12158
Zarsky, Tal. (2016). The Trouble with Algorithmic Decisions: An Analytic Road Map to Examine Efciency
and Fairness in Automated and Opaque Decision Making. Science, Technology, & Human Values,
41(1), 118-132. https://doi.org/10.1177/0162243915605575
Zerilli, John; Knott, Alistair; Maclaurin, James i Gavaghan, Colin. (2018). Transparency in Algorithmic and
Human Decision-Making: Is There a Double Standard? Philosophy & Technology, 1-23. https://doi.
org/10.1007/s13347-018-0330-6
