Información jurídica inteligente
 España | 900 649 672

Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial

Document Citas 10 Citado por Relacionados
Vincent
AutorGuillem Izquierdo Grau
CargoProfesor lector (tenure-eligible lecturer Serra Húnter) del Departamento de Derecho Privado de la Universidad Autónoma de Barcelona
Páginas1-12
https://idp.uoc.edu
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
1
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
ARTÍCULO
Software y algoritmos defectuosos:
algunas consideraciones sobre la
responsabilidad del desarrollador
de software o de sistemas de
inteligencia articial
Dr. Guillem Izquierdo Grau
Universidad Autónoma de Barcelona
Fecha de presentación: octubre 2022
Fecha de aceptación: marzo 2023
Fecha de publicación: octubre 2023
Resumen
El pasado 28 de septiembre de 2022, la Comisión Europea publicó la Propuesta de Directiva que debe
reemplazar la longeva Directiva 85/374/CEE sobre daños causados por productos defectuosos. Uno
de los problemas de la actual directiva que regula esta materia es la dif‌icultad técnica que plantea su
aplicabilidad a los daños causados por bienes que incorporan sistemas de inteligencia artif‌icial. Habida
cuenta de que solo se aplica a los daños causados por bienes muebles, deja fuera de su ámbito de
aplicación los daños causados por un algoritmo. No obstante, el legislador europeo se ha propuesto
enderezar esta situación y la Propuesta de Directiva af‌irma que el software y los sistemas de inteli-
gencia artif‌icial son un producto. Además, engloba dentro del concepto de productor al desarrollador
o proveedor de sistemas de inteligencia artif‌icial. En el presente trabajo abordaremos el texto de la
Propuesta de Directiva y la regulación de uno de los aspectos clave de la nueva regulación: la respon-
sabilidad del desarrollador del software o del algoritmo.
Palabras clave
inteligencia artif‌icial; producto defectuoso; bienes con elementos digitales; desarrollador de algoritmos;
proveedor de sistemas de inteligencia artif‌icial; desarrollador de software
https://idp.uoc.edu
Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
2
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Defective software and algorithms: some considerations on
the liability of the software or AI system developer
Abstract
On 28 September 2022, the European Commission published the Proposal for a Directive to replace
the long-standing Directive 85/374/EEC on defective products. One of the problems with the current
directive regulating this matter is the technical diff‌iculty posed by its applicability to damage caused
by goods that incorporate artif‌icial intelligence systems. Given that it only applies to damage caused
by movable goods, it leaves damage caused by an algorithm outside its scope of application. However,
the European legislator has set out to remedy this situation and the Proposal for a Directive states
that software and artif‌icial intelligence systems are a product. Furthermore, it includes the developer
or provider of artif‌icial intelligence systems within the concept of producer. In this paper, we will deal
with the text of the Proposal for a Directive and the regulation of one of the key aspects of the new
regulation: the liability of the software or algorithm developer.
Keywords
artif‌icial intelligence, defective products, goods with digital elements, algorithm developer, artif‌icial
intelligence system developer, software developer
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
3
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
Introducción
El pasado 28 de septiembre de 2022, la Comisión Euro-
pea hizo pública la Propuesta de Directiva en materia de
responsabilidad civil por daños causados por productos
defectuosos (Comisión Europea, 2022), que debe reem-
plazar la longeva Directiva 85/374/CEE. La Propuesta de
Directiva constituye, por tanto, el documento base que se
discutirá en el Parlamento Europeo y en el Consejo y que
puede culminar dentro de un par de años con la adopción
de una nueva directiva sobre esta materia. Auguramos que
la Propuesta de Directiva comentada se verá afectada por
importantes modif‌icaciones realizadas en el texto durante
el procedimiento legislativo dada la redacción actual.
Sin entrar a valorar otras cuestiones novedosas que in-
corpora la Propuesta de Directiva, podemos decir que el
texto adoptado sigue unas directrices que ya estableció
el legislador europeo en 2019 cuando se adoptó la Direc-
tiva (UE) 2019/771 relativa a determinados aspectos de
los contratos de compraventa de bienes: la concepción
unitaria del bien, a pesar de que actualmente los bienes
incorporan elementos digitales y la concentración de la
responsabilidad (en nuestro caso extracontractual) en el
productor del bien, si bien con algunos matices que se
abordarán a lo largo del artículo.
La Propuesta de Directiva amplía el grupo de sujetos que
reciben la consideración de productor, incluyendo al pro-
gramador del software y al desarrollador del sistema de
inteligencia artif‌icial. Por tanto, de acuerdo con este plan-
teamiento, el art. 7 de la Propuesta de Directiva reconoce
que la víctima del daño causado por el producto defec-
tuoso puede dirigirse contra el productor del componente
(vid. considerando n.º 40 de la Propuesta de Directiva) y
no contra el productor del bien globalmente concebido si
el daño fuera imputable al software o al sistema de inteli-
gencia artif‌icial y si la víctima fuera capaz de identif‌icarlo.
Es por este motivo que el presente artículo aborda la
regulación actual contenida en la Propuesta de Directiva
relativa al software y al algoritmo como productos y los
sujetos responsables para profundizar en una problemá-
tica que preocupa al legislador comunitario: la responsa-
1. Vid. Art. 2.1) y 2) de la Directiva (UE) 2019/770 del Parlamento Europeo y del Consejo, de 20 de mayo de 2019, relativa a determinados
aspectos de los contratos de suministro de contenidos y servicios digitales (en adelante, DCSD).
bilidad de los desarrolladores de software y de sistemas
de inteligencia artif‌icial en línea. En particular, el presente
artículo aborda el supuesto del software o algoritmo libres
y de código abierto suministrados fuera del transcurso de
una actividad comercial. La Propuesta de Directiva opta
por excluir de su ámbito de aplicación los daños causados
por estos software o algoritmos cuando no se suministren
en el marco de una actividad comercial (vid. considerando
n.º 13). No obstante, cuando se suministran a cambio de
un precio o de datos en el marco de una actividad em-
presarial quedarán dentro del ámbito de aplicación de
la Propuesta de Directiva. Para evitar que los primeros
escapen del ámbito de aplicación de la futura directiva,
se propone reconducir aquellos supuestos al caso de los
bienes reacondicionados.
1. Productos, componentes y
servicios relacionados
1.1. Concepto de producto. La consideración
de la inteligencia articial y el software
como productos
El principal motivo por el cual es necesario adoptar una
nueva directiva en la materia que nos ocupa es la necesi-
dad de adaptar la nueva regulación a la complejidad de los
productos que han irrumpido en el mercado: los llamados
bienes con elementos digitales, que pueden incorporar
sistemas de inteligencia artif‌icial. La particularidad de
este tipo de bienes es que podemos distinguir, por un lado,
el bien mueble tangible (hardware) y, por otro lado, los ele-
mentos (contenidos y servicios) digitales.
1
Además, en la
era digital no todos los productos son tangibles, sino que
se han introducido en el mercado los productos o servi-
cios digitales (sistemas operativos, programas de ordena-
dor, aplicaciones o sistemas de inteligencia artif‌icial) que
no necesariamente se encuentran incorporados en un bien
mueble tangible y que se pueden descargar e incorporar
posteriormente en productos fuera del ámbito de control del
productor (considerando n.º 12 de la Propuesta de Directiva).
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
4
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
Son conocidos los problemas de encaje de este tipo de
bienes dentro de la def‌inición de producto de la aún vi-
gente Directiva 85/374/CEE (Abbott et al., 2019). Es por
ello por lo que la Propuesta de Directiva pretende cerrar
el debate doctrinal existente e incluir dentro del ámbito de
aplicación de la futura norma el software y los servicios y
contenidos digitales. En este sentido, el art. 4.1) de la Pro-
puesta de Directiva def‌ine el concepto de producto de la
siguiente forma: «cualquier bien mueble, aun cuando esté
incorporado a otro bien mueble o a un bien inmueble; por
«producto» se entiende también la electricidad, los archi-
vos de fabricación digital y los programas informáticos».
La def‌inición de producto que incorpora la Propuesta de
Directiva está inspirada en la def‌inición contenida en la Di-
rectiva 85/374/CEE. El elemento nuclear de la nueva def‌i-
nición de producto es su carácter mueble, que puede estar
incorporado en otro bien mueble o en un bien inmueble.
Hasta aquí, la def‌inición de la Propuesta de Directiva no
aporta nada nuevo. Seguidamente, la def‌inición incorpora
dos nuevos conceptos inexistentes en la def‌inición de pro-
ducto de la Directiva 85/374/CEE, además de la electricidad:
los archivos o copias de fabricación digital (considerando n.º
14 de la Propuesta de Directiva) y el software.
A mi entender, la def‌inición de producto que incorpora
la Propuesta de Directiva es confusa porque, juntamente
con los bienes muebles, la def‌inición incluye determi-
nados tipos de bienes que son intangibles. Hubiera sido
deseable que la def‌inición incluyera, por un lado, los
bienes muebles, independientemente de que incorporen
elementos digitales o no y, por otro lado, los elementos
digitales propiamente dichos (contenidos y servicios digi-
tales), destacando la necesidad de que estos se encuen-
tren incorporados o interconectados con bienes muebles
tangibles, de tal forma que sin ellos el producto no podría
realizar sus funciones. Además, para construir un sistema
coherente y en armonía con las Directivas sobre la falta de
conformidad de los bienes y de los contenidos o servicios
digitales (es decir, las Directivas (UE) 2019/770 y 2019/771
[twin directives]), considero que sería deseable que, en
lugar de referirse al software, se hiciera referencia a los
servicios digitales y que estos se def‌inieran por remisión a
lo dispuesto en la Directiva (UE) 2019/770. De esta forma,
el uso de los mismos conceptos dotaría de coherencia a
la legislación europea en materia de responsabilidad civil
contractual y extracontractual (en el mismo sentido, vid.
Wendehorst, 2021, págs. 19-21).
Del tenor literal del considerando n.º 12 de la Propuesta
de Directiva también resulta que el sistema de inteligencia
artif‌icial o algoritmo tiene la consideración de programa in-
formático (software) y, consecuentemente, de producto. Por
tanto, el legislador europeo cierra uno de los debates (por
todos, Chagal-Federkorn, 2019, págs. 61-114) más importantes
que existía en torno a la Directiva 85/374/CEE, que no hacía
referencia alguna a esta cuestión, por lo que la reforma es
bienvenida. Se desprende del considerando n.º 12 de la Pro-
puesta de Directiva que la Comisión Europea está pensando
en programas informáticos que inicialmente pueden presen-
tarse incorporados en productos, o bien en programas infor-
máticos que son autónomos y que se integran posteriormen-
te en el producto. Es decir, lo que a tenor del considerando
n.º 12 de la Propuesta de Directiva determina la inclusión de
los programas informáticos y de los sistemas de inteligencia
artif‌icial dentro del ámbito de aplicación de la Propuesta de
Directiva es su incorporación o interconexión en productos.
Por su parte, el considerando n.º 15 de la Propuesta de Di-
rectiva se ref‌iere a los servicios digitales. Ya hemos dicho
que la Propuesta de Directiva no prevé una def‌inición de
servicios digitales y nos hemos posicionado en el sentido
que la futura directiva debería referirse tanto a los conte-
nidos o servicios digitales por remisión a lo dispuesto en
el art. 2 de la DCSD. A tenor de lo dispuesto en el consi-
derando n.º 15 de la Propuesta de Directiva para el caso
de los servicios digitales, el criterio de la incorporación o
interconexión en productos tangibles es fundamental para
aplicar a este tipo de productos las previsiones de la Pro-
puesta de Directiva. A pesar de que el considerando n.º 15
de la Propuesta de Directiva declare que no debe aplicarse
a los servicios digitales como tales, sí que es necesario
extender sus efectos a los servicios digitales cuando estos
estén incorporados o interconectados con productos, de
tal forma que a falta de aquellos el producto no podría
realizar sus funciones. Por tanto, a mi juicio, el criterio
de la incorporación o interconexión del software y de los
servicios digitales en productos resulta determinante para
que la Propuesta de Directiva sea aplicable a los daños
causados por productos intangibles.
1.2. ¿El software es un contenido o un servicio
digital?
A continuación, la Propuesta de Directiva incorpora la
def‌inición de archivo de fabricación digital. Este concepto
está explicado en el considerando n.º 14 de la Propuesta de
Directiva. De su tenor literal se desprende que el legislador
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
5
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
europeo está haciendo referencia a los archivos que contie-
nen la información necesaria para producir un bien tangible
mediante un dispositivo (por ejemplo, una impresora 3D).
Como se ha adelantado en el epígrafe anterior, a mi juicio
hubiera sido más conveniente def‌inir el concepto de pro-
ducto (en lo que al software se ref‌iere) por remisión a lo
dispuesto en el art. 2.1) y 2) de la Directiva (UE) 2019/770,
que def‌inen lo que debe entenderse por contenido o ser-
vicio digital. Asimismo, la incorporación de los archivos de
fabricación digital de un bien mueble dentro del concepto
de producto (considerando n.º 14 de la Propuesta de Direc-
tiva) nos induce a pensar que quizá el legislador europeo
también pretende que los contenidos digitales sean consi-
derados como productos, habida cuenta de las dif‌icultades
que existen para diferenciar los conceptos de contenido y
servicio digitales (Mischau, 2022, págs. 6-13). Por tanto, si la
voluntad del legislador fuera considerar los contenidos digi-
tales como productos, a mi entender sería oportuno revisar
la actual def‌inición de producto de la Propuesta de Directiva
para que incluya los contenidos digitales por remisión a lo
dispuesto en el art. 2.1) de la Directiva (UE) 2019/770.
1.3. ¿El software es un producto, un
componente o un servicio conexo?
Seguidamente, la Propuesta de Directiva introduce dos nue-
vas def‌iniciones referidas a los componentes y a los servicios
conexos. Asimismo, para comprender ambos conceptos
debemos acudir nuevamente a lo dispuesto en el conside-
rando n.º 15 de la Propuesta de Directiva, que se ref‌iere a los
servicios digitales como componentes y servicios conexos.
Desde mi punto de vista, la consideración de los servicios
digitales como componentes o servicios conexos es co-
herente con la premisa de la que parte la Propuesta de
Directiva, que toma como base la def‌inición de producto
de la Directiva 85/374/CEE en el sentido de reconocer los
caracteres de movilidad y tangibilidad como elementos
fundamentales de la def‌inición. No obstante, esta premisa
casa mal con la voluntad de adaptar la legislación sobre
responsabilidad por productos defectuosos a la nueva rea-
lidad existente, donde los bienes con elementos digitales
han ganado peso en el mercado. Actualmente, la impor-
tancia del software es mucho mayor que en el momento
2. Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia
artificial (Ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión COM(2021) 206 final 2021/0106 (COD).
3. El art. 3 de la Directiva 85/374/CEE considera productor también al fabricante de un componente, pero no declara su condición de
responsable como lo hace la Propuesta de Directiva analizada.
en que se adoptó la Directiva 85/374/CEE, por lo que
pienso que la consideración del software como un servicio
conexo o un componente debería abandonarse para que
el texto fuera acorde con la nueva realidad (Navarro-Mi-
chel, 2020, pág. 208). En este sentido, debemos huir de
una interpretación del concepto de componente en clave
de accesoriedad respecto del producto concebido como un
todo, sino como un integrante de este que conforma el todo.
2. Operadores económicos
responsables
2.1. La responsabilidad del productor. Ideas
generales
La Propuesta de Directiva analizada declara la aplicabilidad
del régimen jurídico que establece, al margen de lo pre-
venido en la Propuesta de Reglamento sobre inteligencia
artif‌icial.
2
Por tanto, podemos deducir que la voluntad del
legislador europeo es regular esta materia de forma unita-
ria sin remisiones a otras normas de la Unión Europea.
La Propuesta de Directiva dedica su artículo 7.1 a la determi-
nación de los sujetos responsables por los daños causados
por productos defectuosos. A partir de su tenor literal po-
demos extraer las premisas de las que parte el precepto. En
primer lugar, la Propuesta de Directiva concentra la respon-
sabilidad del daño en el productor, de la misma forma que la
Directiva 85/374/CEE. A continuación, el precepto remarca
que, cuando el daño causado sea provocado por un compo-
nente defectuoso, su productor responderá por el mismo
daño. Se trata de una previsión que no tiene un precedente
claro en la Directiva 85/374/CEE
3
y que, sin duda alguna, es
coherente con la consideración del proveedor del software
o del sistema de inteligencia artif‌icial como productor (con-
siderando n.º 12 de la Propuesta de Directiva).
Por su parte, el art. 11 de la Propuesta de Directiva declara,
siguiendo el mismo esquema que la Directiva 85/374/CEE,
la responsabilidad solidaria de los operadores económicos
responsables. La responsabilidad solidaria de los agentes
intervinientes pretende facilitar la reclamación de respon-
sabilidad de la víctima, pues sabe que dirigiendo la de-
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
6
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
manda contra cualquier operador económico responsable
según el art. 7 de la Propuesta de Directiva no se incurrirá
en ningún vicio procesal (litisconsorcio pasivo necesario
o falta de legitimación pasiva) y que, si se cumplen los
demás requisitos (prueba del daño, defecto del producto y
nexo causal entre ambos), triunfará su reclamación.
2.2. Concepto de productor. Hardware
manufacturer frente a software
manufacturer
Una novedad que incorpora la Propuesta de Directiva
(considerando n.º 12 in f‌ine) es la atribución de la condi-
ción de productor al desarrollador del software o del siste-
ma de inteligencia artif‌icial, sujeto a quien se conoce con
el nombre de software manufacturer en contraposición al
productor del bien mueble tangible donde puede incorpo-
rarse el software, el llamado hardware manufacturer. La
ampliación del círculo de sujetos que debían considerarse
productores había sido reclamada por la doctrina (Navas
Navarro, 2020, pág. 167; Eidenmüller, 2021, pág. 14; Wag-
ner, 2021, págs. 90-91) de acuerdo con el planteamiento de
considerar el software como producto a la luz de la futura
directiva que se adopte en esta materia.
El art. 3 de la Directiva 85/374/CEE ya consideraba al pro-
ductor de un componente o de una parte integrante como
productor, pero la Propuesta de Directiva ha venido a cla-
rif‌icar que el desarrollador del software o del sistema de
inteligencia artif‌icial es productor, habida cuenta de que,
como productor de un software, quedaba fuera del ámbito
de aplicación de la Directiva 85/374/CEE. La aclaración es
bienvenida y, por tanto, la víctima, en virtud del principio
de responsabilidad solidaria que sigue consagrando el art.
11 de la Propuesta de Directiva, ante la imposibilidad de
determinar a qué productor es imputable el daño causado,
podrá dirigir su demanda contra el desarrollador del sof-
tware o del sistema de inteligencia artif‌icial al amparo de
la futura directiva que se adopte en esta materia.
2.3. La responsabilidad solidaria del
desarrollador del sistema de inteligencia
articial y del productor del bien
Como hemos apuntado anteriormente, la Propuesta de
Directiva se limita a declarar en su considerando n.º 12
4. Las comunicaciones M2M permiten que el robot informe al usuario o a la víctima de los defectos existentes. Además, el acceso a la caja
negra de este tipo de productos puede facilitar la carga de la prueba de la víctima. Ello puede facilitar la identificación del sujeto responsable.
que el concepto de productor engloba al desarrollador
del software y del sistema de inteligencia artif‌icial que
incorpora el producto. Sin embargo, en el articulado de la
propuesta no existe ninguna referencia al productor del
software, más allá de la previsión en el segundo párrafo
del art. 7.1 según el cual el productor de un componente
responderá por el daño causado (ya hemos señalado que
el considerando n.º 15 de la Propuesta de Directiva conci-
be el software, incluyendo la inteligencia artif‌icial, como
un componente o servicio conexo).
La consideración del desarrollador del software o del
sistema de inteligencia artif‌icial como productor tiene
como consecuencia que se incluya dentro del conjunto de
sujetos a quienes la Propuesta de Directiva, siguiendo el
esquema de la Directiva 85/374/CEE, imputa la responsa-
bilidad. Es decir, para el legislador europeo, en la medida
que el software y el algoritmo se encuentran generalmen-
te interconectados o incorporados en un producto, signif‌i-
ca que el desarrollador del software y el algoritmo podrían
haber intervenido en el proceso de fabricación del bien. La
incorporación o interconexión del software con el producto
es sumamente relevante, puesto que con independencia de
la relación contractual existente entre el productor del bien
y el del software, quienes fabricaron el producto acabado
responderán solidariamente frente a la víctima, en tanto
que ambos elementos se encuentran vinculados.
A mi modo de ver las cosas, la responsabilidad solidaria de
los productores operará cuando el bien mueble tangible
y el sistema de inteligencia artif‌icial se presenten ante la
víctima como un todo, es decir, porque ambos componen-
tes se encuentran agregados (bundled products) (Wagner,
2021, pág. 102). En otro orden de cosas nos encontraría-
mos si el software fuera instalado posteriormente por la
víctima o por otro productor fuera del ámbito de control
del productor original. Por tanto, en la medida que el daño
es provocado por un bien que incorpora un sistema de
inteligencia artif‌icial o algoritmo, tanto el productor del
bien como el productor del software serán responsables
por el daño causado. De ahí que en los supuestos de bie-
nes con sistemas de inteligencia artif‌icial incorporados
o interconectados no sea relevante para que prospere la
imputación del daño al productor del bien o al desarrolla-
dor del algoritmo, puesto que responderán solidariamente
(Navas Navarro, 2020, pág. 170).
4
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
7
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
No obstante, a pesar del reconocimiento de la responsa-
bilidad solidaria de los productores, existen algunos su-
puestos problemáticos: ¿Qué pasa en los casos donde el
software manufacturer no forma parte de la organización
del productor del bien? ¿Es un tercero? ¿Pierde la condi-
ción de tercero si el software o el sistema de inteligencia
artif‌icial se halla incorporado o interconectado con el bien
mueble? ¿Y si el software o el sistema de inteligencia arti-
f‌icial pueden descargarse libremente de la red?
2.4. ¿El desarrollador del software o algoritmo
puede ser un tercero?
Tradicionalmente, el concepto de tercero se ha explicado
en torno a la pertenencia del sujeto a la organización del
productor. Así, el tercero es un sujeto ajeno al productor,
pero con su intervención, unida al defecto que afecta al
producto, agrava el daño sufrido por la víctima. Actual-
mente, el desarrollador del software o del sistema de
inteligencia artif‌icial puede pertenecer a la organización
del productor, pero no tiene que ser así necesariamente
porque puede ser ajeno a su organización. No cabe duda
de que, si forma parte de la organización del productor, no
podrá ser considerado un tercero ni podríamos estar ante
un supuesto de responsabilidad civil vicaria (Pagallo, 2013,
págs. 130-132; Barf‌ield, 2018, págs. 193-203).
Sin embargo, a los efectos de responder a las preguntas
planteadas, en mi opinión sería útil que durante el pro-
cedimiento legislativo se introdujera en la Propuesta de
Directiva una def‌inición de producto acabado,
5
def‌inición
que tampoco incorpora la Directiva 85/374/CEE, a pesar
de que en diversos preceptos aparece este concepto. Por
ejemplo, el art. 3 de la Directiva 85/374/CEE def‌ine el
concepto de productor aludiendo al concepto de producto
acabado. Sin embargo, la referencia a un producto acaba-
do ha desaparecido del texto de la Propuesta de Directiva.
Un producto acabado es aquel que es puesto a disposición
en el mercado sin que requiera ulteriores modif‌icaciones
y sin que las actualizaciones puedan alterar dicha condi-
ción. En la medida en que el producto acabado y global-
5. Encontramos una definición en una Propuesta de Directiva de lege ferenda en European Law Institute (2022). ELI Draft of a Revised
Product Liability Directive.
6. También se echa de menos que la Propuesta de Directiva no preste más atención a los bienes reacondicionados. Tan solo encontramos
una referencia en el considerando n.º 29, que establece que estaremos ante un nuevo producto si es modificado sustancialmente cuando
está fuera del control del productor.
mente concebido incorpora, por un lado, el bien mueble
y, por otro lado, el software o el sistema de inteligencia
artif‌icial, a mi modo de ver el desarrollador del software y
del sistema de inteligencia artif‌icial no podrían ostentar la
condición de terceros, habida cuenta de que sin el softwa-
re o el sistema de inteligencia artif‌icial el bien no es capaz
de desarrollar sus funciones propias (considerando n.º 15
de la Propuesta de Directiva). Frente a la víctima impera la
concepción global del producto, independientemente de
la relación contractual existente entre el hardware manu-
facturer y el software manufacturer. Esta conclusión viene
avalada por lo dispuesto en el considerando n.º 40 de la
Propuesta de Directiva, que establece que cuando varios
operadores económicos sean responsables del mismo
daño la víctima podrá reclamar su responsabilidad tanto
al productor del bien como al productor del componente,
y que ambos responderán directa y solidariamente.
No obstante, en aquellos casos donde el bien se haya
puesto a disposición en el mercado como un producto aca-
bado y sea la víctima o un tercero ajeno a la organización
del producto originario y fuera de su control
6
quien haya
instalado un software o un sistema de inteligencia artif‌i-
cial en el producto, entonces sí que, en este último caso,
debe considerarse un tercero a los efectos de exonerar la
responsabilidad del productor originario del bien (art. 10.2
de la Propuesta de Directiva). Y es que, en este supuesto,
el desarrollador del software o del sistema de inteligencia
artif‌icial no forma parte de la organización del productor
ni tampoco el sistema está incorporado o interconectado
en el producto inicialmente. Además, la intervención en el
bien instalando el software o el algoritmo se produce con
posterioridad, después de que el bien haya sido puesto a
disposición en el mercado como un producto acabado.
De acuerdo con el texto de la Directiva 85/374/CEE, la
reclamación contra el tercero debía encauzarse según las
normas de Derecho civil de los Estados miembros, habida
cuenta de que el sujeto responsable no ostentaba la condi-
ción de productor. Actualmente, a la vista de lo dispuesto
en el art. 7 de la Propuesta de Directiva, podría conside-
rarse al desarrollador del software como productor de un
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
8
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
bien reacondicionado si el bien mueble ha sido puesto a
disposición en el mercado como un producto acabado y el
software se ha agregado en el bien posteriormente, fuera
del control del productor original. De esta forma, la pre-
tensión indemnizatoria de la víctima podría encauzarse de
acuerdo con la futura directiva europea en esta materia.
2.5. Sistemas de inteligencia articial open
source. ¿Un posible supuesto de bien
reacondicionado?
Como venimos diciendo, el software y el algoritmo no
necesariamente tienen que presentarse incorporados o
interconectados con un bien mueble tangible, sino que
pueden instalarse una vez el bien ha sido puesto a dis-
posición en el mercado. Un supuesto típico sería el de los
open source software (OSS) (Walsh y Tibbets, 2010, págs.
9-14). Recientemente, el Comité Especial de Inteligencia
Artif‌icial en la Era Digital (AIDA)
7
del Parlamento Europeo
publicó un estudio
8
(Theben et al., 2021, págs. 12-13) sobre
los retos y los límites de los sistemas de inteligencia arti-
f‌icial que apunta a algunos de los problemas relacionados
con estos softwares.
A la luz del texto de la Propuesta de Directiva nos plantea-
mos cuál sería el tratamiento de este tipo de productos.
Bajo el pretexto de no perjudicar la innovación, el conside-
rando n.º 13 parte de la no aplicación de la futura directiva
al software de código abierto que puede descargarse gra-
tuitamente de la red, siempre que se desarrolle o sumi-
nistre al margen de una actividad comercial. No obstante,
la Propuesta de Directiva declara que estos productos sí
que se engloban dentro del ámbito de aplicación de la
Directiva cuando se suministran a cambio de un precio o
cuando los datos personales del usuario se suministran al
desarrollador del software con otra f‌inalidad que no sea
mejorar la seguridad, la compatibilidad o la interoperabi-
lidad del software. La Propuesta de Directiva, por tanto,
7. AIDA es la abreviatura en inglés de Artificial Intelligence in a Digital Era.
8. Los sistemas de inteligencia artificial de este tipo de software se basan en el machine-learning. En la medida que el algoritmo tiene
que trabajar con los datos de los usuarios existe el riesgo de que algunas organizaciones o individuos se apropien indebidamente de
la información para fines ilícitos o ilegítimos que no ampara la licencia. Asimismo, el informe apunta a la necesidad de determinar la
responsabilidad resultante de las decisiones del algoritmo que provoquen un daño a los usuarios.
9. Sobre las cuestiones relativas a la consideración de los datos personales como contraprestación en relación con la DCSD y el Reglamento
(UE) 2016/679 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales (RGDP), vid. Castillo
Parrilla, 2021, págs. 1-20; Cámara Lapuente, 2020, págs. 141-175.
10. A pesar de existir una polémica doctrinal sobre este particular, el Tribunal de Justicia ya se pronunció sobre esta cuestión en el Caso
C-203/9 9, Veedfald v. Arhus Amtskommune.
equipara el desarrollo de una actividad comercial con la
puesta a disposición de productos informáticos cuando
estos se suministran a cambio de un precio o de datos per-
sonales (considerando n.º 13 de la Propuesta de Directiva).
Lo prevenido en el considerando n.º 13 de la Propuesta de
Directiva nos recuerda lo dispuesto en el considerando n.º
24 de la DCSD: el pago del programa informático o siste-
ma de inteligencia artif‌icial puede realizarse a cambio de
un precio o del suministro de datos personales, cuando
estos se suministran con una f‌inalidad que no sea mejorar
la seguridad, la compatibilidad o la interoperabilidad del
software, lo que implica, en este último caso, el carácter
oneroso de la contraprestación no monetaria que satisfa-
ce el adquiriente del producto.
9
No acabamos de entender por qué la Propuesta de Direc-
tiva ofrece un tratamiento privilegiado a los software o
sistemas de inteligencia artif‌icial de acceso abierto que
pueden descargarse gratuitamente cuando su desarrollo
o suministro se produzca al margen de una actividad
empresari al. La Directiva 85/374/CEE se aplica a los daños
causados por productos defectuosos. No constituye un re-
quisito de aplicabilidad de la directiva que el usuario f‌inal
del producto haya satisfecho una contraprestación o que el
producto haya sido fabricado en el marco de una actividad
comercial o empresarial (Machnikowski, 2016, págs. 42-43).
10
A mi juicio, no existe una causa atendible que motive tal
tratamiento favorable de determinados desarrolladores
de software o sistemas de inteligencia artif‌icial. En el caso
del software de código abierto que puede descargarse
gratuitamente de la red, a pesar de que su proveedor o
desarrollador no actúe en el marco de una actividad co-
mercial, igualmente pone a disposición en el mercado un
producto que puede causar daños a terceros. El desarro-
llador o proveedor de este tipo de software o algoritmo no
lo produce por sí mismo, sino que todo el mundo puede
descargarse su producto a pesar de que se haya desarro-
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
9
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
llado gratuitamente y fuera del ámbito de una actividad
comercial. Por tanto, la futura directiva debería aplicarse
a todos los bienes muebles, tangibles e incorporales, como
a los servicios y contenidos digitales, independientemente
del método de producción de los productos, ya sea indus-
trial, artesanal o artístico (Machnikowski, 2016, pág. 43).
En cuanto a la condición de productor del desarrollador
de un software o algoritmo open source, considero que
tiene relevancia el hecho de que el software o el algorit-
mo se encuentren incorporados en el producto acabado.
En este caso, de acuerdo con el planteamiento defendido
en este artículo, el desarrollador del algoritmo tendría
que ser considerado productor porque su producto se
ha incorporado en un bien mueble tangible y ha sido
adquirido por el usuario como un producto global y
acabado. Asimismo, considero que también debería
tener la consideración de productor en el supuesto de
que sea el productor del bien (hardware manufacturer)
quien incorpore el algoritmo open source en el producto
o fuera quien indicase al usuario que debe descargarse
el software open source para que el bien pueda realizar
sus funciones. A mi parecer, estos supuestos no plantean
demasiados problemas, habida cuenta de que el produc-
to incorpora el software open source cuando es puesto a
disposición en el mercado.
Sí que serían más problemáticos los supuestos donde la
instalación del software open source la realice un tercero,
fuera del ámbito de control del productor originario, y
con tal elemento digital el bien se vea alterado sustan-
cialmente en cuanto a su funcionalidad, seguridad o inte-
roperabilidad. Una interpretación que, a mi juicio, puede
mantenerse en estos casos es reconducir este supuesto
al ámbito de los bienes reacondicionados (refurbished
goods)
11
(Bracquené et al., 2018). De esta forma, después
de la instalación del software open source realizada por un
tercero, el bien sería considerado un producto nuevo a los
efectos de la legislación sobre daños causados por pro-
ductos defectuosos y quien responderá como productor
será el tercero (Staed, 2017, 188-189), ajeno al ámbito de
control del productor original, que haya realizado la ins-
talación del software (considerando n.º 29 y art. 7.4 de la
Propuesta de Directiva). Por tanto, acudiendo al supuesto
de los bienes reacondicionados, estos supuestos no esca-
11. La doctrina ha definido el reacondicionamiento como el proceso a través del cual un bien usado o defectuoso readquiere las propiedades y
características de un bien nuevo a través de procedimientos de clasificación, selección, inspección, desmontaje, limpieza, reprocesado y montaje.
parían del ámbito de aplicación de la futura directiva y,
por ende, las pretensiones indemnizatorias de las víctimas
no se tendrían que ventilar de acuerdo con el Derecho in-
terno de los Estados miembros.
La opción de considerar el software open source como un
producto reacondicionado y de concebir su desarrollador
como un productor parte de la posibilidad de que sea
factible su identif‌icación dentro de la Unión Europea. Sin
embargo, no tiene que ser necesariamente así, y puede
que el proveedor o desarrollador de este tipo de software
o algoritmo se encuentre establecido en un tercer estado,
fuera de la Unión Europea. En este caso, la víctima podría
dirigir su demanda contra el importador del producto,
pero en el caso que nos ocupa puede que tampoco exista
un importador en la Unión Europea porque el producto se
descarga directamente de la red. Ante el problema que
se plantea, la doctrina ha propuesto diferentes soluciones,
como la responsabilidad por cuota de mercado (market
share liability) (Navas Navarro, 2020, págs. 170-171) y la
obligación de prever un operador económico responsable
establecido en la Unión para que el software o el algoritmo
pueda ser puesto en circulación en el mercado europeo,
en la línea del Reglamento (UE) 2019/1020 del Parlamento
Europeo y del Consejo, de 20 de junio de 2019, relativo a la
vigilancia del mercado y la conformidad de los productos
(Wendehorst, 2021, págs. 66-67).
Conclusiones
La Propuesta de Directiva sobre responsabilidad por
daños causados por productos defectuosos prevé que el
software y el algoritmo sean considerados productos. No
obstante, en lugar de usar el término software abogamos
por una reformulación del concepto de producto que utili-
za la Propuesta de Directiva a la luz de las Directivas (UE)
2019/770 y 2019/771 para armonizar la legislación sobre
responsabilidad contractual y la falta de conformidad de
los bienes con la legislación de responsabilidad extracon-
tractual por daños causados por productos defectuosos.
A pesar de que la Propuesta de Directiva se ref‌iere al sof-
tware como un componente o servicio conexo, entendemos
que no debe interpretarse este concepto en clave de acce-
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
10
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
soriedad respecto del producto concebido como un todo,
sino como un integrante de este que conforma el todo.
El desarrollador o proveedor de un software o algoritmo
puede ostentar la condición de tercero, entendido como
un sujeto ajeno a la organización del productor del pro-
ducto y fuera de su control, en función de la relación
que mantenga con el producto acabado que es puesto
en circulación en el mercado. Si el software o algoritmo
se encuentra incorporado o interconectado con un bien
mueble tangible (bundled product), no puede ostentar la
condición de tercero, habida cuenta de que el software
o algoritmo es necesario para que el bien desarrolle sus
funciones y es adquirido por los usuarios f‌inales como un
producto acabado que incluye, por un lado, el hardware
y, por otro lado, el componente digital. No obstante, el
desarrollador o proveedor del software sí que ostentará la
condición de tercero cuando el producto haya sido puesto
a disposición en el mercado como un producto acabado,
sin que incluya el componente digital, y posteriormente
sea instalado por un tercero o por el propio usuario.
La Propuesta de Directiva deja fuera de su ámbito de
aplicación el software de código abierto que es adquirido
gratuitamente de la red (open source software). No com-
partimos la opción del legislador europeo. Abogamos por
considerar al desarrollador o proveedor de un software de
este tipo como un productor de un bien reacondicionado,
cuando mediante la instalación del software el producto se
vea alterado en cuanto a su funcionalidad, seguridad o in-
teroperabilidad. De esta forma, la pretensión indemnizatoria
contra el desarrollador o proveedor de este tipo de software
no escaparía del ámbito de aplicación de la futura directiva y,
por tanto, la pretensión indemnizatoria de la víctima podría
conducirse por los cauces de la legislación sobre responsabi-
lidad por daños causados por productos defectuosos.
Reconocimientos
El presente artículo se publica dentro del marco de las ac-
tividades del Proyecto I+D+ i Conducción autónoma y se-
guridad jurídica del transporte / Autonomous Driving and
Legal Certainty of the Transport . IP. Eliseo Sierra Noguero.
Referencias bibliográf‌icas
ABBOTT, R.; BORGES, G.; DACORONIA, E.; DEVILLIER, N.; JANKOWSKA-AUGUSTYN, M.; KARNER, E.;
KOCH, B. A.; KRAUSOVA, A.; MACHNIKOWSKI, P.; MONTAGNANI, M. L.; MOTZFELDT, M.; PAGALLO,
U.; RODRÍGUEZ DE LAS HERAS BALLELL, T.; SPINDLER, G.; WENDEHORST, C. (2019). Liability for
Artif‌icial Intelligence and Other Emerging Digital Technologies. Luxemburgo: Comisión Europea.
DOI: https://doi.org/10.2838/573689 Disponible en: https://op.europa.eu/en/publication-detail/-/
publication/1c5e30be-1197-11ea-8c1f-01aa75ed71a1/language-en
BARFIELD, W. (2018). «Liability for autonomous and artif‌icially intelligence robots». Paladyn, Journal
of Behavioral Robotics, núm. 9, págs. 193-203. DOI: https://doi.org/10.1515/pjbr-2018-0018
BRACQUENÉ, E.; BRUSSELAERS, J.; DAMS, Y.; PEETERS, J.; DE SCHEPPER, K.; DUFLOU, J.; DEWULF, W.
(2018). «Repairability criteria for energy related products. Study in the BeNeLux context to evaluate
the options to extend the product life time. Final Report» [en línea]. Disponible en: https://www.benelux.
int/f‌iles/7915/2896/0920/FINAL_Report_Benelux.pdf. [Fecha de consulta: 7 de diciembre de 2022].
CÁMARA LAPUENTE, S. (2020). «Resolución contractual y destino de los datos y contenidos genera-
dos por los usuarios de servicios digitales». En: ARROYO AMAYUELAS, E. y CÁMARA LAPUENTE, S.
(dirs.). El derecho privado en el nuevo paradigma digital. Madrid: Marcial Pons, págs. 141-175.
CASTILLO PARRILLA, J. A. (2021). «Los datos personales como contraprestación en la reforma del
TRLGDCU y las tensiones normativas entre la economía de los datos y la interpretación garantista
del RGPD». Diario La Ley, núm. 82, págs. 1-20.
CHAGAL-FEDERKORN, K. A. (2019). «Am I an Algorithm or a Product? When Products Liability Should
Apply to Algorithmic Decision-Makers». Stanford Law & Policy Review, vol. 30, núm. 61, págs. 61-114.
https://idp.uoc.edu
Universitat Oberta de Catalunya
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
11
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
COMISIÓN EUROPEA (2022). Proposal for a Directive of the European Parliament and of the Council
on Liability for Defective Products. Bruselas, 28 de septiembre de 2022, COM(2022) 495 f‌inal,
2022/0302 (COD), 38 páginas.
EUROPEAN LAW INSTITUTE (2022). ELI Draft of a Revised Product Liability Directive. Draft Legislative
Proposal of the European Law Institute [en línea]. Disponible en: https://www.europeanlawinstitute.
eu/projects-publications/current-projects/current-projects/pld/
EIDENMÜLLER, H. (2021). «The Rise of Robots and the Law of Humans». En: EIDENMÜLLER, H. y WAGNER,
G. Law by Algorithm. Tübingen: Mohr Siebeck, págs. 7-19. DOI: https://doi.org/10.1628/978-3-16-157509-9
MACHNIKOWSKI, P. (ed.) (2016). European Product Liability. An Analysis of the State of the Art in the Era of
New Technologies. Cambridge: Intersentia Publishing nv. DOI: https://doi.org/10.1017/9781780685243
MISCHAU, L. (2022). «The Concept of Digital Content and Digital Services in European Contract Law».
European Journal of Consumer and Market Law, núm. 1, págs. 6-13.
NAVARRO-MICHEL, M. (2020). «Vehículos automatizados y responsabilidad por producto defectuoso».
Revista de Derecho civil, núm. 5, págs. 175-223.
NAVAS NAVARRO, S. (2020). «Robot Machines and Civil Liability». En: EBERS, M. y NAVAS NAVARRO,
S. (eds.). Algorithms and Law. Cambridge: Cambridge University Press, págs. 157-173. DOI: https://
doi.org/10.1017/9781108347846.006
PAGALLO, U. (2013). The Laws of Robots. Crimes, Contracts and Torts. Londres: Springer. DOI: https://
doi.org/10.1007/978-94-007-6564-1
STAED, K. C. (2017). «Open source download mishaps and product liability: who is to blame and what
are the remedies?». Saint Louis University Public Law Review, núm. 36, págs. 169-191.
THEBEN, A.; GUNDERSON, L; LÓPEZ-FORÉS, L.; MISURACA, G.; LUPIÁÑEZ-VILLANUEVA, F. (2021).
Challenges and limits of an open source approach to Artif‌icial Intelligence [study for the Special
Committee on Artif‌icial Intelligence in a Digital Age (AIDA)]. Luxemburgo: Policy Department for
Economic, Scientif‌ic and Quality of Life Policies, European Parliament.
WAGNER, G. (2021). «Robot Liability». En: EIDENMÜLLER, H. y WAGNER, G. Law by Algorithm. Tübin-
gen: Mohr Siebeck, págs. 73-102.
WALSH, E. J.; TIBBETTS, A. J. (2010). «Reassessing The Benef‌its and Risks of Open Source Software».
Intellectual Property & Technology Law Journal, vol. 2, núm. 1, págs. 9-14.
WENDEHORST, C. (2021). «Safety and Liability Related Aspects of Software». Luxemburgo: Comisión
Europea. DOI: https://doi.org/10.1515/9783110775402-002
Cita recomendada
IZQUIERDO GRAU, Guillem (2023). «Software y algoritmos defectuosos: algunas consideraciones sobre
la responsabilidad del desarrollador de software o de sistemas de inteligencia artif‌icial». IDP. Revista
de Internet, Derecho y Política, núm. 38. UOC [Fecha de consulta: dd/mm/aa]
http://dx.doi.org/10.7238/idp.v0i38.406131
https://idp.uoc.edu
Universitat Oberta de Catalunya
Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del
desarrollador de software o de sistemas de inteligencia artif‌icial
IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 Revista de los Estudios de Derecho y Ciencia Política
12
2023, Guillem Izquierdo Grau
de esta edición: 2023, Universitat Oberta de Catalunya
Los textos publicados en esta revista están —si no se indica lo contrario— bajo una licencia
Reconocimiento-Sin obras derivadas 3.0 España de Creative Commons. Puede copiarlos,
distribuirlos y comunicarlos públicamente siempre que cite su autor y la revista y la institu-
ción que los publica (IDP. Revista de Internet, Derecho y Política; UOC); no haga con ellos
obras derivadas. La licencia completa se puede consultar en: http://creativecommons.org/
licenses/by-nd/3.0/es/deed.es.
Sobre el autor
Dr. Guillem Izquierdo Grau
Departamento de Derecho Privado, Universidad Autónoma de Barcelona
guillem.izquierdo@uab.cat
Profesor lector (tenure-eligible lecturer Serra Húnter) del Departamento de Derecho Privado de la
Universidad Autónoma de Barcelona. Actualmente, sus intereses de investigación se centran en el De-
recho de consumo (falta de conformidad y remedios) y en la responsabilidad por daños causados por
productos defectuosos. En este sentido, forma parte de grupos de investigación sobre estas temáticas
y es autor de numerosas publicaciones sobre la materia.

Búsquedas relacionadas:

VLEX utiliza cookies de inicio de sesión para aportarte una mejor experiencia de navegación. Si haces click en 'Aceptar' o continúas navegando por esta web consideramos que aceptas nuestra política de cookies. ACEPTAR