La metodología de evaluación en AEVAL
| Autor | Javier Rico Callado |
| Cargo | Licenciado en Ciencias Políticas por la Universidad de Granada y especialista en políticas públicas y sociales por la Pompeu Fabra. Especialista en análisis avanzado de datos. Evaluador de políticas públicas en la extinta AEVAL y en el Instituto para la Evaluación de Políticas Públicas. Autor de distintas evaluaciones, guías de evaluación y... |
| Páginas | 126-141 |
Creative Commons Reconocimiento-NoComercial 4.0 Internacional
Gestión y Análisis de Políticas Públicas, número 32, julio de 2023
Sección: SECCIÓN MONOGRÁFICA. LA EXPERIENCIA AEVAL
Recibido: 27-10-2021
Aceptado: 27-09-2022
Prepublicado: 01-12-2022
Publicado: 13-07-2023
ISSN: 1989-8991 – DOI: https://doi.org/10.24965/gapp.11011
Páginas: 126-141
Referencia: Rico Callado, J. (2023). La metodología de evaluación en AEVAL. Gestión y Análisis de Políticas Públicas, (32), 126-141.
https://doi.org/10.24965/gapp.11011
SECCIÓN MONOGRÁFICA. LA EXPERIENCIA AEVAL 126
La metodología de evaluación en AEVAL
The evaluation methodology in the The National Agency of Public
Policies and Quality of Services Evaluation (AEVAL)
Rico Callado, Javier
Politólogo y evaluador de políticas públicas (España – Spain)
ORCID: https://orcid.org/0000-0001-9756-2808
javier.rico.callado@gmail.com
NOTA BIOGRÁFICA
Licenciado en Ciencias Políticas por la Universidad de Granada y especialista en políticas públicas y so-
ciales por la Pompeu Fabra. Especialista en análisis avanzado de datos. Evaluador de políticas públicas
en la extinta AEVAL y en el Instituto para la Evaluación de Políticas Públicas. Autor de distintas evaluacio-
nes, guías de evaluación y artículos de políticas públicas, sociales y evaluación.
RESUMEN
El artículo analiza la metodología diseñada y aplicada por la Agencia Estatal de Evaluación de Políticas
Públicas y la Calidad de los Servicios en la evaluación de programas y políticas públicas a lo largo de sus
años de existencia (2007-2017). Una metodología ecléctica, principalmente pluralista, aunque adoptando
parcialmente otras perspectivas y paradigmas. Fue el fruto de un aprendizaje y práctica de evaluación
continuo. Se reflexiona sobre distintos elementos institucionales y organizativos que condicionaron
tanto su metodología como su práctica evaluativa. Se analiza el diseño de las evaluaciones de AEVAL,
con especial referencia a los métodos y técnicas utilizados, y su proceso de evaluación. Finalmente se
destacan algunas de las fortalezas y debilidades de la metodología de la Agencia.
PALABRAS CLAVE
Evaluación; metodología de evaluación; AEVAL; proceso de evaluación; enfoque de evaluación; diseño
de evaluación.
ABSTRACT
The article analyzes the methodology designed and applied by The National Agency for the Evaluation of
Public Policies and Quality of Services in the evaluation of programs and public policies throughout their
years of existence (2007-2017). An eclectic methodology, mainly pluralistic, although partially adopting
other perspectives and paradigms. It was the result of continuous learning and evaluation practice. It
reflects on different institutional and organizational elements that conditioned both its methodology and
its evaluation practice. The design of AEVAL evaluations, with particular reference to the methods and
techniques used, and their evaluation process, are also analysed. Finally, some of the strengths and
weaknesses of the Agency’s methodology are highlighted.
KEYWORDS
Evaluation; evaluation methodology; AEVAL; evaluation process; evaluation approach; evaluation design.
Gestión y Análisis de Políticas Públicas, 2023, (32), 126-141 – DOI: https://doi.org/10.24965/gapp.11011
SECCIÓN MONOGRÁFICA. LA EXPERIENCIA AEVAL 127
Rico Callado, Javier
La metodología de evaluación en AEVAL
SUMARIO
1. INTRODUCCIÓN. 2. METODOLOGÍA DEL ESTUDIO. 3. EL MODELO DE EVALUACIÓN DE AEVAL. 4. EL
CONTEXTO INSTITUCIONAL DE AEVAL Y SU INCIDENCIA EN SU METODOLOGÍA Y EL DISEÑO DE LAS
EVALUACIONES. 4.1. LIMITADA PRÁCTICA Y CULTURA DE EVALUACIÓN. 4.2. ESTRATEGIA Y PLA-
NES DE EVALUACIONES. 4.3. CAPACIDADES EN EVALUACIÓN. 5. EL DISEÑO DE LAS EVALUACIONES
AEVAL, SU OPERACIONALIZACIÓN Y LOS MÉTODOS DE ANÁLISIS. 6. EL PROCESO DE EVALUACIÓN
EN AEVAL. 7. FORTALEZAS Y DEBILIDADES DEL MODELO AEVAL. REFERENCIAS BIBLIOGRÁFICAS.
1. INTRODUCCIÓN 1
A lo largo de sus diez años de singladura la Agencia Estatal de Evaluación de las Políticas Públicas y
la Calidad de los Servicios (en adelante AEVAL) fue construyendo una metodología y modelo de evaluación
ecléctico, propio, fruto del aprendizaje continuo, la práctica evaluadora desarrollada y factores de distinto orden.
Esta metodología, como no podía ser menos, tuvo un papel capital en una organización llamada a
convertirse en el referente gubernamental en materia de evaluación de las políticas públicas y la difusión de
la cultura de la evaluación en España, a través de su práctica evaluadora y la elaboración de guías meto-
dológicas. Si el segundo requerimiento de las evaluaciones es que las evidencias encontradas respondan
a las necesidades, visiones y prácticas de los stakeholders, la primera, y más importante de ellas, es que
generen suficientes evidencias creíbles para ganar reputación científica (Chen, 2015, p. 26). Y el objetivo
de la metodología del AEVAL era precisamente lograrlo, para dotar de solidez a su trabajo y desarrollar sus
funciones de la forma más eficaz.
El modelo de evaluación de AEVAL no sólo debe comprenderse en términos de aproximaciones episte-
mológicas y metodológicas, sino fundamentalmente en el contexto de un proceso institucional de moderniza-
ción administrativa, enmarcado desde el punto de vista político entre los principios de buen gobierno y como
herramienta para fortalecer la rendición de cuentas y la eficacia de las políticas públicas. Una metodología
orientada también a difundir un lenguaje común en evaluación, sus valores, reglas de juego y apertura a la
realidad y a la lógica de la acción pública en sus diferentes niveles (AEVAL, 2010, p. 44). En definitiva, una
metodología condicionada por el contexto institucional, la naturaleza y características de dicha Agencia y por
todo un conjunto de dimensiones o «políticas de evaluación» que fueron articulándose progresivamente. En
particular la definición, requisitos y objetivos de la evaluación; la construcción de capacidades en evaluación;
y la gestión y proceso de las evaluaciones.
Recientemente el Gobierno ha aprobado el Proyecto de Ley de Institucionalización de la Evaluación de
las Políticas Públicas en la Administración General del Estado, que contempla nuevamente la creación de
una Agencia Estatal de Evaluación de Políticas Públicas. Este artículo pretende realizar una modesta contri-
bución al debate sobre un sistema de evaluación público y la creación de una nueva Agencia de Evaluación,
analizando la metodología de evaluación adoptada por AEVAL a lo largo de su existencia (2007-2017), así
como sus fortalezas y debilidades. La estructura del artículo es la siguiente: en primer lugar, se enmarcará di-
cha metodología en el seno de los grandes paradigmas de la evaluación, y se constatará, a grandes rasgos,
cómo fue llevada a la práctica por AEVAL en sus evaluaciones. En segundo lugar, se reflexionará en torno a
algunos elementos institucionales y organizativos que condicionaron su metodología y práctica evaluativa.
En tercer lugar, se analizará el diseño de las evaluaciones y cómo se operacionalizaban, junto con algunas
referencias a los métodos y herramientas utilizados. En cuarto lugar, se analizará brevemente el proceso de
evaluación. Finalmente se apuntarán algunas de las fortalezas y debilidades de la metodología de la Agen-
cia. Se trata, en todo caso, de realizar una aproximación más bien general y reflexiva.
No se pretende reflexionar sobre el éxito o fracaso de AEVAL en cuanto a Agencia de evaluación, hecho
que dependió en gran medida de su encaje institucional. Tal y como destacó Chelimsky (2009, p. 52), el éxito
de la evaluación en el seno del gobierno depende en gran medida del marco político en la que se desarrolla
dicha evaluación, hasta el punto que algunos fracasos de las estructuras y organismos de evaluación pue-
den atribuirse a cuestiones vinculadas a las presiones del contexto gubernamental y la adaptación a dicho
entorno, y no sólo a los méritos de la metodología y el proceso de evaluación en sí mismos. Estos aspectos
son analizados por Juan Antonio Garde en su artículo.
1 Queremos agradecer a los evaluadores anónimos y a los editores de la revista sus sugerencias y comentarios a la primera
versión de este artículo.
Para continuar leyendo
Solicita tu prueba