Algunas referencias sobre metodología de la evaluación de las políticas y los servicios públicos
| Autor | Francisco J. Vanaclocha - Ester García Sánchez - Verónica Viñas |
| Cargo del Autor | Universidad Carlos III de Madrid |
| Páginas | 111-137 |
Page 111
El presente documento pretende plantear con la necesaria brevedad cuáles podrían ser las grandes líneas y opciones metodológicas que la futura Agencia Estatal de Evaluación de la Calidad de los Servicios y de las Políticas Públicas podría asumir. Como es evidente, no desciende a desarrollos conceptuales o técnicos propios de un manual sobre evaluación. A lo largo de sus ocho puntos, sólo trata de aportar elementos de reflexión acerca de otros tantos aspectos relevantes, previamente escogidos, en orden a perfilar el marco metodológico de las actividades de evaluación que habría de realizar o impulsar dicha Agencia. Pero, obviamente, no agota el amplio abanico de temas que pueden considerarse sustanciales, desde el punto de vista metodológico, para orientar el quehacer evaluador de aquélla. Una primera versión de este documento sirvió de base para los trabajos de la Comisión de expertos para el estudio y creación de la citada Agencia Estatal de Evaluación, habiéndose incorporado algunas partes del mismo al Informe final correspondiente.
Page 112
¿Cuáles deben ser los supuestos y principios que orienten fundamentalmente el trabajo de la Agencia Optamos por condensarlos en los siguientes ocho puntos:
Como oportunamente ha quedado de manifiesto con la previsión de creación de la Agencia, la evaluación ha de contar con un espacio diferenciado en el ámbito público. La evaluación de políticas públicas constituye una actividad específica y con identidad propia, claramente distinta de otras como la auditoría financiera, el seguimiento o el control de gestión, pero con las cuales mantiene y debe mantener una estrecha relación de complementariedad.
Además de un espacio propio, la evaluación está llamada, también y sobre todo, a ocupar una posición central en el conjunto de las organizaciones públicas. En alguna medida, ello tiene que ver con su carácter transversal e instrumental, que le hace servir de apoyo a distintas actividades o disciplinas. Sin embargo, la principal razón es haberse convertido en un elemento imprescindible en el diseño y puesta en marcha de cualquier programa o servicio público, independientemente de cuál sea la política en la que se encuadren.
La evaluación de políticas públicas se configura como un campo multidisciplinar con identidad propia, pero en el que convergen y desarrollan su actividad especialistas procedentes de distintos campos y perspectivas. Ello no ha impedido, sin embargo, que, con el paso del tiempo, se hayan ido perfilando una serie de tipos y métodos de evaluación en cada una de las disciplinas, en función de sus respectivas tradiciones e intereses (BAÑÓN, 2003). En los documentos que están sirviendo de base para la creación de la Agencia se ha constatado ya, muy acertadamente, que en la multidisciplinariedad ha de verse no un problema, sino una de las características de la evaluación que mayor utilidad tiene a la hora de analizar y valorar las políticas públicas.
Entendemos aconsejable que las evaluaciones que se realicen o se impulsen desde la Agencia partan de un marco metodológico que incorpore
Page 113
planteamientos pluralistas, si bien convenientemente renovados. Esto es, un enfoque que se aproxime a aquellos que, ya a finales de los años ochenta, GUBA y LINCOLN (1989) denominaron de cuarta generación.
Este marco metodológico quedaría articulado en torno a las siguientes premisas:
· La superación de cualquier forma de dogmatismo metodológico que implique la defensa a ultranza de ciertos enfoques de evaluación. Por supuesto, ello no está en contradicción con la necesidad de vencer los puntos débiles de los modelos de evaluación más clásicos, aquellos en los que el único criterio de valor es el cumplimiento, por parte de ciertos actores, de los objetivos establecidos en la política pública.
· La incorporación, como elemento destacado de la evaluación, de las percepciones, opiniones y valoraciones que tengan las distintas audiencias y stakeholders acerca de las políticas o servicios evaluados.
· La consideración y la valoración, como horizonte deseable, de la participación activa de las distintas audiencias y stakeholders, como mecanismos para responder a las necesidades de información de decisores, gestores y ciudadanos (OSUNA, 2003), incrementar la utilización de las evaluaciones y contribuir a la profundización de la democracia (HOUSE, 1980, 1993; HOUSE y HOWE, 1999; KUSHNER, 2000). La fortaleza de la democracia depende del grado en que la ciudadanía esté suficientemente informada y pueda tomar parte en la adopción de decisiones, y en ello el papel de la evaluación resulta incuestionable (PATTON, 1998, 2000).
· El firme compromiso con la utilización de los resultados y de los propios procesos de evaluación y, en consecuencia, la adopción de todas las medidas de promoción de la utilización que se estimen oportunas o necesarias.
· El reconocimiento del carácter político de los procesos de evaluación y de la importancia que en ellos adquieren los aspectos éticos, en especial aquellos que se refieren a la transparencia y a la propiedad y difusión de los resultados.
La apuesta por la incorporación de enfoques pluralistas -por lo demás, uno de los principios clave en todos aquellos catálogos de estándares que gozan de cierto reconocimiento en la comunidad evaluadora- no supone desconocer los problemas que, en muchas ocasiones, lleva aparejados: cómo determinar quiénes pueden participar en un proceso de evaluación y de qué manera se puede arbitrar su participación; cuál debería ser el papel que, en una evaluación pluralista, ha de corresponder al evaluador; o
Page 114
cómo conciliar la participación de una pluralidad de actores con la viabilidad de las evaluaciones -máxime si se tiene en cuenta que las experiencias pluralistas no siempre implican una mayor utilización de los resultados, como algunas investigaciones recientes han puesto de relieve (GARCÍA SÁNCHEZ, 2003)-. Precisamente por ello, hoy en día la asunción por los evaluadores de la herencia pluralista puede y debe entenderse compatible tanto con propuestas lógicamente alejadas de la llamada falacia participativa como con una preocupación especial por los problemas de viabilidad y obtención de resultados.
Superado ya el monopolio de ciertos paradigmas, no parece oportuno aferrarse a priori a la defensa a ultranza de modelos o técnicas de evaluación determinados, en gran medida porque la práctica de las evaluaciones así lo aconseja. Las decisiones adoptadas en este terreno deben tener en cuenta la necesidad de adaptar la metodología al respectivo escenario y tipo de evaluación, conforme a un criterio abierto y flexible.
Como es sabido, los llamados criterios de valor constituyen referencias esenciales en todo proceso de evaluación, dando sentido al mismo. No es de extrañar, pues, que desde distintos foros académicos y organizaciones internacionales (MEANS, 1999; OCDE, 1998, 2000; Ministerio de Asuntos Exteriores, 2001) se venga planteando la conveniencia de que las instancias institucionalizadas de evaluación asuman, de modo expreso, un bloque de criterios fundamentales que deban ser tenidos en cuenta indefectiblemente en todas las evaluaciones patrocinadas por ellas, con independencia de los que, con carácter adicional, pudieran ser aplicados en cada caso concreto. En consecuencia, ésta es también una opción que, de alguna forma, la futura Agencia Estatal española tendrá que hacer suya.
El tema de la falta de utilización de las evaluaciones es, sin duda, uno de los que de manera recurrente vienen despertando un mayor interés tanto entre los teóricos de la evaluación como entre los decisores y los responsables de los programas. Y es que, como han destacado ARGYRIS (1982, 1994) y ARGYRIS y SCHÖN (1978), las organizaciones tienen grandes dificultades para aplicar el conocimiento adquirido a la resolución de problemas. Esta dificultad se acentúa, en el caso de los procesos evaluativos, por
Page 115
sus propias peculiaridades, lo que hace que la...
Para continuar leyendo
Solicita tu prueba