Informes de evaluación de impacto del Programa PROGRESA

Informe de la evaluación realizada por el CIDE, 2001

PRESENTACIÓN Y RESUMEN EJECUTIVO

El Programa de Educación, Salud y Alimentación, iniciado en 1997, se ha convertido en uno de los principales programas sociales del gobierno de México. Actualmente Progresa beneficia a cerca del 40 por ciento de las familias en las zonas rurales, y se está procediendo a ampliar la cobertura a las zonas semi-urbanas del país. El diseño y operación de Progresa han servido de modelo para otros países de América Latina (Brasil, Colombia, Argentina, Honduras y Nicaragua) que están implementando programas similares.

Para situar la presente evaluación en contexto es importante recordar algunas de las virtudes ya probadas del programa. Aunque el programa se inserta en el marco de una estrategia más amplia de lucha contra la pobreza en México, se distingue de programas anteriores y aún contemporáneos por la complementariedad de sus intervenciones, la transparencia y eficiencia distributiva de sus mecanismos de asignación, y la calidad de la información que se ha levantado para su evaluación. Primero, el programa es innovador, aún en el ámbito internacional, al combinar simultáneamente para cada familia beneficiada, apoyos en tres áreas críticas y complementarias en la formación de capital humano básico: educación, salud y alimentación. Aunque Progresa tiene un impacto inmediato sobre las oportunidades de consumo de sus beneficiarios por las transferencias de ingreso que representa, su objetivo final es estimular, por el lado de la demanda, la inversión en capital humano en las localidades y hogares más pobres del país. Se espera con ello contribuir a romper los círculos inter-generacionales de pobreza extrema asociados con los altos niveles de fertilidad, desnutrición y mortalidad infantil, y deserción escolar prevalecientes en estas poblaciones. Segundo, aunque muchos otros programas han postulado como población objetivo a la población en condiciones de pobreza extrema, Progresa ha sido el primer programa efectivamente dirigido a esta población por medio de mecanismos rigurosos de focalización, a las localidades más marginadas, y dentro de estas, a los hogares más pobres. Tercero, Progresa es el primer programa para la superación de la pobreza que realiza transferencias monetarias a (las madres de) los hogares beneficiarios, minimizando así la erosión de las mismas por desviaciones a burocracias o proveedores intermediarios. Finalmente, este es el primer programa en México que incluye, desde su diseño mismo, un proyecto amplio, riguroso y transparente de evaluación de impacto, basado en encuestas semestrales a la población beneficiaria, como a un grupo de control seleccionado aleatoriamente (integrado al programa dos años después que el primer grupo de beneficiarios, en el contexto de un proceso preestablecido de ampliación gradual en la cobertura del programa en función de la disposición de fondos presupuestales).

Estas encuestas de evaluación (ENCEL) han estado disponibles para su análisis a las instituciones académicas interesadas. El principal proyecto de evaluación de Progresa se desarrolló a lo largo de dos años (1998-2000) usando las bases disponibles hasta finales de 1999, e involucró la participación de instituciones nacionales e internacionales (principalmente el International Food Policy Research Institute, IFPRI). Entre sus principales resultados, disponibles públicamente desde finales del 2000, podemos identificar los siguientes.

Primero, el programa parece ser bastante costo-eficiente como instrumento distributivo. De cada peso que se gasta en el, se ha estimado que 91 centavos llegan a sus beneficiarios en forma de transferencias (Coady, 2000). Para poner esto en perspectiva, se ha estimado que de cada peso que se gasta en Liconsa, sólo 64 centavos llegan a sus beneficiarios (en especie), entre los cuales la mayoría no viven en condiciones de pobreza extrema ni sufren de condiciones de desnutrición.

Segundo, se ha encontrado que los mecanismos de focalización del programa han sido efectivos en incluir a las localidades más pobres de país y a los hogares más pobres dentro de estas (aunque menos efectivos en excluir a localidades y hogares moderadamente pobres), por lo que estos recursos llegan en su mayor parte a quienes más los necesitan (Skoufias, Davis y de la Vega, 2001). Como área de preocupación, sin embargo, se ha señalado el resentimiento de los no beneficiarios hacia los beneficiarios.

Tercero, se ha estimado que el programa reduce la pobreza monetaria de los beneficiarios de forma importante. De acuerdo con el indicador de la brecha de pobreza, la pobreza monetaria se reduce 30 por ciento, mientras que el índice de severidad de la pobreza se reduce 45 por ciento. Estos resultados sugieren que las mayores reducciones de la pobreza se están alcanzando entre los hogares más pobres de entre los pobres (Skoufias y McClafferty, 2001).

Finalmente, las evaluaciones han encontrado importantes efectos positivos de Progresa en la inscripción de niños en la escuela, en la salud y la nutrición de los niños y adultos del hogar, y en el gasto en alimentos. La inscripción a la escuela de niños y niñas, en particular de éstas últimas, ha aumentado de forma importante en el nivel secundaria. El incremento representa un aumento proporcional para los niños de entre 5 y 8 por ciento y de 11 a 14 por ciento para las niñas. En los áreas de salud y nutrición, los niños beneficiarios de Progresa tienen una incidencia de enfermedades 12 por ciento menor y ha habido una reducción en la probabilidad de baja talla para la edad entre los niños de 12 a 36 meses (Behrman y Hoddinott, 2000).

Para poner la presente evaluación en perspectiva, es importante notar su alcance limitado. En contraste con el periodo de dos años y medio disponible a la evaluación cuyos resultados acabamos de resumir, la presente evaluación se ha realizado en el curso de un mes, desde la adjudicación del proyecto hasta la entrega del producto final. La evaluación está conformada por dos partes independientes. La primera incluye una evaluación del funcionamiento del programa a nivel estatal, basada en el análisis de los indicadores de seguimiento, gestión y evaluación de 1998 al 2001. La segunda parte utiliza las rondas recientes de la ENCEL que no han sido analizadas en los trabajos de las evaluaciones anteriores, para efectuar un nuevo análisis de los impactos del Programa.

A continuación, presentamos un resumen de los principales resultados de cada parte del trabajo:

Evaluación de Progresa a Nivel Estatal: Indicadores de Seguimiento, Evaluación y Gestión

Desde 1998, Progresa reporta en forma periódica un conjunto de Indicadores de Seguimiento, Evaluación y Gestión sobre la operación del programa a nivel estatal. Su principal utilidad, en su forma actual, está en permitir la identificación temprana de problemas generales de operación del programa, y de problemas específicos a los estados. En principio, estos indicadores pueden convertirse en un instrumento de evaluación complementario a las encuestas recogidas a nivel de los hogares y las localidades (ENCEL), por su atención sobre variables operativas, por su disponibilidad continua, por su costo-efectividad al ser generados como parte de la operación del programa mismo, y por su representatividad de los beneficiarios en todos los estados. En este estudio utilizamos los indicadores en una evaluación preliminar del programa a nivel estatal, identificamos algunas de las principales limitaciones del sistema de indicadores, y proponemos su posible ampliación.

Entre los resultados principales que podemos reportar a partir del sistema actual están los siguientes. Primero, encontramos que la distribución a nivel estatal de las transferencias monetarias del programa es congruente con la distribución entre los estados de la pobreza monetaria y de las necesidades relevantes de salud (desnutrición). Los seis estados más pobres, con 54.3% de la PEA con ingresos iguales o menores a un salario mínimo, obtienen 54.6% de las transferencias monetarias del programa. La congruencia entre recursos y necesidades es menos clara en el caso de las variables educativas. Segundo, identificamos avances notables en el cumplimiento con las condiciones de corresponsabilidad que impone el programa a sus beneficiarios, en educación como en salud. Tercero, identificamos avances claros en algunas de las principales variables objetivo del programa; en particular, tasas de deserción escolar y tasas de desnutrición infantil. Sin embargo, en el caso educativo observamos que existe aún una brecha importante entre los beneficiarios del Programa y los promedios estatales. También persisten altas tasas de repetición para los beneficiarios. Dadas las limitaciones del sistema actual de indicadores, y las dificultades de una evaluación a nivel estatal a partir de datos agregados, estos resultados son sólo indicativos de algunos aspectos que deben estudiarse en el futuro a mayor profundidad.

Evaluación de los impactos de Progresa sobre los hogares: Encuestas de Evaluación (ENCEL)

En este apartado nos enfocamos en el análisis del impacto que ha tenido Progresa en los hogares usando las Encuestas de Evaluación (ENCEL). Llevamos a cabo dos nuevos estudios de impacto, incorporando el uso de nueva información que no estaba disponible en las evaluaciones anteriores. Esta nueva información proviene de dos rondas más de entrevistas a los hogares, que se realizaron después de que el grupo de control se incorporó a Progresa. Nuestro primer objetivo es analizar la evolución del comportamiento del grupo de control para averiguar hasta qué punto el grupo de control, una vez que es incorporado y que recibe los beneficios del programa, registra los mismos impactos que se dieron en el grupo de tratamiento, cuando este comenzó a recibir los beneficios.

El segundo objetivo es utilizar la información de las nuevas rondas de entrevistas para intentar evaluar algunos resultados de mediano plazo en los jóvenes beneficiarios de Progresa. En particular, evaluamos si la presencia de Progresa aumenta la probabilidad de que los estudiantes continúen con su educación a nivel de educación media superior. (La política de otorgar becas a nivel de educación media superior aún no estaba en funcionamiento cuando se hicieron las dos últimas rondas de entrevistas). Además, estudiamos la relación que puede existir entre Progresa y la migración, un tema muy importante que no se ha tocado en las evaluaciones anteriores.

Los resultados principales son los siguientes: Primero, con respecto a los impactos sobre el grupo de control, cuando este se incorporó a Progresa, tendió a comportarse como lo hizo el grupo de tratamiento, al ser recién incorporado. El número de niños y niñas inscritos en la escuela se incrementó, la incidencia de las enfermedades en los niños y niñas se redujo y los gastos de la familia se incrementaron. Más aún, las magnitudes de los impactos en el grupo de control son similares a aquellos que previamente se estimaron para el grupo de tratamiento. En otras palabras, cuando el grupo de control comenzó a recibir los beneficios de Progresa, se comportó de forma muy parecida a como lo hizo el grupo de tratamiento cuando se incorporó a Progresa. Estos resultados en gran medida nos dan una validación de la estimación de los impactos que se encontraron en las evaluaciones previas.

Segundo, con respecto a los impactos del mediano plazo sobre los jóvenes de Progresa, se ha confirmado efectos importantes sobre la escolaridad de los jóvenes. Nuestro análisis muestra que, durante un período de dos años y medio, los niños y niñas en la secundaria que recibieron becas de Progresa lograron en promedio 0.15 y 0.38 años más de escolaridad, respectivamente, que los niños y niñas que no recibieron las becas. De manera más intuitiva, se puede decir que 38 por ciento de las niñas y 15 por ciento de los niños beneficiarios tienen un año más de escolaridad como resultado de recibir becas de Progresa por dos años y medio.

Nuestros datos corresponden al período previo a la implementación de la política de otorgar becas para nivel de educación media superior. Aunque no existía entonces ningún incentivo económico directo de Progresa para inscribirse a la educación media superior, es posible que las familias (o los mismos jóvenes) puedan haber obtenido cierta información sobre la importancia potencial de la educación, aumentando la probabilidad de que continúen con su educación después de terminar la secundaria. Los datos sugieren un pequeño efecto de Progresa sobre la inscripción en la educación media superior. Es muy probable, sin embargo, que el efecto de la inscripción en ésta se incremente con el tiempo. En este sentido, resulta todavía prematuro evaluar en su totalidad el impacto de Progresa a este nivel. Desde luego, con la implementación de las becas de Progresa para educación media superior en el año 2001, es probable que existan efectos directos adicionales. Es clara la importancia de monitorear los incrementos en la inscripción a este nivel en el futuro.

Finalmente, si bien es necesario que se realicen estudios en un futuro para obtener más evidencia, la información disponible no sugiere que los jóvenes de las localidades donde opera Progresa tengan mayor probabilidad de migrar fuera de sus comunidades, incluso cuando ya no son elegibles para recibir las becas educacionales.


Dra. Susan W. Parker y Mtro. John Scott
Centro de Investigación y Docencia Económicas