Camilo Carrillo | EDUCACCIÓN
La toma de decisiones en el sector público muchas veces -lamentablemente- no responde a una evaluación de resultados sino a presiones o ideas preconcebidas acerca de la eficacia de una intervención. ¿Aplicar o no el programa?, ¿por cuánto tiempo?, ¿qué tan intensivo?, etc., son algunas de las preguntas que válidamente se tendrían que hacer para tratar de dar solución a los problemas identificados de manera no solo eficaz (se cumple el objetivo) sino también eficiente (se cumple al menor costo posible).
En esta oportunidad, conviene realizar dichas preguntas al Programa de Acompañamiento Pedagógico, que como parte del Programa Estratégico de Logros de Aprendizaje (PELA), ejecuta el MINEDU desde el año 2008. Dicho programa en sus dos variantes: Acompañamiento Multigrado (enfocado en el ámbito rural) y Soporte Pedagógico (enfocado en el ámbito urbano), es una intervención que busca mejorar las capacidades de los docentes a través de una serie de intervenciones en donde un Acompañante tiene a su cargo entre 8-15 docentes a los cuales se encarga de acompañar durante el año. El programa implica la intervención vía 3 mecanismos: 1) visitas mensuales al aula en donde los acompañantes discuten con los docentes la manera de mejorar la interacción profesor-alumno; 2) las reuniones mensuales de intercambio de experiencias entre pares (GIA), en donde este grupo de 8-15 docentes discuten entre ellos acerca de experiencias exitosas en sus aulas y 3) Talleres de actualización (2-3 al año) que son reuniones de capacitación general en técnicas pedagógicas llevadas a cabo de manera masiva en una UGEL.
Dicha experiencia, que tiene su antecedente en intervenciones similares ejecutadas en el Perú (Programa ¨Aprendes¨ en San Martin o ¨Promeb¨ en Piura) así como en diversos países de Latinoamérica (Programa ¨Si Profe¨ en Ecuador), entre otros, no está exenta de dudas acerca de su impacto en el rendimiento estudiantil, objetivo final al que deben apuntar las políticas educativas de esta naturaleza.
Es así que utilizando la data generada en el MINEDU de los resultados académicos de los estudiantes de segundo grado (ECE) a nivel nacional; como del Sistema de Información para la Gestión del Monitoreo del Acompañamiento Pedagógico (SIGMA), y de otras fuentes de información que tienen variables socio-económicas de los distritos del país, es que se puede evaluar el impacto del programa en el rendimiento escolar.
Así, con la ayuda de Micaela Chuquilin (Lima 1992), nos propusimos evaluar el impacto del Programa en el rendimiento educativo, diferenciando tanto la materia de análisis (Matemática y Comprensión lectora) como los ámbitos de intervención (colegios polidocentes completos- urbanos y colegios multigrado- rurales). Por tanto, nos fijamos algunos objetivos (preguntas) que ayudarían a tomar decisiones acerca de la continuidad o no del programa, así como de la reconfiguración de sus actividades:
- ¿Cuál es el impacto del programa en el rendimiento educativo?
- ¿Cuál es la duración óptima del programa para maximizar su impacto positivo?
- ¿Cuál es la contribución de cada uno de los componentes del programa?
Para responder estas cuestiones fue necesario definir el periodo de análisis considerando el alcance y las características del programa, ya que el mismo ha sufrido cambios a lo largo del tiempo. Se decidió por el periodo 2014-2016, ya que este coincide con el inmediato posterior al cambio en el enfoque del programa hacia los estudiantes más vulnerables (2012), usualmente ubicados en el ámbito rural; así como al cambio en el proceso de capacitación de los formadores (los responsables de capacitar a los acompañantes que harán las visitas a los docentes), cuyo entrenamiento se vio necesario sea centralizado por el MINEDU para asegurar una capacitación homogénea en todo el país.
Habiendo definido el periodo de análisis, para responder la primera pregunta acerca del impacto del programa fue necesario utilizar técnicas estadísticas de emparejamiento (Propensity score matching) de tal manera de obtener grupos de escuelas intervenidas y no intervenidas que se asemejaran lo más posible en diversas características del entorno (nivel de pobreza, desnutrición del distrito, etc.) como de la escuela (localización urbano-rural, participación de la escuela en programas sociales, etc.). De esta manera, obteniendo dos grupos de escuelas con características similares pero que únicamente se diferenciaban de la intervención recibida con el programa, fue posible comparar las medias de rendimiento estudiantil, obteniendo como resultado los impactos en rendimiento educativo (bajo la forma internacional de medir impactos: desviaciones estándar sobre la media-DE) que se muestran en la Tabla 1 y se resumen a continuación:
Tabla 1: Impacto del programa año 2014
**significante al 5%
- El año 2014 muestra impactos positivos y estadísticamente significativos del programa en Matemáticas y Comprensión Lectora para ambos grupos de escuelas. Además, dicho impacto, aunque un poco menor, es consistente con intervenciones internacionales similares que muestran impactos positivos aproximados de 0.4 DE en el rendimiento estudiantil.
- Es mayor el impacto en Comprensión lectora que en Matemáticas, lo que sugerimos es debido a la característica del programa (más enfocado hacia el fortalecimiento de capacidades pedagógicas que al contenido mismo del currículo).
- Hay un mayor impacto en colegios Polidocentes completos que en colegios Multigrado, lo que puede estar dado por el efecto de pares que, la literatura muestra, multiplica los efectos positivos de las intervenciones educativas. Recordemos que en colegios Multigrado en una misma aula se comparten diversos grados, perjudicando la atención del docente como el efecto de pares al interior del aula.
Entonces, se obtiene la primera recomendación de política pública: el programa tiene impacto positivo en el rendimiento educativo y debe de seguirse ejecutando.
Acto seguido, para responder la segunda pregunta acerca de la sostenibilidad de los impactos a lo largo del tiempo fue necesario realizar similar análisis, pero esta vez para el periodo 2014-2016, combinando el emparejamiento con un análisis adicional de diferencias en diferencias que permitiera ver la persistencia de los impactos positivos en el tiempo. Así, se pudo obtener los impactos diferenciados año a año durante el periodo de análisis, lo que se muestra en la Tabla 2:
Tabla 2: Impacto del programa durante periodo 2014-2016
**significante al 5% | ***significante al 1%
Como se observa, el resultado muestra que los primeros dos años de intervención continua para cada docente genera rendimientos positivos -pero decrecientes- en el rendimiento estudiantil en ambas materias y en ambos tipos de escuelas. Sin embargo, también muestra que la exposición de los profesores en el tercer año del programa (tiempo establecido en los manuales de la intervención) muestra efectos nulos en el rendimiento estudiantil. Lo anterior nos permite generar la segunda recomendación de política pública: La duración óptima del programa debe ser de dos años.
Finalmente, para responder la tercera pregunta fue necesario efectuar un análisis similar pero esta vez diferenciando los impactos individuales de cada componente de la intervención (visitas al aula, reuniones de intercambio de experiencias (GIA) y talleres de actualización). Dicho análisis permitió establecer que los impactos combinados de los primeros dos componentes significaban entre el 93%-97% de los impactos totales de la intervención, dejando el ultimo componente (talleres de actualización) con un impacto marginal en el resultado final. Dicho análisis, que se complementó con un análisis de costos, tuvo como consecuencia que en términos de costo/efectividad (rendimiento estudiantil por cada US$ invertido) fuera recomendable acotar el programa a los primeros dos componentes, si lo que se quiere es mejorar la eficiencia en la ejecución del programa. Dicha, es la tercera recomendación de política pública de la investigación.
Finalmente, y como corolario final del estudio, se compararon las ratios de costo/efectividad por estudiante con otra intervención educativa a nivel nacional que ha tenido evaluaciones de impacto con resultados alentadores: la Jornada Escolar completa (JEC). Los resultados comparados a nivel de colegios multigrado muestran que el programa de acompañamiento es más costo/eficiente tanto en Matemática (174 US$/0.1 DE vs 389 US$/0.1 DE de JEC) y Comprensión lectora (114 US$/0.1 DE vs 490 US$/0.1 DE de JEC), lo que reafirma la importancia de seguir aplicando el programa de acompañamiento como una política educativa prioritaria.
Todo esto nos lleva a reflexionar acerca del uso de la evidencia para medir los resultados de las intervenciones. En este caso hay efectos positivos, pero también hay márgenes para mejorar la intervención. ¿Seguiremos actuando sobre la base de supuesto y creencias?, o ya es hora de discutir técnicamente sobre la base de estudios que utilicen las mejores herramientas estadísticas disponibles. Abramos la discusión, critiquemos resultados, discutamos mejoras, pero hagámoslo con información porque nuestros niños merecen que cada sol invertido vaya a mejorar la calidad de su educación y por ende su calidad de vida: ellos se lo merecen.
Maastricht, 11 de febrero de 2019
