EVALUACIÓN
DEL PROGRAMA DE ESCUELAS DE CALIDAD
Por
Javier Brown César
Mayo de 2013
INTRODUCCIÓN
Con este breve
ensayo pretendemos realizar una evaluación de algunos de los aspectos
principales del Programa de Escuelas de Calidad, el cual tiene asignados para
2013, poco más de 2 mil millones de pesos (CÁMARA DE DIPUTADOS, 2012: 64). El
resultado esperado es una valoración de algunos componentes cruciales del
programa en aras de emitir un juicio global sobre la viabilidad de este y otros
programas similares.
OBJETIVOS
El Programa de
Escuelas de Calidad (en adelante PEC) fue puesto en marcha en el ciclo escolar
2001-2002 como parte de un esfuerzo para mejorar la gestión a nivel escolar. Actualmente
y de acuerdo a las reglas de operación (SEP, 2013: 1) el PEC "forma parte
de la política nacional de transformación de la gestión".
El objetivo
general del PEC es "Contribuir a fortalecer la autonomía de gestión de las
escuelas y zonas escolares mediante el fomento de la corresponsabilidad de la
comunidad escolar en la resolución de los retos que cada escuela enfrenta en la
generación de condiciones que propicien la mejora del logro educativo"
(SEP, 2013: 3.1.).
Los objetivos
específicos son: "Impulsar el desarrollo de la gestión escolar e
institucional centrada en la escuela y los aprendizajes. Participar con las
Autoridades Educativas de las entidades federativas, en la creación de
condiciones institucionales que contribuyan a respaldar la toma responsable de
decisiones en la escuela y zonas escolares. Contribuir con las Autoridades
Educativas de las entidades federativas al desarrollo de competencias técnicas
en materia de gestión educativa, en el contexto de las necesidades locales"
(SEP, 2013: 3.2.).
A la luz de los objetivos específicos
podría considerarse que el PEC se reduce a ser un Programa de apoyo a la
gestión escolar, pero el objetivo general habla del logro educativo y las
Reglas de operación señalan claramente que la finalidad es "mejorar la
calidad del servicio educativo y los resultados de aprendizaje" (SEP,
2013: 1).
Esta formulación
deja en claro que el PEC opera con un supuesto teórico de base que establece la
relación causal entre gestión escolar y rendimiento. Este supuesto teórico se
confirma cuando se establece como un criterio para definir la población objetivo
a los indicadores educativos desfavorables. Ahora bien, estos indicadores
educativos no son propiamente de gestión (procesos) sino que conforman los
outputs del sistema en términos de reprobación, deserción, puntajes en pruebas
estandarizadas (ENLACE), eficiencia terminal y absorción. La vinculación entre los
indicadores que miden los outputs y la gestión escolar (procesos) no resulta
clara a menos que se parta del supuesto bastante exigente y cuestionable que
las escuelas en las que los alumnos tienen mejor rendimiento están sujetas a un
modelo de administración diferente, lo cual no ha sido demostrado. La
conclusión de la Evaluación de consistencia y resultados 2008
(CONEVAL, 2008) se centra en el logro educativo, medido como tasa de
reprobación y tasa de abandono e interrupción escolar, señalando que estos
indicadores son cuantitativamente modestos.
Los estudios e
investigaciones internacionales no muestran con contundencia que el PEC es
adecuado para mejorar el rendimiento académico. Así, la evaluación específica
del desempeño 2010-2011 realizada 10 años después de la puesta en marcha del
PEC recurre a tres estudios internacionales (Murnane, Willet y Cárdenas de
Harvard; Skoufias y Shapiro del Banco Mundial; y Loera y Cázares); donde las
conclusiones apuntan a que no se encuentran resultados contundentes en materia
de logro educativo, así por ejemplo en el estudio de Harvard se concluye que:
"Cada año de participación en el PEC resultó en un descenso en la tasa de
deserción de aproximadamente 0.11%. Por otra parte, no se encontró un impacto
del PEC sobre las tasas de reprobación estudiantil o en el porcentaje de
estudiantes de extra-edad de las escuelas". En el estudio de Loera y
Cázares se encontró que: "En sus primeros cuatro años de operación, los resultados
en aprovechamiento escolar a nivel longitudinal no cambiaron significativamente
en las escuelas" PEC (CONEVAL, 2011a).
PROBLEMÁTICA
El problema al que
va dirigido el programa no está correctamente identificado y claramente
definido. Así, no se mencionan los resultados de la prueba ENLACE o las tasas
que tienen que ver con el output. Esta falta de definición se debe a que los
objetivos del PEC no necesariamente están conectados.
El Modelo de Estándares de gestión para la educación
básica[1] se basa en cuatro dimensiones
principales: pedagógico curricular, organizativo, participación social y administrativo.
El supuesto implícito que subyace a estas dimensiones es que su mejoramiento
conjunto permite atender una problemática que no está precisamente establecida aunque
en términos generales se puede definir como la necesidad de transformar la
gestión educativa. Sin embargo, el problema de fondo, que es el rendimiento, no
se cuantifica.
Para cada uno de los
componentes del modelo de estándares de gestión, habría que partir del supuesto
que el diseño curricular es erróneo, que el modelo organizativo es el
equivocado, que la participación social es escasa y que las escuelas están mal
administradas, Estos problemas, así como el del rendimiento, no están
debidamente cuantificados lo que impide establecer una línea basal mediante la
cual puedan construirse indicadores para medir el progreso en cada uno.
INDICADORES
La matriz de
indicadores (MIR) no está vinculada adecuadamente con los Estándares
de gestión para la Educación Básicala MIR cabe cuestionar en qué
medida los componentes y actividades están alineados con el fin y el propósito.
El propósito de la MIR es que "Escuelas
públicas de educación básica transforman su gestión escolar a través de la
implementación de la
Gestión Educativa y de la Planeación Estratégica ",
medido con el indicador de "Porcentaje de escuelas PEC que permanecen
cinco ciclos escolares o más, respecto del total de escuelas beneficiadas por
el Programa en último el ciclo escolar".
El contrafactual del fin es del todo
arbitrario y en los hechos es difícil de diseñar para determinar el impacto efectivo
del PEC (lo que abordaremos en el apartado correspondiente). Además, el indicador
del fin no necesariamente se relaciona causalmente con los indicadores de los
componentes y actividades entre los que están entre otros: supervisores capacitados,
escuelas con Consejos Escolares de Participación Social, escuelas beneficiarias
con recursos del PEC, directivos capacitados anualmente y recepción en tiempo
de recursos federales.
La
relación causal entre indicadores de los componentes y actividades con los del
fin no es clara dado el problema de diseño señalado cuando se habló de que el
PEC parte de un supuesto no demostrado: que la gestión incide positivamente en
el rendimiento. De esta forma, el cumplimiento de los indicadores establecidos
para los componentes y actividades no necesariamente impactará en el fin, que
es mejorar el rendimiento. Grosso modo los indicadores están bien planteados,
pero el problema es la relación con el fin y con el propósito y desde luego,
hay un desacoplamiento importante entre el fin y el propósito ya que ninguna
evaluación ha demostrado convincentemente que la permanencia de las escuelas en
el PEC mejore el rendimiento de los alumnos.. Por lo tanto es claro y lógico
concluir que el logro del Propósito no contribuye al logro del Fin y que
tampoco lo hacen, de manera necesaria, los componentes y actividades.
POBLACIÓN POTENCIAL Y OBJETIVO
Las Reglas de
Operación (SEP, 2013: 4.2.) establecen que la población objetivo son: "Escuelas
públicas de educación básica en todos sus niveles y modalidades; con énfasis en
aquellas, de nivel primaria y secundaria, con indicadores educativos
desfavorables, o ubicadas en localidades de alta y muy alta marginación
conforme al índice determinado por el CONAPO". Con esta "delimitación"
queda claro que el objetivo del PEC no son los alumnos sino la organización
escolar, y en segundo lugar también queda claro, que la población que presenta
el problema, así como la población objetivo no están claramente definidas ni
cuantificadas a menos que hablemos de las cerca de 123 mil escuelas públicas de
educación básica que había en el país en 2012. Pero además, no hay una
metodología para cuantificar a la población beneficiada (CONEVAL, 2011a: 9).
Los
criterios de selección para las escuelas quedan a discreción de cada entidad
federativa (SEP, 2013: 4.4.1.). Los criterios de focalización del PEC (SEP,
2013: 4.4.1.1. B), dejan en claro que lo que en el fondo se propone el Programa
es mejorar los outputs de la organización escolar a través de los resultados de
los alumnos, ya que se concentran en aspecto asociados al rendimiento como son:
escuelas con resultados insuficientes en la prueba ENLACE, ubicadas en
comunidades mayoritariamente indígenas; escuelas multigrado; Centros
Comunitarios del CONAFE en educación básica; y los espacios educativos ubicados
en los campamentos de jornaleros agrícolas que atienden a estudiantes migrantes.
Ahora
bien, la selección de las escuelas por parte de las autoridades de las
entidades federativas debería sujetarse a criterios de transparencia y
rendición de cuentas y a un padrón de instituciones beneficiarias de acceso
público, disponible en los portales de cada entidad federativa, lo cual no pudo
comprobarse, y es consistente con lo observado por CONEVAL en términos de la
ausencia de un sistema "que provea información oportuna sobre lo que
sucede en las escuelas beneficiadas" (CONEVAL, 2011: 4).
FACTIBILIDAD DE EVALUACIÓN DE IMPACTO
Dadas las
características del PEC es difícil realizar evaluaciones de impacto. La única
evaluación de impacto confiable que se ha realizado es la de la Escuela de Graduados en
Educación de la
Universidad de Harvard, de 2006, la cual tomó como grupo de
tratamiento a aquellas escuelas que se incorporaron al Programa en su segundo
año de funciones. (CONEVAL, 2011a; 2).
La otra evaluación
de impacto realizada por el Banco Mundial en 2006 tuvo un problema con el
contrafactual que fue observado por el CONEVAL en los siguientes términos: "Para
asegurarse de que las diferencias en el rendimiento académico de los
estudiantes se deben al Programa, es necesario probar que
las escuelas
pertenecientes al grupo de tratamiento, tienen características similares no observables
a las escuelas del grupo de control" (CONEVAL, 2011a; 3).
A la luz de estas
dificultades es como hay que valorar la evaluación realizada por la propia
autoridad educativa sobre los resultados del PEC en el sentido de que los
resultados, "aunque modestos, son estadísticamente significativos porque
revelan el aporte que el Programa está realizando" (AHUJA, 2011; 24). Como
ya se mencionó, la evaluación de impacto realizada por las personas de Harvard
sólo encontró mejoras en el descenso de la tasa de deserción (0.11%), pero el
impacto en el rendimiento de los alumnos, que es lo que realmente importa y
permitiría medir el impacto efectivo del PEC no se ha constatado.
Para que esto
último pudiera hacerse se requeriría una definición precisa y aleatoria del
contrafactual con base en los criterios de focalización de las Reglas de Operación,
que son los únicos que permiten delimitar con claridad una parte de la
población objetivo. Ahora bien, esto no garantiza la comparabilidad de ambas
muestras, además de que las autoridades educativas estatales tienen un ámbito
discrecional para determinar qué escuelas se incorporarían o se mantendrían en
el PEC.
Para que la
evaluación de impacto sea contundente sería conveniente estudiar cohortes entre
escuelas comparables, lo que requeriría un estudio longitudinal no reducido a
un ciclo escolar, pero dado que en el tiempo las escuelas pueden entrar y salir
del PEC la tarea se dificulta enormemente. A esto hay que sumar factores como
la maduración de la población, la migración y la implementación de otros
programas que puedan incidir en el rendimiento.
Adicionalmente, es
importante señalar que la implementación del PEC es onerosa en términos de los
costos de transacción, ya que intervienen diversas autoridades, en diferentes
niveles de la cadena de mando. Los costos de transacción podrían abatirse si y
sólo sí: "las partes contrayentes deciden respetar las reglas del juego
[las reglas de operación], el monitoreo sobre las actitudes oportunistas es más
fácil [vía mecanismos de transparencia y rendición de cuentas en las entidades
federativas], el compromiso adquirido por las partes reduce la incertidumbre y
los costos de información para completar la transacción son menores"
(ARÁMBULA y GÓMEZ, 1993: 323).
CONCLUSIONES
A raíz de esta concisa
evaluación del PEC es evidente que existe un importante problema de diseño que
se refiere, tanto a los supuestos del Programa, como a la definición de los
indicadores que permiten medir que se está logrando lo que se pretende. Por el
lado de los supuestos no queda claro cómo la organización escolar puede mejorar
el rendimiento de los alumnos. Antes bien, existe evidencia en el sentido de
que el factor clave para el rendimiento de los alumnos es la interacción entre
docentes y alumnos y que la calidad de los docentes es crucial para contar con escuelas
efectivas, a lo cual no atiende el PEC: the quality of teaching is a crucial
component of departmental effectiveness" (SAMMOS, THOMAS y MORITOME; 84).
La evidencia
internacional apunta a que es necesario transformar el aula para centrar el
proceso didáctico en el educando y constituir una auténtica comunidad educativa
(CLARKE, P., M. AINSCON & T TOWSEND,
1999).
Esto implica el cambio de paradigma de la noción de Estado educador a la de la
comunidad educativa (MORFÍN, 1999), así como la diversificación de las fuentes
de financiamiento de las escuelas. En el largo plazo, lo más factible es que apoyos
como los contemplados en el Programa de Escuelas de Calidad, si no se demuestra
de forma contundente que bajan la tasa de deserción, aumentan la tasa de
eficiencia terminal y mejoran el rendimiento de los alumnos en la prueba ENLACE,
deberían desaparecer ya que además de los costosos que conllevan, pueden
generar incentivos perversos para la permanencia en el programa y no
necesariamente incidir en que las escuelas con los peores rendimientos mejoren.
BIBLIOGRAFÍA
AHUJA, R (2011).
La evaluación del Programa de Escuelas de Calidad: resultados y retos. México,
SEP. En Educare. p. 23-25.
ARÁMBULA, H y D.
GÓMEZ. La economía de los costos de transacción. En Gestión y Política Pública. No. 2, julio diciembre de 1993. p.
315-336.
CÁMARA DE
DIPUTADOS (2012). Presupuesto de Egresos de la Federación para el
ejercicio fiscal 2013. En Diario Oficial
de la Federación ,
27 de diciembre de 2012. 147 p.
CLARKE, P., M.
AINSCON & T TOWSEND (1999) Third millennium schools, a world of difference
in effectiveness and improvement. London, Swets & Zeitlinger Publishers. 382
p.
CONEVAL (2008).
Evaluación de consistencia y resultados SEP. México, CONEVAL. 130 p.
CONEVAL (2011a).
Evaluación específica de desempeño: Programa de Escuelas de Calidad (PEC).
México, CONEVAL. 26 p.
CONEVAL (2011b).
Evaluación integral del desempeño de los Programas Federales de Mejoramiento de
la Educación Básica
CONEVAL (2012). Criterios
generales para dar respuesta a las preguntas de la evaluación de consistencia y
resultados y de diseño 2001 de los programas Federales: México, CONEVAL. 35 p.
MORFÍN, L (1999).
Del Estado educador a la Comunidad
Educativa.la Educación
básica en el Nuevo Milenio. I. p,. 52-58.
SAMMOS, P., S.
THOMAS, & P. MORITOME (1997). Forging link: effective schools and effective
deperatments. London, SAGE. 264 p.
SEP (2011). Documento de análisis institucional:
análisis del Informe Final de Evaluación Específica de Desempeño 10. México, SEP. 3
p.
SEP (2012). Matriz
de indicadores de resultados ejercicio fiscal 2013: Programa Escuelas de
Calidad. México, SEP. 5 p.
SEP (2013).
Acuerdo número 661 por el que se emiten las Reglas de Operación del Programa
Escuelas de Calidad. En Diario Oficial de la Federación 25 de
febrero de 2013. 32 p.
SEP. Estándares de
gestión para las Escuelas de Educación Básica. En http://basica.sep.gob.mx/pec/start.php?act=estandares
SEP. Programa de
Escuelas de Calidad. En http://basica.sep.gob.mx/pec/
No hay comentarios.:
Publicar un comentario