Recientemente, las autoridades educativas de Guatemala informaron que la evaluación de graduandos no se llevará a cabo por segundo año consecutivo. Desde 2006, esta evaluación ha provisto de la información necesaria para monitorear la calidad educativa, entendida por mejores aprendizajes.

Desde entonces, los resultados de las evaluaciones anuales de graduandos han mostrado que solo unos pocos estudiantes en Guatemala aprenden las competencias básicas de matemática y que solo algunos más se gradúan con las competencias de lectura necesarias para continuar en la universidad o en el mundo laboral competitivo. Sin embargo, a pesar de que los resultados no han sido los que esperábamos, año con año estos nos han permitido responder cuántos estudiantes aprenden, dónde están, qué oportunidades educativas han tenido, entre otras importantes preguntas sobre la calidad educativa. En mi opinión, medir aprendizajes de estudiantes con la calidad que se hizo desde el 2006 es uno de los mayores avances en materia educativa del país.

Ciertamente, la pandemia y la modalidad virtual complicaron la recolección de datos en general, pero en especial los datos educativos basados en pruebas estandarizadas. De hecho, la estandarización es la que se ha visto comprometida cuando se aplican pruebas tras un monitor. Simplemente no se puede asumir que los niños tienen la misma oportunidad de responder los ítems en dicha modalidad y, por consiguiente, hay una preocupación por la validez de los resultados. Lo anterior no es un problema exclusivo de Guatemala, sino del mundo entero. Sin embargo, decidir no recolectar datos de aprendizaje debido a los retos que implica actualmente representa un retroceso y un riesgo para el país, más aún durante la pandemia.

La razón por la cual pienso lo anterior se basa en la fascinante ciencia de mejorar (Bryk, Gomez, Grunow, & LeMahieu, 2017). Según Byrk et al. (2017) y Baker y Linn (2004), entre otros autores, para mejorar algo; por ejemplo, aprendizajes, hay que seguir, al menos, estos pasos:

Paso 1: El objeto de estudio y su variación

El objeto de estudio que más deseamos mejorar en educación es el aprendizaje. A pesar de que parece obvio, en realidad no lo es. Se pierde mucho la atención en apoyos del aprendizaje, como producción de materiales bonitos, capacitaciones esporádicas, planes y propuestas, y se pierde de vista que el objeto que queremos mejorar es que los niños desarrollen competencias, no que trabajen mucho sin llegar a ser más competentes. En el contexto educativo, y siendo el aprendizaje una variable latente, es importante contar con mediciones o pruebas que concreten el aprendizaje.

Paso 2: Determinar el estado del objeto por estudiar

Determinar por qué hay niños que aprenden más que otros, cuánto aprenden o cuánto tiempo toma aprender son preguntas determinantes para la toma de decisiones. Las evaluaciones de graduandos reflejan el aprendizaje al finalizar la educación básica de los estudiantes; de esa forma, los reportes de la evaluación de graduandos reflejan la varianza en los aprendizajes y los factores por los cuales varían, por ejemplo, el área en la que estudia el joven (urbano-rural) y el tipo de establecimiento (público-privado). Con los años, hemos aprendido que los estudiantes en situaciones vulnerables aprenden menos.

Paso 3: La capacidad de identificar soluciones y de distinguirlas de modas y tendencias

Cuando se conoce cuál es el objeto para mejorar y el estado en el que se encuentra, es imprescindible usar investigación ya existente para elegir las estrategias que podrían provocar un cambio en ese objeto. Lamentablemente, muchas soluciones propuestas en educación provienen de tendencias, modas y productos comerciales, pero casi nunca de evidencia que sustente que la solución provocará un cambio. A veces, creemos que se está implementando una innovación porque es nueva y no porque su efectividad se haya mostrado en otros contextos. La práctica inteligente de basarse en la literatura y en evidencia previo a invertir en una innovación no es nueva ni exclusiva en educación. Otras ciencias, como las de salud o las de administración, la usan como parte de su día a día.

Paso 4: La capacidad técnica de implementar soluciones

Una vez que se ha identificado la solución, se debe pensar en los recursos humanos que la implementarán. Los recursos humanos que usarán el libro de texto nuevo o la nueva plataforma virtual, que usarán nuevas metodologías de enseñanza y que evaluarán estudiantes deben tener la capacidad de utilizarlas de forma fiel. Esto, por lo general, requiere programas de formación del recurso humano más allá de capacitaciones esporádicas y cortas. Además, es importante documentar cuan fiel ha sido la implementación de las soluciones. Es como cuando vamos donde el doctor por una medicina; primero el médico recetará un tratamiento efectivo, pero luego el paciente debe tomarlo tal como dicta la receta. De igual forma, el docente que recibe el libro de texto y la metodología de enseñanza debe implementarlos apegado al diseño. Si en lugar de desarrollar las actividades de pensamiento crítico del libro de historia, el docente pone a los niños a copiarlo, seguramente no provocará un cambio en el aprendizaje.

Paso 5: Verificar el logro de la mejora

Verificar que logramos la mejora tiene que ver con la capacidad de medir el objeto en repetidas ocasiones. Con respecto de la medición de los aprendizajes en Guatemala, las evaluaciones se venían realizando anualmente en el caso de la de graduandos y cada dos o tres años en otros niveles. Cada año, teníamos un punto de comparación para saber si lo que se estaba implementando en el sistema educativo encaminaba a mejores aprendizajes. En algunos contextos del país, observamos mejoras, sobre todo en lectura.

En gran medida, este ciclo de mejora se fundamenta en datos, por lo general cuantitativos. Si no existen los datos, cualquier intervención o innovación que se introduzca constituye una buena intención, pero no sabremos si todo el trabajo, y a veces los millones de quetzales gastados en implementarlo, habrá sido efectivo. Por ello, la decisión de obviar datos para continuar educando en un contexto de pandemia es un retroceso. Existen alternativas para implementar la recolección de datos en Guatemala, partiendo de que en el país ya existe un sistema de evaluación robusto desde el 2006. Algunas alternativas basadas en experiencias en otros contextos son (Van Iwaarden & Betebenner, 2020):

No hacer las pruebas o retrasar la recolección hasta que se pueda. Esta opción, como discutimos anteriormente, elimina toda posibilidad de información para la toma de decisiones oportuna.
Evaluar a todos los estudiantes posibles a través de plataformas virtuales adecuadas para la aplicación de pruebas. Esta opción tiene limitantes en la estandarización; sin embargo, los resultados pueden interpretarse como una aproximación del desempeño de los estudiantes, que para la toma de decisiones sigue siendo útil.
Evaluar a una muestra de los estudiantes antes de que el ciclo escolar termine. Esta aplicación debería mantener los protocolos de estandarización.
Evaluar en modalidad híbrida. Esta opción aplicaría la evaluación con plataformas virtuales donde sea posible y de forma presencial donde también sea necesario y posible.
Es importante mencionar que la recolección no debe ser exclusiva del último grado de diversificado. Diseños longitudinales y con muestras factibles que recolecten datos sobre la trayectoria de aprendizajes durante la vida escolar, responden preguntas puntuales desarrollo de habilidades básicas, así como posible retroceso, entre otras.

En conclusión, dejar de investigar y medir porque las condiciones son difíciles es el peor de los escenarios para tomar decisiones en el país. Peor aún, seguir asumiendo que las intervenciones están provocando aprendizajes en los estudiantes sin tener una medida solo nos hará perder más años de la vida de los niños sin lograr competencias para salir adelante en medio de una crisis de salud.

Works Cited

Bryk, A., Gomez, L. M., Grunow, A., & LeMahieu, P. G. (2017). Learning to Improve: How America’s Schools Can Get Better at Getting Better. Cambridge, MA: Harvard Education Press.

Van Iwaarden , A., & Betebenner, D. (2020). Issues and Considerations that the COVID-19 Pandemic Presents for Measuring Student Growth. Retrieved from Center for Assessment: https://www.nciea.org/blog/sgp/issues-and-considerations-covid-19-pandemic-presents-measuring-student-growth