Categories
El arte de mejorar la calidad educativa

La decisión de mejorar

Esta semana y después de dos años y tres meses desde que comenzó la pandemia, mi familia recibió la notificación de la escuela de que mis hijos regresarán a clases presenciales todos los días de la semana durante el resto del año escolar. Todavía no puedo creer que hayan pasado más de 820 días desde que las escuelas cerraron. 

Cuando reflexiono, pienso en todas las cosas que tuvimos que adaptar para seguir con la vida durante la pandemia. En educación, nos adaptamos a la educación a distancia cuando los recursos lo permitieron. En poblaciones privilegiadas, las adaptaciones consistían en el uso de plataformas para clases en línea. Donde los recursos no lo permitían, los docentes comprometidos utilizaban guías de trabajo, WhatsApp y lo que estuviera a su alcance para seguir enseñando. Nosotros, los padres, nos adaptamos para ser maestros de nuestros hijos y nos unimos a los maestros. A pesar del shock que nos provocó la pandemia, poco se innovó en materia educativa. 

En este blog se han discutido muchas limitaciones que tenía la educación a distancia para lograr el aprendizaje. Todas las limitaciones, en mi opinión, se debían a una insistencia o necedad del gremio para intentar encajar soluciones virtuales para seguir haciendo las mismas cosas que sabíamos hacer en lugar de buscar respuestas o innovaciones para que los niños siguieran aprendiendo a pesar del confinamiento. Por ejemplo, las clases en línea con grupos grandes no funcionaron desde el primer día; sin embargo, fue la solución más frecuente en los colegios. Ha sido clara la evidencia de que los estudiantes necesitan un grupo pequeño o interacciones individuales con un tutor para que aprendan en modalidad virtual. A pesar de esto, muy pocas instituciones implementaron soluciones para satisfacer las necesidades de cada niño. El resultado fue que la pandemia también puso de relieve las terribles deficiencias de la educación y evidenció por qué los niños no han aprendido.

Pero ¿por qué no pudimos innovar la forma en que enseñamos? En este punto, es claro que, cuando volvamos a llenar las aulas, los niños volverán a lo mismo que tenían antes de que iniciara el confinamiento. Mi hipótesis es que no podemos innovar porque nunca tuvimos claro el objetivo de nuestra razón de ser como educadores, que era que los niños aprendieran, desarrollaran habilidades y crecieran cognitiva, física y emocionalmente. Pensamos que nuestro objetivo era únicamente seguir enseñando. Por eso, nos enfocamos en buscar la forma de hacerlo a distancia sin reflexionar, mucho menos cambiar, sobre lo que hacíamos. 

No obstante, tendremos una nueva oportunidad cuando regresemos a la escuela. Será difícil porque recibiremos niños cuyas experiencias en la pandemia fueron muy diferentes y que, como consecuencia, cada niño logró aprender en diferentes niveles. El reto será demostrar que nuestros alumnos están alcanzando las competencias para su edad o al menos que están en camino de lograrlo. Por consiguiente, las escuelas deben innovar y asegurarse de que los estudiantes que se rezagaron puedan ponerse al día y continuar aprendiendo.

Para innovar es preciso valerse de datos de la escuela. El uso de datos escolares es un recurso poderoso para planificar intervenciones para el aprendizaje. Intentaré explicarme en las siguientes líneas.

Los datos escolares pueden provenir de diferentes fuentes. En primer lugar, las escuelas registran datos demográficos de los niños que nos ayudan a conocer a sus familias, dónde viven y algunos datos de su salud. Luego, están los datos que provienen de cuestionarios. Estos nos permiten explorar diferentes temas, generalmente relacionados con factores asociados con el aprendizaje; por ejemplo, el estatus socioeconómico y las oportunidades extracurriculares para aprender, entre otros. Por último, están los datos relacionados con aprendizaje, que provienen de evaluaciones formativas y sumativas que los profesores realizan en sus aulas, o bien, de evaluaciones externas del aprendizaje de los estudiantes. 

Sin embargo, el poder de los datos no está en su recolección o almacenaje, ni siquiera en la capacidad de describirlos o visualizarlos en formas sofisticadas. El verdadero poder de los datos está en su uso oportuno. Una metodología para ayudar a las escuelas a reflexionar sobre los aprendizajes de sus estudiantes y actuar para mejorarlos a través de reconocer los factores asociados a dichos aprendizajes son las teorías de acción. Esta metodología, además de reflexionar sobre la evidencia proveniente de datos, empodera a los miembros de la escuela para actuar en beneficio de mejorar las competencias de los estudiantes a través de los recursos humanos y materiales de la escuela. La mayor ventaja de esta metodología es que permite que los actores de la escuela determinen claramente las metas de aprendizaje de sus estudiantes, lo que en sí mismo constituye la mitad del camino ganado en vías de mejorar.

Finalmente, la práctica de usar datos en las escuelas se convierte en una cultura de mejora con base en evidencia. Al final del día, mejorar también tiene que ver con una mentalidad de crecimiento. Se trata de creer que todos pueden aprender y que siempre hay una mejor manera de hacerlo. Se trata de una visión y de volverla realidad porque tengo evidencia que fundamenta cómo.

Si eres líder escolar y quieres conocer sobre cómo implementar una teoría de acción en tu institución, contactame aquí. Hagamos equipo y sigamos trabajando por mejorar la calidad educativa!

Categories
Reflexiones sobre evaluación

Elementos para mejorar la calidad educativa

En los últimos 15 años, me he dedicado a construir datos para tomar el pulso a los aprendizajes de los estudiantes guatemaltecos. Mi rol fue construir datos que les permitieran a los implementadores de intervenciones educativas demostrarles a las partes interesadas (gobiernos, donantes, beneficiarios) las mejoras que, presumiblemente, eran producto de la inversión y la implementación eficientes. Durante estos quince años, leí varios libros y muchos artículos académicos sobre el arte de mejorar la educación y la salud de los países en vías de desarrollo. Un ejemplo fue el libro Learning to Improve de Bryk, Gomez y Grunow. Este libro es brillante al mostrar lo que implica mejorar y cómo se usan los datos para ello. 

Con certeza puedo decirles que mejorar no es una cuestión de buenas intenciones, sino de planificación detallada y basada en evidencia, así como de una implementación fiel a dicha planificación. Esto es cierto para todos los aspectos en la vida que se deseen mejorar. Un ejemplo común de mejora personal es cambiar la dieta personal, que, a su vez, mejore nuestra salud.  Para mejorar nuestra dieta y salud, se requiere, como mínimo, una planificación basada en el diagnóstico de un médico o de un nutricionista y de sostener fielmente la dieta sugerida por el profesional por un tiempo determinado.  No me dejarán mentir al decir que, a pesar de la fidelidad de implementación de una dieta e incluso observando pérdidas de peso, las dietas no funcionan igual para todas la personas.  Por ello, siempre es valioso contar con el diagnóstico y el criterio de un profesional de salud que conecte las variables necesarias para saber por qué perdemos o no perdemos peso. 

Igual que con el mundano ejemplo de la dietas, también existen innumerables libros sobre evaluación e investigación educativas que, como si fueran manuales, nos dicen la receta de todas las posibilidades para implementar y evaluar intervenciones que apuntan a mejorar la calidad educativa.  Sin embargo, rara vez los libros y los artículos contienen criterios para tomar decisiones cuando se diseña un proyecto educativo con este fin. Cuando digo proyecto educativo me refiero a uno de cualquier índole: uno grande, como los que se implementan a nivel nacional, o uno de menor escala, como los que se implementan en instituciones educativas.

Antes de introducir los criterios para tomar decisiones de diseño de un proyecto educativo con objetivos de mejorar calidad educativa, es imprescindible hablar del significado de mejorar, que quiere decir lograr un cambio positivo. Algunos sinónimos de mejorar son progresarascender de categoríaaumentarperfeccionarautomatizaradelantar, entre otros. En términos estadísticos, la mejora se evidencia al mover una población al lado positivo de la curva. Menciono la definición de mejora en términos estadísticos porque, como he discutido anteriormente, la mejora debe poder observarse y demostrarse; de lo contrario, perderemos el tiempo al creer que la dieta está funcionando, cuando en realidad no lo hace o, peor aún, pueda estar dañando nuestra salud.

La estadística y los datos permiten a los implementadores evidenciar que efectivamente el proyecto educativo ha provocado una mejora en la calidad educativa. En intervenciones educativas, por lo general se analizan datos cuya varianza permite demostrar ya sea progreso, cambios entre categorías, aumento de porcentajes o adelanto de un grupo con respecto de otros. Sin embargo, demostrar estas mejoras con datos estadísticos no pasa por arte de magia. Requiere de capturar los datos de las variables adecuadas, así como de conectar las variables de acuerdo con el diseño de la intervención para que los resultados sean válidos en términos de su interpretación.  Realizar esta labor durante estos quince años me ha dejado algunas lecciones que comparto a continuación.

  1. Elegir el resultado por mejorar de forma tan específica como sea posible. Por lo general, cuando iniciamos un proyecto educativo, la intención es mejorar habilidades básicas como parte fundamental de mejorar la calidad educativa. Entonces, tenemos intención de mejorar lecturamejorar matemática o mejorar escritura. Sin embargo, estos resultados son difíciles de traducir en datos si no se especifican. Trataré de explicarme usando la lectura como ejemplo. El aprendizaje de la lectura es un continuo que va desde desarrollar conciencia fonológica y comprensión oral hasta comprender textos de diferentes tipos, pasando por la fluidez. Si el objetivo en general es mejorar la lectura, puede significar mejorar todas las destrezas del continuo o solamente alguna, dependiendo del grado o la fase en el que se encuentre el estudiante. Por ejemplo, en preescolar, probablemente mejorar lectura signifique mejorar la comprensión oral; en segundo de Primaria, mejorar la fluidez; y en tercero, mejorar la comprensión lectora. Es decir, al elegir el resultado, es importante granularlo tanto como sea posible tomando en cuenta la fase en el continuo de desarrollo de la habilidad. Para decidir lo anterior, es necesario conocer teorías de aprendizaje de cada habilidad, idealmente desde la neurociencia y no desde la didáctica. 
  • Construir la medición apropiada de dicho resultado. Lamentablemente, con los años he podido observar que se toma muy a la ligera la medición de los resultados en intervenciones educativas, cuando es un aspecto determinante para demostrar la mejora o el estancamiento. Una medición apropiada es la que es válida y confiable. La confiabilidad está altamente asociada con el número de ítems en una prueba. Dicho de otra forma, un estudiante debe tener suficientes oportunidades para demostrar su habilidad y ser capaz de obtener resultados similares cada vez que se enfrente a dichas oportunidades. Además de ser confiables, los resultados de una medición deben interpretarse tal como se pretendía que fueran interpretados. Así, si el objetivo era medir la fluidez lectora, los resultados deben ser interpretados como fluidez y no  como comprensión lectora, por ejemplo. Este criterio está relacionado con la planificación de la estructura de datos que se usarán para medir las variables de una intervención.  Algunas variables constituyen una medición de una habilidad, mientras otras son factores asociados a la intervención que afectarán la habilidad.  En ambos casos es preciso considerar su medición de forma adecuada. 
  • Alinear la medición con el diseño de la evaluación de resultados. La medición de un resultado está altamente relacionada con el diseño de las evaluaciones en los proyectos. Por lo general, las evaluaciones siguen dos caminos: 1) evaluación transversal y 2) evaluación longitudinal. En el transversal, comparamos los resultados de dos grupos en un punto determinado de la intervención; por ejemplo, al final se pueden comparar el grupo control con el de intervención. Se espera que el grupo de intervención tenga mejores resultados que el control. Por otro lado, en el diseño longitudinal, se mide la habilidad de una misma cohorte a través del tiempo y se espera que los estudiantes aumenten su habilidad de un punto del tiempo a otro. Puede haber combinaciones de ambos diseños. Lo importante es comprender que los estudios longitudinales tienen algunas ventajas para mostrar mejoras con respecto de los transversales. Una ventaja es que, al controlar la varianza intragrupo, los efectos de mejora son más visibles. Mientras que, en los diseños transversales, los efectos de un grupo sobre otro son menos visibles, particularmente cuando las intervenciones toman tiempo en consolidarse.
  • Considerar el enfoque de la intervención en el diseño de la evaluación. El enfoque de intervención, ya sea uno enfocado en escuelas específicas o en regiones, o bien el que se implementa de arriba a abajo de una forma más directiva, contrario al que se implementa desde el desarrollo de capacidades del beneficiario, afectará la forma de mostrar las mejoras en una población. Por lo general, las mejoras se observan más cuando se interviene en escuelas específicas. Cuando las intervenciones son a nivel sistémico, las intervenciones pueden diluirse o contaminarse por otras intervenciones en la misma región. De esta forma, es importante considerar que las intervenciones a gran escala tendrán efectos menos pronunciados que las intervenciones a menor escala. 
  • Elegir un resultado que impacte en la calidad de vida de un niño. Finalmente, quizá lo más importante es elegir un resultado que impacte en la calidad de vida de un beneficiario. Muchas piezas de las intervenciones educativas solo constituyen insumos o productos que impactan el resultado; por ejemplo, otorgar libros de texto es un producto que impacta en el aprendizaje, pero que no constituye el resultado en sí mismo. El resultado en educación siempre debe estar relacionado con aprendizajes. Sin embargo, dichos aprendizajes pueden ser tan básicos que, aunque tengamos grandes efectos, no impactemos la calidad de vida de las personas. 

Estas lecciones surgieron de mi experiencia en el trabajo de campo a nivel internacional, a través del que colaboré activamente en el desarrollo de mi propio país. Asimismo, las lecciones fueron producto del continuo proceso de reflexión de libros especializados y de formación constante.  Por tanto, me atrevo a recomendar que, al diseñar un proyecto educativo, se consideren los criterios anteriores. Esto ayudará a que se construya una política educativa o una política escolar basada en evidencias, no en buenas intenciones. Además, las decisiones tomadas con base en estos criterios permitirán construir datos robustos y la varianza necesaria para demostrar verdaderas mejoras en los resultados educativos.  Al final del día, no se trata de «afirmar» que algunos los estudiantes leen mejor o que resuelven mejor los problemas matemáticos. No se trata de «contar» lo gratificante que fue la experiencia de implementación de un proyecto educativo. Se trata de «demostrar» que los ciudadanos de un país han progresado y que ese progreso ha impactado o impactará en una mejor calidad de vida.

En esta página, podrán encontrar los servicios de mejoramiento de la calidad educativa que ofrezco actualmente a instituciones educativas.  Además, pronto podrán encontrar mediciones de habilidades básicas para quienes quierean implementar evaluaciones en instituciones educativas y que, a su vez, deseen mejorar aprendizajes de los estudiantes con base en evidencia.