Categories
El arte de mejorar la calidad educativa Reflexiones sobre evaluación

Los efectos colaterales de evaluar

No puedo hablar por el resto del mundo, pero Guatemala ha sido un país lleno de estigma, prejuicio y discriminación. Muchas de estas acciones han sido, en parte, culpa del sistema educativo y sus vicios. Recientemente, me he preguntado si algunos vicios que aumentan las brechas educativas, los estigmas y las prácticas discriminatorias se originan en la forma en que comunicamos los resultados de las evaluaciones a quienes pueden decidir sobre las oportunidades educativas para los estudiantes de todos los orígenes.

Entre otros propósitos, para hacer visibles las brechas entre los estudiantes y tomar decisiones informadas sobre la asignación equitativa de recursos, los países han creado evaluaciones nacionales a gran escala y han participado en programas de evaluación internacionales; por ejemplo, Pisa y Llece. Los diseños de evaluación a gran escala suelen ser rigurosos, por lo que puede decirse que los resultados son válidos. Sin embargo, estos diseños son difíciles de explicar porque los procesos se basan principalmente en la estadística.

Al diseñar una prueba, se toman decisiones basadas en la ciencia (estadística, educación, etc.) de modo que los puntajes obtenidos en la prueba representen lo que el estudiante de un contexto o edad específica puede o no hacer. Pero tales decisiones también están influenciadas por los usos que se darán a los resultados y el presupuesto con el que se puede implementar una evaluación. Por lo tanto, en ocasiones, una metodología ideal debe ser compensada por otra posible que sea igualmente rigurosa y permita utilizar los resultados esperados.

Por ejemplo, la evaluación nacional de Aprende+ tuvo un alcance casi censal porque los docentes realizaron la aplicación en sus aulas. Esto permitió darles a los docentes una mayor participación en los procesos de evaluación nacional, obtener resultados de más niños con mayor rapidez y devolver a los docentes resultados sobre sus propios estudiantes casi de forma inmediata. Sin embargo, esto comprometió parcialmente la estandarización y confiabilidad de los resultados. Por el contrario, la evaluación nacional de la primaria no es un censo, sino una muestra porque se implementa una costosa operación de recolección de datos con actores externos que permite una estandarización casi impecable. Aun así, la muestra es más pequeña y los resultados se ven comprometidos si parte de la muestra se pierde y no permite que se entreguen resultados a nivel de la escuela y el aula.

A pesar del rigor de los diseños de evaluación y la documentación para demostrar la confiabilidad y validez de los resultados de las evaluaciones a gran escala, todo termina con su correcta comunicación al público, quien los utilizará para tomar una decisión. En última instancia, lo que quien toma las decisiones entienda sobre la metodología de evaluación y la capacidad o incapacidad de una persona marcará la diferencia en su forma de actuar.

A diferencia de las evaluaciones a gran escala que siguen procesos rigurosos de diseño, estandarización y validación, las evaluaciones en el aula tienden a ser menos confiables.  A pesar de ello, las implicancias de las evaluaciones de aula son altas ya que, estas pueden cambiar el curso de la vida de una persona, para bien o para mal.

Lamentablemente, los profesores de aula tienen poca formación en evaluación, pero están obligados a evaluar y certificar competencias. En consecuencia, se observa que los docentes imitan prácticas de evaluación a gran escala que observan de evaluadores externos, pero sin el conocimiento para imitarlas adecuadamente. Así, las pruebas y hojas de trabajo tienden a estar desconectadas de la competencia u objetivo que pretenden evaluar. Peor aún, los estudiantes reciben consecuencias sobre los puntajes de los exámenes en el aula que no demuestran con precisión lo que un estudiante puede o no puede hacer; por ejemplo, los estudiantes reciben calificaciones por “buena letra” o “formato”, descuidando el contenido de un escrito. Los estudiantes a menudo son castigados o avergonzados por sus errores de ortografía y rara vez reciben retroalimentación sobre sus habilidades para escribir ensayos. Así comunicamos que un niño “falló”, “no es capaz” y “no puede” cuando, en realidad, la prueba midió otra cosa. Si pensamos un poco más allá, con estas prácticas estamos comunicando que cuando el alumno escribe bonito tendrá una buena nota, aunque su escritura no sea coherente o no tenga argumento.

Además, los profesores a veces utilizan las calificaciones como recompensa por el buen comportamiento y pierden de vista el desempeño de los estudiantes. Por lo tanto, las niñas que se quedan quietas y se portan bien obtendrán mejores calificaciones que los niños activos o menos quietos.

Me preocupa que estas prácticas tengan peores consecuencias para los estudiantes vulnerables y que un niño sea castigado o tenga acceso limitado debido a la vulnerabilidad en la que vive al obtener una evaluación válida o poco confiable. Me pregunto si muchos niños que reprobaron el primer grado fueron evaluados con pruebas poco válidas y confiables y con ideas mal concebidas sobre las poblaciones vulnerables.

No digo que el diseño y la comunicación de los resultados de las evaluaciones sean la única causa de conductas excluyentes de las poblaciones vulnerables, pero no está de más repensar cuestiones básicas como:

¿Tenemos claro qué queremos visibilizar con una evaluación?

¿El diseño de nuestras evaluaciones es inclusivo o es excluyente?

¿Qué informamos a través de nuestras evaluaciones? ¿A quién informamos?

¿Qué escuchan y entienden nuestros docentes, políticos y ciudadanos sobre los resultados de una evaluación?

¿Qué decisiones son relevantes en función de los resultados y quién debe tomarlas?

¿Qué posibilidades reales tiene un estudiante de avanzar en función de los resultados de una evaluación?

No olvidemos que al evaluar pretendemos mostrar las desigualdades entre grupos a través de evaluaciones para brindar mejores oportunidades donde sean necesarias y, sospecho, que contrariamente a tal intención, sin querer estamos propiciando conductas de exclusión hacia las poblaciones indígenas, las poblaciones pobres, las mujeres y poblaciones con discapacidad. Aunque los resultados de pruebas estandarizadas muestran que algunos grupos de la población no están alcanzando los niveles requeridos de competencias esenciales, también podríamos estar comunicándoles que “no pueden” y que deberían “perder” el grado, sobre todo cuando se reproducen prácticas de evaluación poco confiables y válidas en las aulas. Es sumamente importante empezar a discutir el tema de comunicación de resultados de pruebas (nacionales o de aula) como un factor de exclusión en países como Guatemala y encontrar mejores estrategias de comunicación (para el desarrollo) de dichos resultados.

Categories
El arte de mejorar la calidad educativa

Datos y más datos

Cuando Vanessa y su esposo tuvieron a su primer hijo, decidieron inscribirlo, desde ese momento, en un colegio internacional al cual es muy difícil ingresar. A pesar de inscribirlos el año que nacían, los niños iniciaban en kindergarten a los 5 años. Vanessa recuerda que ese primer año escolar salió de excursión con familias amigas que tenían a sus hijos en el mismo colegio. Eran cinco familias que iban a un parque temático en Guatemala. Tres de las cinco familias conducían la misma marca y tipo de carro. Todas las madres del grupo tenían una profesión universitaria. En su mayoría los padres tenían un empleo estable y bien pagado y dos eran dueños de su propia empresa. Cuatro de las cinco familias tenían dos hijos y solo la de Vanessa tres. 

Aquel día Vanessa supo que ella y su esposo se parecían mucho más de lo que ella creía con los otros padres del grado de su hijo. Con los años, lo confirmó aún más. Cuando su tercer hijo entró al mismo colegio, tuvo la sensación de que ya no era tan parecida a los otros padres del grado del pequeño como había sido de los del grado de su hijo mayor. Vanessa era al menos cinco años mayor que el resto de los padres. En este grupo, la mayoría tenía un hijo o estaba por tener al segundo. Las profesiones eran muy diferentes a las de ella y su esposo.

Aunque lo pasemos desapercibido, los datos y la estadística tienen sentido por ejemplos como los anteriores. Los seres humanos somos seres sociales y, por tanto, seremos influenciados unos a otros. En las escuelas, el desempeño de los niños estará muy influenciado por el carro que manejen sus padres, la profesión de las madres, el número de hijos, entre otros factores.  Este es un ejemplo que ilustra el sentido del uso de la estadística y los datos en las ciencias sociales y humanísticas. Entre otras cosas, los datos y la estadística fundamentan la ciencia de la implementación y las intervenciones en distintas áreas. 

Es innegable que las mejoras educativas o las intervenciones no son cuestión de azar o de buena voluntad. Estas son actos fundamentados en ciencia donde, sobre todo, conocer e invertir en las variables correctas hará toda la diferencia, y no en el mero acceso de los datos. Esta idea es fundamental de este artículo. Los avances de la tecnología y la inteligencia artificial han puesto a disposición inimaginables cantidades de datos de cualquier tema para cualquier uso, bueno o malo, que cualquier persona quiera. Así, ahora se pueden recolectar datos a través del internet, incluso sin que el sujeto lo sepa. También es posible correlacionar variables provenientes de diferentes fuentes y concluir y sugerir productos, políticas, soluciones, entre otros usos. Además, se pueden generar datos ficticios, en el mejor de los casos para comprobar funciones y estadísticos, como se hace en los estudios tipo Monte Carlo. Pero también se pueden crear datos ficticios que mal informan a los usuarios, como el fake data

Así, nos encontramos en la era de acceso fácil y sin filtro de datos e información. En mi experiencia generando datos para diseñar e implementar programas para mejorar la educación de Guatemala basados en evidencia en los últimos quince años, no deja de preocuparme que la cantidad abrumadora de datos desmerite la investigación y los estándares de calidad con los que se produce para informar lo que debemos hacer, particularmente cuando se trata de una intervención médica, psicológica, educativa, etc. 

Las investigaciones rigurosas tienen estándares de calidad de los datos que recolectan. De ese modo, la instrumentación que produce el dato de una investigación es tratada con escrutinio, sobre todo en las ciencias sociales y humanísticas, donde se espera que el dato se interprete de forma transparente con base en un constructo (validez) y que se garantice consistencia con que el instrumento visibilizaría dicho constructo de una persona (confiabilidad). Esto, con el objetivo de que las varianzas que se identifiquen entre personas sean reales y, por consiguiente, también las conclusiones sobre ellas y el fenómeno que se estudia. 

Quizá hayan intuido que las investigaciones dependen mucho de la varianza existente y de la varianza que se diseña a través de las intervenciones. Por tanto, la importancia de los datos no radica en tenerlos o que estén disponibles, sino en identificar e intervenir en las fuentes de varianza correctas para provocar una mejora (Cummings, 2013). Porque después de todo, la ciencia está al servicio de la humanidad para que los humanos seamos mejores. 

En este sentido, 

  1. No es suficiente recolectar data o accederla sin limitaciones.
  2. No es suficiente identificar o monitorear atributos de los humanos (investigación exploratoria).
  3. No es suficiente correlacionar variables, aunque se tenga big data

Lo más importante es identificar las fuentes de varianza para mejorar las intervenciones y las decisiones que tomamos como humanidad y como país, por lo que:

  1. Hay que recolectar e identificar los datos adecuados (descartar fake data).
  2. Hay que identificar por qué no logramos resultados que esperábamos (investigación experimental).
  3. Hay que encontrar los estudios que nos permitan determinar con cuál intervención tenemos mayor probabilidad de mejorar algo (metaanálisis y revisiones sistemáticas de literatura).
  4. Hay que invertir recursos en aquellas variables donde tendremos mayor oportunidad de mejorar algo (replicar investigaciones).

Tal como el ejemplo de los grupos de padres de familia del colegio de los hijos de Vanessa, los humanos, cada uno con sus atributos, nos influenciamos unos a otros de diferentes maneras, lo que provoca que variemos (que nos parezcamos o difiramos) a diferentes niveles entre nosotros. Como dice el refrán: “dime con quien andas y te diré quién eres”.  Cabe hacer notar que las nuevas tecnologías y redes sociales y los llamados “influencers” están cumpliendo esta función con las nuevas generaciones.

A gran escala, conocer estas variaciones a través de datos precisos y adecuados ayuda a los tomadores de decisión a adjudicar los recursos en las variables correctas para obtener resultados esperados y así lograr mejorar.  Ojalá esta época de datos ilimitados no se quede solo en acceso.  Ojalá también haya quien los lea, los interprete y logre proponer intervenciones para que la humanidad sea mejor. 

Crédito de la imagen: Julián Véliz

Categories
El arte de mejorar la calidad educativa

La decisión de mejorar

Esta semana y después de dos años y tres meses desde que comenzó la pandemia, mi familia recibió la notificación de la escuela de que mis hijos regresarán a clases presenciales todos los días de la semana durante el resto del año escolar. Todavía no puedo creer que hayan pasado más de 820 días desde que las escuelas cerraron. 

Cuando reflexiono, pienso en todas las cosas que tuvimos que adaptar para seguir con la vida durante la pandemia. En educación, nos adaptamos a la educación a distancia cuando los recursos lo permitieron. En poblaciones privilegiadas, las adaptaciones consistían en el uso de plataformas para clases en línea. Donde los recursos no lo permitían, los docentes comprometidos utilizaban guías de trabajo, WhatsApp y lo que estuviera a su alcance para seguir enseñando. Nosotros, los padres, nos adaptamos para ser maestros de nuestros hijos y nos unimos a los maestros. A pesar del shock que nos provocó la pandemia, poco se innovó en materia educativa. 

En este blog se han discutido muchas limitaciones que tenía la educación a distancia para lograr el aprendizaje. Todas las limitaciones, en mi opinión, se debían a una insistencia o necedad del gremio para intentar encajar soluciones virtuales para seguir haciendo las mismas cosas que sabíamos hacer en lugar de buscar respuestas o innovaciones para que los niños siguieran aprendiendo a pesar del confinamiento. Por ejemplo, las clases en línea con grupos grandes no funcionaron desde el primer día; sin embargo, fue la solución más frecuente en los colegios. Ha sido clara la evidencia de que los estudiantes necesitan un grupo pequeño o interacciones individuales con un tutor para que aprendan en modalidad virtual. A pesar de esto, muy pocas instituciones implementaron soluciones para satisfacer las necesidades de cada niño. El resultado fue que la pandemia también puso de relieve las terribles deficiencias de la educación y evidenció por qué los niños no han aprendido.

Pero ¿por qué no pudimos innovar la forma en que enseñamos? En este punto, es claro que, cuando volvamos a llenar las aulas, los niños volverán a lo mismo que tenían antes de que iniciara el confinamiento. Mi hipótesis es que no podemos innovar porque nunca tuvimos claro el objetivo de nuestra razón de ser como educadores, que era que los niños aprendieran, desarrollaran habilidades y crecieran cognitiva, física y emocionalmente. Pensamos que nuestro objetivo era únicamente seguir enseñando. Por eso, nos enfocamos en buscar la forma de hacerlo a distancia sin reflexionar, mucho menos cambiar, sobre lo que hacíamos. 

No obstante, tendremos una nueva oportunidad cuando regresemos a la escuela. Será difícil porque recibiremos niños cuyas experiencias en la pandemia fueron muy diferentes y que, como consecuencia, cada niño logró aprender en diferentes niveles. El reto será demostrar que nuestros alumnos están alcanzando las competencias para su edad o al menos que están en camino de lograrlo. Por consiguiente, las escuelas deben innovar y asegurarse de que los estudiantes que se rezagaron puedan ponerse al día y continuar aprendiendo.

Para innovar es preciso valerse de datos de la escuela. El uso de datos escolares es un recurso poderoso para planificar intervenciones para el aprendizaje. Intentaré explicarme en las siguientes líneas.

Los datos escolares pueden provenir de diferentes fuentes. En primer lugar, las escuelas registran datos demográficos de los niños que nos ayudan a conocer a sus familias, dónde viven y algunos datos de su salud. Luego, están los datos que provienen de cuestionarios. Estos nos permiten explorar diferentes temas, generalmente relacionados con factores asociados con el aprendizaje; por ejemplo, el estatus socioeconómico y las oportunidades extracurriculares para aprender, entre otros. Por último, están los datos relacionados con aprendizaje, que provienen de evaluaciones formativas y sumativas que los profesores realizan en sus aulas, o bien, de evaluaciones externas del aprendizaje de los estudiantes. 

Sin embargo, el poder de los datos no está en su recolección o almacenaje, ni siquiera en la capacidad de describirlos o visualizarlos en formas sofisticadas. El verdadero poder de los datos está en su uso oportuno. Una metodología para ayudar a las escuelas a reflexionar sobre los aprendizajes de sus estudiantes y actuar para mejorarlos a través de reconocer los factores asociados a dichos aprendizajes son las teorías de acción. Esta metodología, además de reflexionar sobre la evidencia proveniente de datos, empodera a los miembros de la escuela para actuar en beneficio de mejorar las competencias de los estudiantes a través de los recursos humanos y materiales de la escuela. La mayor ventaja de esta metodología es que permite que los actores de la escuela determinen claramente las metas de aprendizaje de sus estudiantes, lo que en sí mismo constituye la mitad del camino ganado en vías de mejorar.

Finalmente, la práctica de usar datos en las escuelas se convierte en una cultura de mejora con base en evidencia. Al final del día, mejorar también tiene que ver con una mentalidad de crecimiento. Se trata de creer que todos pueden aprender y que siempre hay una mejor manera de hacerlo. Se trata de una visión y de volverla realidad porque tengo evidencia que fundamenta cómo.

Si eres líder escolar y quieres conocer sobre cómo implementar una teoría de acción en tu institución, contactame aquí. Hagamos equipo y sigamos trabajando por mejorar la calidad educativa!