Categories
El arte de mejorar la calidad educativa Reflexiones sobre evaluación

Los efectos colaterales de evaluar

No puedo hablar por el resto del mundo, pero Guatemala ha sido un país lleno de estigma, prejuicio y discriminación. Muchas de estas acciones han sido, en parte, culpa del sistema educativo y sus vicios. Recientemente, me he preguntado si algunos vicios que aumentan las brechas educativas, los estigmas y las prácticas discriminatorias se originan en la forma en que comunicamos los resultados de las evaluaciones a quienes pueden decidir sobre las oportunidades educativas para los estudiantes de todos los orígenes.

Entre otros propósitos, para hacer visibles las brechas entre los estudiantes y tomar decisiones informadas sobre la asignación equitativa de recursos, los países han creado evaluaciones nacionales a gran escala y han participado en programas de evaluación internacionales; por ejemplo, Pisa y Llece. Los diseños de evaluación a gran escala suelen ser rigurosos, por lo que puede decirse que los resultados son válidos. Sin embargo, estos diseños son difíciles de explicar porque los procesos se basan principalmente en la estadística.

Al diseñar una prueba, se toman decisiones basadas en la ciencia (estadística, educación, etc.) de modo que los puntajes obtenidos en la prueba representen lo que el estudiante de un contexto o edad específica puede o no hacer. Pero tales decisiones también están influenciadas por los usos que se darán a los resultados y el presupuesto con el que se puede implementar una evaluación. Por lo tanto, en ocasiones, una metodología ideal debe ser compensada por otra posible que sea igualmente rigurosa y permita utilizar los resultados esperados.

Por ejemplo, la evaluación nacional de Aprende+ tuvo un alcance casi censal porque los docentes realizaron la aplicación en sus aulas. Esto permitió darles a los docentes una mayor participación en los procesos de evaluación nacional, obtener resultados de más niños con mayor rapidez y devolver a los docentes resultados sobre sus propios estudiantes casi de forma inmediata. Sin embargo, esto comprometió parcialmente la estandarización y confiabilidad de los resultados. Por el contrario, la evaluación nacional de la primaria no es un censo, sino una muestra porque se implementa una costosa operación de recolección de datos con actores externos que permite una estandarización casi impecable. Aun así, la muestra es más pequeña y los resultados se ven comprometidos si parte de la muestra se pierde y no permite que se entreguen resultados a nivel de la escuela y el aula.

A pesar del rigor de los diseños de evaluación y la documentación para demostrar la confiabilidad y validez de los resultados de las evaluaciones a gran escala, todo termina con su correcta comunicación al público, quien los utilizará para tomar una decisión. En última instancia, lo que quien toma las decisiones entienda sobre la metodología de evaluación y la capacidad o incapacidad de una persona marcará la diferencia en su forma de actuar.

A diferencia de las evaluaciones a gran escala que siguen procesos rigurosos de diseño, estandarización y validación, las evaluaciones en el aula tienden a ser menos confiables.  A pesar de ello, las implicancias de las evaluaciones de aula son altas ya que, estas pueden cambiar el curso de la vida de una persona, para bien o para mal.

Lamentablemente, los profesores de aula tienen poca formación en evaluación, pero están obligados a evaluar y certificar competencias. En consecuencia, se observa que los docentes imitan prácticas de evaluación a gran escala que observan de evaluadores externos, pero sin el conocimiento para imitarlas adecuadamente. Así, las pruebas y hojas de trabajo tienden a estar desconectadas de la competencia u objetivo que pretenden evaluar. Peor aún, los estudiantes reciben consecuencias sobre los puntajes de los exámenes en el aula que no demuestran con precisión lo que un estudiante puede o no puede hacer; por ejemplo, los estudiantes reciben calificaciones por “buena letra” o “formato”, descuidando el contenido de un escrito. Los estudiantes a menudo son castigados o avergonzados por sus errores de ortografía y rara vez reciben retroalimentación sobre sus habilidades para escribir ensayos. Así comunicamos que un niño “falló”, “no es capaz” y “no puede” cuando, en realidad, la prueba midió otra cosa. Si pensamos un poco más allá, con estas prácticas estamos comunicando que cuando el alumno escribe bonito tendrá una buena nota, aunque su escritura no sea coherente o no tenga argumento.

Además, los profesores a veces utilizan las calificaciones como recompensa por el buen comportamiento y pierden de vista el desempeño de los estudiantes. Por lo tanto, las niñas que se quedan quietas y se portan bien obtendrán mejores calificaciones que los niños activos o menos quietos.

Me preocupa que estas prácticas tengan peores consecuencias para los estudiantes vulnerables y que un niño sea castigado o tenga acceso limitado debido a la vulnerabilidad en la que vive al obtener una evaluación válida o poco confiable. Me pregunto si muchos niños que reprobaron el primer grado fueron evaluados con pruebas poco válidas y confiables y con ideas mal concebidas sobre las poblaciones vulnerables.

No digo que el diseño y la comunicación de los resultados de las evaluaciones sean la única causa de conductas excluyentes de las poblaciones vulnerables, pero no está de más repensar cuestiones básicas como:

¿Tenemos claro qué queremos visibilizar con una evaluación?

¿El diseño de nuestras evaluaciones es inclusivo o es excluyente?

¿Qué informamos a través de nuestras evaluaciones? ¿A quién informamos?

¿Qué escuchan y entienden nuestros docentes, políticos y ciudadanos sobre los resultados de una evaluación?

¿Qué decisiones son relevantes en función de los resultados y quién debe tomarlas?

¿Qué posibilidades reales tiene un estudiante de avanzar en función de los resultados de una evaluación?

No olvidemos que al evaluar pretendemos mostrar las desigualdades entre grupos a través de evaluaciones para brindar mejores oportunidades donde sean necesarias y, sospecho, que contrariamente a tal intención, sin querer estamos propiciando conductas de exclusión hacia las poblaciones indígenas, las poblaciones pobres, las mujeres y poblaciones con discapacidad. Aunque los resultados de pruebas estandarizadas muestran que algunos grupos de la población no están alcanzando los niveles requeridos de competencias esenciales, también podríamos estar comunicándoles que “no pueden” y que deberían “perder” el grado, sobre todo cuando se reproducen prácticas de evaluación poco confiables y válidas en las aulas. Es sumamente importante empezar a discutir el tema de comunicación de resultados de pruebas (nacionales o de aula) como un factor de exclusión en países como Guatemala y encontrar mejores estrategias de comunicación (para el desarrollo) de dichos resultados.

Categories
Reflexiones de una mamá maestra

Ciencia en el vecindario: una experiencia de intercambio de conocimientos en la comunidad

La mañana del 1 de octubre, cuando se celebra el día del niño en Guatemala y el día internacional del adulto mayor, siete niños y el abuelo de uno de ellos, todos del mismo vecindario, intercambiaron conocimientos de ciencia con otros niños en el parque Minerva de la ciudad de Guatemala en la actividad organizada por OWSD Guatemala y la Municipalidad de la ciudad. 

Los vecinos más pequeños mostraron el proceso químico para hacer burbujas caseras. «Tienes que colocar jabón de platos, un poco de champú de bebé, agua y azúcar» decía Joaquín de ocho años mientras mezclaba los ingredientes. «¿Por qué tienes que colocar azúcar?» le preguntó un participante de cuatro años. «Porque el azúcar hace que las burbujas se estiren más» respondió Pau de ocho años. Pau y Joaquín habían aprendido el proceso químico detrás de una burbuja gracias a Guayo, el abuelo de Pau y químico de profesión: 

Cuando soplamos la capa elástica formada de jabón, una corriente suave de aire forma la burbuja. Entonces, ocurre un fenómeno de tensión superficial en el que la burbuja está contrarrestando la presión atmosférica. Los componentes químicos del azúcar provocan que haya cohesión con el jabón y que cambien su densidad, volviéndolo más elástico (Guayo Robles- químico).

Los vecinos más grandecitos mostraron a los participantes cómo cambiar el color de una moneda a través de un proceso electroquímico. Julián, de 13 años, y Mateo, de 14, habían aprendido de Guayo cómo depositar un metal en otro. Las niñas de 11 y 12 años y Adrián de 10 decidieron mostrar el efecto inverso de la ley de Newton con almidón y agua. Daniela y Sarita prepararon una masa de almidón y agua que, al apretarla con las manos, mostró cómo se contrarrestan las fuerzas de repulsión y electroestática y, al soltarla, regresan a su posición y se deshace la cohesión. «Este efecto se debe a las fuerzas electroestáticas entre las moléculas del almidón y del agua», les explicó Guayo. 

Ciencia en el vecindario solo fue uno de más de una docena de exposiciones de ciencia donde se promovió el intercambio intergeneracional de conocimientos científicos de forma exitosa. Las iniciativas de intercambio de conocimiento intergeneracional han sido estudiadas en literatura diversa. Una buena parte ha estudiado el uso de tutoría intergeneracional en capacitaciones laborales. Desde la neurociencia, se ha encontrado que la mentoría intergeneracional estimula tanto al mentor como al aprendiz:

Los resultados de la investigación muestran que la mentoría intergeneracional puede ofrecer numerosas ventajas tanto a las personas involucradas en la relación (el mentor y el aprendiz) como a toda la organización. Por tanto, la mentoría intergeneracional parece ser una herramienta eficaz para compartir conocimientos, crear compromiso, desarrollar liderazgo y, ante todo, construir relaciones intergeneracionales basadas en la aceptación mutua” (Gadomska-Lila, 2020). 

Y es que, por mucho tiempo los educadores hemos sabido que aprender de formas no tradicionales como la experimentación pueden beneficiar mucho a los estudiantes en sus aprendizajes. También sabemos que las relaciones entre el tutor y los y las estudiantes propician mejores aprendizajes que las que son hostiles o «frías». Durante la pandemia, también aprendimos sobre tutorías intergeneracionales para no frenar aprendizajes en ausencia de las escuelas. Así que no hay sorpresa que la actividad haya sido tan exitosa. 

Sin embargo, ese día un matemático que se acercó con su pequeño hijo a nuestro centro de experimentos químicos me hizo un comentario que me hizo caer en cuenta sobre el verdadero sentido de la actividad. Él me dijo: «cómo me gustaría compartir en la escuela de mi hijo mi pasión por la matemática y todas las formas como me gano la vida haciendo matemática». Luego de aquel comentario, el matemático preguntó quién era el afortunado científico que compartía su pasión con los vecinos jóvenes de nuestra comunidad.

Aquel comentario me hizo pensar:

  • ¿Sabrán las escuelas el cúmulo de conocimiento que tienen los miembros de la comunidad educativa? ¿Cuántos químicos, músicos, matemáticos habrá entre los padres de familia, abuelos, hermanos, etc.? 
  • ¿Cuántas veces las escuelas propician espacios para compartir conocimientos intergeneracionales fuera de las interacciones entre docentes y estudiantes?
  • ¿Qué tal si tornáramos a las nuevas generaciones a soltar las pantallas y propiciáramos espacios para que los niños se embarquen en un proyecto nuevo con ayuda de los abuelos, tíos, hermanos en lugar de buscar todo en YouTube, Instagram, etc.?
  • ¿Qué tal si aprovecháramos los conocimientos de la comunidad escolar para fortalecer nuestros programas?
  • ¿Qué tal si volvemos a ser comunidad y a pensar la calidad de educación que necesitan las nuevas generaciones?
  • ¿Qué tal si el conocimiento científico saliera de los libros de texto y de los artículos académicos?
  • ¿Qué tal si el conocimiento científico se difundiera en las comunidades que realmente se beneficiarán de dicho conocimiento?

Es que todos tenemos responsabilidad de formar a las nuevas generaciones de nuestra comunidad. No es posible seguir pensando que la escuela lo hará sola y que la maestra o el maestro lo sabe todo. Finalmente, los científicos tenemos responsabilidad de compartir el conocimiento más allá de nosotros mismos. Quizá llegó la hora de romper nuestra burbuja.

Categories
El arte de mejorar la calidad educativa

Datos y más datos

Cuando Vanessa y su esposo tuvieron a su primer hijo, decidieron inscribirlo, desde ese momento, en un colegio internacional al cual es muy difícil ingresar. A pesar de inscribirlos el año que nacían, los niños iniciaban en kindergarten a los 5 años. Vanessa recuerda que ese primer año escolar salió de excursión con familias amigas que tenían a sus hijos en el mismo colegio. Eran cinco familias que iban a un parque temático en Guatemala. Tres de las cinco familias conducían la misma marca y tipo de carro. Todas las madres del grupo tenían una profesión universitaria. En su mayoría los padres tenían un empleo estable y bien pagado y dos eran dueños de su propia empresa. Cuatro de las cinco familias tenían dos hijos y solo la de Vanessa tres. 

Aquel día Vanessa supo que ella y su esposo se parecían mucho más de lo que ella creía con los otros padres del grado de su hijo. Con los años, lo confirmó aún más. Cuando su tercer hijo entró al mismo colegio, tuvo la sensación de que ya no era tan parecida a los otros padres del grado del pequeño como había sido de los del grado de su hijo mayor. Vanessa era al menos cinco años mayor que el resto de los padres. En este grupo, la mayoría tenía un hijo o estaba por tener al segundo. Las profesiones eran muy diferentes a las de ella y su esposo.

Aunque lo pasemos desapercibido, los datos y la estadística tienen sentido por ejemplos como los anteriores. Los seres humanos somos seres sociales y, por tanto, seremos influenciados unos a otros. En las escuelas, el desempeño de los niños estará muy influenciado por el carro que manejen sus padres, la profesión de las madres, el número de hijos, entre otros factores.  Este es un ejemplo que ilustra el sentido del uso de la estadística y los datos en las ciencias sociales y humanísticas. Entre otras cosas, los datos y la estadística fundamentan la ciencia de la implementación y las intervenciones en distintas áreas. 

Es innegable que las mejoras educativas o las intervenciones no son cuestión de azar o de buena voluntad. Estas son actos fundamentados en ciencia donde, sobre todo, conocer e invertir en las variables correctas hará toda la diferencia, y no en el mero acceso de los datos. Esta idea es fundamental de este artículo. Los avances de la tecnología y la inteligencia artificial han puesto a disposición inimaginables cantidades de datos de cualquier tema para cualquier uso, bueno o malo, que cualquier persona quiera. Así, ahora se pueden recolectar datos a través del internet, incluso sin que el sujeto lo sepa. También es posible correlacionar variables provenientes de diferentes fuentes y concluir y sugerir productos, políticas, soluciones, entre otros usos. Además, se pueden generar datos ficticios, en el mejor de los casos para comprobar funciones y estadísticos, como se hace en los estudios tipo Monte Carlo. Pero también se pueden crear datos ficticios que mal informan a los usuarios, como el fake data. 

Así, nos encontramos en la era de acceso fácil y sin filtro de datos e información. En mi experiencia generando datos para diseñar e implementar programas para mejorar la educación de Guatemala basados en evidencia en los últimos quince años, no deja de preocuparme que la cantidad abrumadora de datos desmerite la investigación y los estándares de calidad con los que se produce para informar lo que debemos hacer, particularmente cuando se trata de una intervención médica, psicológica, educativa, etc. 

Las investigaciones rigurosas tienen estándares de calidad de los datos que recolectan. De ese modo, la instrumentación que produce el dato de una investigación es tratada con escrutinio, sobre todo en las ciencias sociales y humanísticas, donde se espera que el dato se interprete de forma transparente con base en un constructo (validez) y que se garantice consistencia con que el instrumento visibilizaría dicho constructo de una persona (confiabilidad). Esto, con el objetivo de que las varianzas que se identifiquen entre personas sean reales y, por consiguiente, también las conclusiones sobre ellas y el fenómeno que se estudia. 

Quizá hayan intuido que las investigaciones dependen mucho de la varianza existente y de la varianza que se diseña a través de las intervenciones. Por tanto, la importancia de los datos no radica en tenerlos o que estén disponibles, sino en identificar e intervenir en las fuentes de varianza correctas para provocar una mejora (Cummings, 2013). Porque después de todo, la ciencia está al servicio de la humanidad para que los humanos seamos mejores. 

En este sentido, 

  1. No es suficiente recolectar data o accederla sin limitaciones.
  2. No es suficiente identificar o monitorear atributos de los humanos (investigación exploratoria).
  3. No es suficiente correlacionar variables, aunque se tenga big data–

Lo más importante es identificar las fuentes de varianza para mejorar las intervenciones y las decisiones que tomamos como humanidad y como país, por lo que:

  1. Hay que recolectar e identificar los datos adecuados (descartar fake data).
  2. Hay que identificar por qué no logramos resultados que esperábamos (investigación experimental).
  3. Hay que encontrar los estudios que nos permitan determinar con cuál intervención tenemos mayor probabilidad de mejorar algo (metaanálisis y revisiones sistemáticas de literatura).
  4. Hay que invertir recursos en aquellas variables donde tendremos mayor oportunidad de mejorar algo (replicar investigaciones).

Tal como el ejemplo de los grupos de padres de familia del colegio de los hijos de Vanessa, los humanos, cada uno con sus atributos, nos influenciamos unos a otros de diferentes maneras, lo que provoca que variemos (que nos parezcamos o difiramos) a diferentes niveles entre nosotros. Como dice el refrán: “dime con quien andas y te diré quién eres”.  Cabe hacer notar que las nuevas tecnologías y redes sociales y los llamados “influencers” están cumpliendo esta función con las nuevas generaciones.

A gran escala, conocer estas variaciones a través de datos precisos y adecuados ayuda a los tomadores de decisión a adjudicar los recursos en las variables correctas para obtener resultados esperados y así lograr mejorar.  Ojalá esta época de datos ilimitados no se quede solo en acceso.  Ojalá también haya quien los lea, los interprete y logre proponer intervenciones para que la humanidad sea mejor. 

Categories
Aprendiendo sobre evaluación

Cuando la evaluación cae en lo absurdo

Mi mamá me cuenta que ella quería que yo estudiara en un colegio liderado por monjas que ella consideraba de prestigio. Así que cuando yo tenía 5 años, me llevó a hacer el examen de admisión de aquel colegio. Cuando recibió la llamada sobre los resultados del examen de admisión, la monja a cargo le indicó a mi mamá que yo no tenía lo que se necesitaba para estudiar en aquel colegio y que predecía que yo no sería exitosa. Mi mami, desilusionada y temerosa del resultado, me llevó a otro colegio, por cierto, también católico tradicional, sin decirme lo que la monja había pensado de mí. Contrario a la primera llamada, mi mamá recibió una donde la felicitaban por mis resultados y le informaban que yo había sido admitida a la segunda institución. El resto es historia. Sin embargo, treinta y siete años más tarde, mi mamá aún recuerda con mal sabor de boca aquella primera llamada que «predecía» mí fracaso.

Ahora yo soy madre de tres hermosos hijos. Cuando mi hija aprendía a leer, yo percibía que era muy difícil para ella. En repetidas ocasiones fui advertida de que posiblemente mi hija tenía un problema de aprendizaje. Durante el proceso de encontrar un especialista que la atendiera, Sarita me dijo: «mami, no veo el pizarrón ni mi libro». Mi esposo decidió llevarla al oftalmólogo. Como habrán adivinado, después de comprar los lentes adecuados, los problemas de aprendizaje de mi hermosa hija desparecieron.

¿Por qué suceden estos absurdos en los diagnósticos de los niños? En esta entrada, trataré de darles una respuesta y una advertencia. 

Cuando los docentes estudiamos el magisterio o cuando atendemos capacitaciones de profesionalización, se nos instruye sobre la importancia de la evaluación en el proceso enseñanza aprendizaje. Escuchamos frases como: «la evaluación debe estar presente durante todo el proceso», «la evaluación debe ser objetiva», «el maestro debe estar evaluando todo el tiempo» y “los exámenes formales son evaluaciones objetivas». También se nos instruye sobre tipos de evaluación. Así, aprendemos que la evaluación formativa es aquella que permite mejorar la instrucción para darle al estudiante una oportunidad diferente de aprender y que utilizamos la evaluación sumativa para calificar y certificar aprendizajes y promover de grado. Finalmente, los docentes conocemos un menú de herramientas de evaluación que ocupamos conforme nos sean útiles. 

A pesar de reconocer la importancia de la evaluación y de usar herramientas de evaluación para mejorar aprendizajes y certificarlos, pocas veces se nos advierte a los docentes sobre las implicaciones de una mala o buena evaluación, sin importar su tipo. Los docentes tendemos a asumir que nuestras evaluaciones son buenas y que nuestras interpretaciones sobre una persona basados en nuestra evaluación son inequívocas. A su vez, los padres de familia y alumnos pocas veces cuestionan la calidad de las evaluaciones sobre las cuales se toman decisiones sobre sus hijos.  Incluso, algunos creen que mientras más difícil un examen mayor calidad educativa. Entonces, en este país observamos y aceptamos altos índices de repitencia en los grados iniciales de la primaria y altos niveles de deserción de jóvenes que terminan fuera de la escuela producto no solo de falta de oportunidades de aprender, pero también de malas prácticas de evaluación en el aula y en la escuela. 

Las implicaciones negativas de malas prácticas de evaluación en el aula como la repitencia y la deserción son muy tangibles en nuestra sociedad, así como los dos ejemplos que les conté al inicio. Sin embargo, es necesario advertir que hay implicaciones de malas prácticas de evaluación menos tangibles, pero igual de dañinas; por ejemplo, cuando la evaluación se vuelve solamente un requisito para otorgar una calificación o un grado, los estudiantes avanzan en los grados sin haber aprendido mucho. 

Aquí algunas cuestiones básicas sobre evaluación para no caer en lo absurdo. 

  1. La evaluación no es útil a menos que los datos que se obtengan de cada instrumento representen lo que deseábamos evaluar: ¿Cómo se interpretan los resultados de esta evaluación?

La evaluación depende de datos que REPRESENTAN lo que el alumno sabe o puede hacer. Es que los datos de evaluación representan capacidades, aprendizajes, competencias, etc. A veces la representación es un número, como es el caso de las calificaciones; otras veces, es una clasificación o una letra, entre otras representaciones cualitativas. Convertir una capacidad o una habilidad en un número no es tarea fácil. La dificultad radica en volver observable lo que no siempre se puede observar, incluso cuando hay un producto que calificar; por ejemplo, la maquetas sobre distintos temas son populares como proyectos finales de unidad. ¿Qué representa que un niño haya obtenido un 60 o un 80 o un 100 en la maqueta del sistema solar que elaboró?, ¿representará el conocimiento que tiene sobre el tema?, ¿representará una síntesis de una investigación?, ¿representará la capacidad artística para elaborar una maqueta? Muy fácilmente los docentes caemos en otorgar calificaciones que no representan lo que el alumno realmente ha aprendido, lo que nos lleva no solo a cometer enormes errores de medición, sino también a invisibilizar la capacidad del estudiante, porque la tarea con la que se evalúa no corresponde con lo que queríamos, si es que lo teníamos claro. De esta forma, a pesar de que la maqueta fue una tarea muy lúdica y creativa y que el alumno se haya esforzado mucho, frecuentemente no contamos con la información correcta para representar la capacidad o habilidad del estudiante. 

  • La evaluación parte de un objetivo por lograr y una tarea que lo represente: ¿Entiendo lo que mis estudiantes deben saber o poder hacer? ¿Qué tenían que hacer para llegar a este punto?

Las evaluaciones deben surgir de un objetivo específico que se desea lograr y que es producto de oportunidades de aprendizaje. Estos objetivos pueden ser competencias, habilidades y actitudes; por ejemplo, una competencia de cuarto primaria es que el estudiante logre aplicar las reglas de orden de operaciones en diferentes problemas. La tarea con la cual el docente observará que el estudiante haya logrado esta competencia será resolver operaciones donde apliquen el orden de operaciones. Sin embargo, cuando la competencia que se desea lograr no es clara o cuando nos enfocamos en la tarea en lugar de la competencia, será más difícil determinar qué es lo que evaluaremos. Por ejemplo, si me enfoco en la tarea «elaborar una maqueta», hay varias capacidades asociadas a esa tarea que puedo evaluar. Una capacidad puede ser representar artísticamente un concepto y otra representar el conocimiento del concepto, entre otras. ¿Cuál evalúo? En cambio, si yo tengo claro que la competencia es distinguir entre el movimiento de rotación y traslación de los planetas, la evaluación de la maqueta es más válida.

  • Las tareas representan diferentes niveles cognitivos: ¿Cuándo tienen que poder hacer esto que voy a evaluar?

Las tareas que un estudiante puede hacer para representar su habilidad o competencia tienen distintos niveles; por ejemplo, leer como competencia puede ir desde leer funcionalmente un rótulo a leer una obra literaria. A su vez, la competencia de escribir puede ir desde escribir el nombre propio hasta escribir una novela. Tener en mente distintos niveles cognitivos es importante cuando diseñamos evaluaciones y para tomar una decisión sobre el estudiante. En este sentido, que el estudiante apruebe todos los exámenes con cien puntos, no será suficiente para afirmar que el estudiante logró la competencia, a menos que podamos defender que dichos exámenes miden la competencia en un nivel cognitivo esperado.

  • La evaluación no tiene que ser un acto punitivo, sino uno útil para todos los actores educativos: ¿Conozco y comuniqué la consecuencia de la evaluación?

La evaluación no debe ser un acto punitivo; por el contrario, la evaluación es un recurso para mejorar y certificar el logro de algo. En ese sentido, el estudiante debe estar consciente de que la evaluación es la oportunidad para demostrar lo que ha aprendido e identificar aquello que aún no. Cuando las evaluaciones no se diseñan bajo ese enfoque, los estudiantes toman los exámenes como castigos y rara vez identifican lo que deben mejorar. A pesar de que cierto nivel de estrés interactúa con el sistema hormonal de las personas previo a un examen y esto puede provocar el uso óptimo de la memoria de trabajo, también un nivel de estrés nocivo puede provocar que el estudiante no sea productivo para elaborar una evaluación (Oakley, Rogowsky, & Sejnowski, 2021). De manera que tener la claridad de las expectativas y consecuencias de la evaluación, así como asociarla con las oportunidades para aprender lo que se evaluará, permitirán obtener datos óptimos de la evaluación.

  • La evaluación tendrá error de medición: ¿Es suficiente esta evaluación para que mis estudiantes demuestren lo que saben hacer?

Es importante reconocer que la evaluación tendrá un error de medición. A pesar de que nuestra evaluación sea de alta calidad, factores que no podemos controlar afectarán que el estudiante pueda demostrar lo que sabe. Los errores de medición están relacionados con muchas cosas, pero principalmente con el número de oportunidades que tiene un estudiante para demostrar lo que sabe o puede hacer. De esa forma, mientras más oportunidades le demos al estudiante de demostrar lo que sabe, mejor será nuestra medición de su capacidad, habilidad o competencia. De esta cuenta, las evaluaciones cortas y frecuentes son una buena práctica para lograr capturar la capacidad de un estudiante. 

  • Evaluar es un proceso sistemático: ¿Es este el momento idóneo para evaluar?

Es importante tener en cuenta que las evaluaciones cumplen los propósitos que hemos recitado desde que nos graduamos del magisterio. El arte está en encontrar el momento idóneo en que el estudiante esté listo para demostrar por sí mismo que ha aprendido algo.  A veces deseamos evaluar al final de una unidad, otras al inicio. A veces deseamos evaluar después de un feriado prolongado, otras al terminar de practicar una habilidad específica. A veces queremos que los estudiantes evalúen su propio aprendizaje, otras veces propiciamos evaluación de pares.  Dicho de otra forma, La evaluación es un proceso sistemático que está integrado con la enseñanza. No es arbitrario.

Esta entrada es una invitación para los docentes se cuestionen las prácticas de evaluación que implementan. Antes de evaluar a sus estudiantes pregúntense: ¿Cómo van a interpretar los resultados de una evaluación? ¿Comprenden lo que sus estudiantes deben saber o poder hacer? ¿Cuándo tienen que poder hacer aquello que van a evaluar? ¿Conocen y comunican la consecuencia de la evaluación a sus estudiantes y sus padres? ¿Es suficiente una evaluación para que sus estudiantes demuestren lo que saben hacer? ¿Es este el momento idóneo para evaluar? Si tenemos claridad en las respuestas de estas preguntas, muy probablemente estemos evaluando responsablemente y no caeremos en los absurdos que describí al inicio.

Categories
Aprendiendo sobre evaluación

Resoluciones de año nuevo y la evaluación de competencias

Pronto inicia el año escolar en Guatemala. En este nuevo ciclo, las educadoras y los educadores del país tenemos una nueva oportunidad para lograr ciudadanos competentes en tantas áreas, de las cuales en algunas nos hemos quedado rezagados como consecuencia de la pandemia.

Una competencia abarca habilidades, capacidades y conocimientos que un estudiante debe cumplir con eficiencia para desempeñarse en un campo; por ejemplo, una persona puede ser hábil para cocinar, pero no ser un chef o cocinero competente.   Un niño de primaria puede tener habilidad para recitar e incluso copiar el abecedario con letra legible y, sin embargo, no ser un lector o escritor competente. Cuando una persona logra la competencia, se desempeña bajo unos estándares mínimos que la certifican como competente en una profesión, una especialidad o un área básica, como sucede en la primaria.  

Este inicio del primer año presencial después de la pandemia es la mejor oportunidad para determinar qué competencias deseamos recuperar o bien lograr en los estudiantes de todos los niveles y grados.  Cualquiera que sea la expectativa, es preciso asegurarnos de que, primero, comprendamos qué significa una competencia; segundo, de que plasmemos en papel la o las competencias que deseamos lograr de forma tan clara que cualquier persona involucrada, ya sea estudiante, padre de familia, director o supervisor, pueda comprender qué desempeño se espera del estudiante; tercero, y sobre todo, de que podamos recolectar evidencia adecuada para afirmar que una persona es competente después de haber otorgado las oportunidades de aprendizaje adecuadas.

La redacción de una competencia puede darse de diferentes formas. Yo son afín a la redacción que tiene tres elementos: 1) un verbo, 2) un sustantivo y 3) un estándar mínimo.  Empezaremos con un ejemplo concreto.   Un niño de tercero primaria debe leer un texto acorde para el grado de forma fluida. En esta competencia, el verbo, leer, indica qué debe hacer la persona.  Luego, el sustantivo, texto acorde para el grado, indica en qué se aplica la acción del verbo, en este caso leer. En gran medida, el sustantivo implica determinar la complejidad cognitiva que posee el objeto al cual se aplicará la acción; por ejemplo, los textos pueden ser complejos por tres elementos: 1) su longitud, 2) su complejidad sintáctica y 3) el vocabulario.  Cuando pensamos en esta competencia para tercero primaria, elegimos textos con una longitud, una complejidad sintáctica y un vocabulario específicos; si se tratara de un texto para primer año de universidad, elegiríamos un texto con longitud, complejidad sintáctica y vocabulario diferentes a las de tercero primaria.  Finalmente, al redactar una competencia, también elegimos el estándar mínimo de logro, es decir que al leer un texto de tercero primaria debemos pensar en una medida que indique la fluidez mínima aceptable para el grado, lo que también haríamos al asignar una noticia para un estudiante de primer año de la universidad.

Esta propuesta de redacción de una competencia es ventajosa porque permite elegir las tareas y evaluaciones para evidenciar que una persona la ha logrado o está en camino de lograrla. En ese sentido, para evaluar que un estudiante de tercero primaria lee con fluidez bastará con solicitarle que lea un texto con la complejidad que hayamos determinado y medir el número de palabras por minuto.  

Aprovechando que estamos iniciando el año nuevo, sugiero que nuestras resoluciones de año nuevo se redacten de forma similar. Por ejemplo, bajar 15 libras a través de ejercicio en lugar de metas más ambiguas como adelgazar o hacer ejercicio. Aquí hay otros ejemplos con la misma estructura de redacción de competencias:

Tabla 1: Ejemplos de competencias y evaluaciones

CompetenciaEvaluación
Plantear un diseño metodológico pertinente con la pregunta de investigación Diseño metodológico
Redactar una noticia con base en fuentes verificables  Noticia 
Elaborar un reporte sobre una entrevista psicológica Reporte de entrevista 

Para lograr una competencia, el estudiante deberá tener oportunidades de desarrollarla.  Este proceso puede ser producto de uno o varios cursos.  Dicho de otra forma, es difícil observar el logro de una competencia en la primera clase o en la segunda. Es más, algunas competencias tomarán años en lograrse. 

Los docentes organizan un conjunto de situaciones pedagógicas para lograr que sus estudiantes logren una competencia.  Algunas de estas situaciones pueden ser: entregar instrucciones explícitas sobre un tema, elegir ejercicios de práctica, propiciar trabajos cooperativos, entre otros.  Sin duda esa organización de actividades será más eficiente cuando se parta de una definición clara de la competencia y de la evaluación o expectativa de logro de la misma.  

Por ese motivo, en el programa de un curso o en la planificación anual, el docente debe evidenciar el proceso que una persona debe cursar para llegar a ser competente. Asimismo, en su planificación el docente evidencia este proceso a través de la ponderación de cada situación pedagógica que diseña, así como de la retroalimentación que otorga al estudiante sobre su desempeño.   

Hablemos de ponderación y retroalimentación con este ejemplo.  Para que una persona logre escribir una noticia, deberá primero leer y recibir instrucción de un experto sobre cómo se escriben las noticias. El experto en un contexto educativo con frecuencia es el profesor o instructor. Luego observará a dicho experto escribir noticias.  El docente otorgará varias asignaciones para que el estudiante practique cómo se escriben las noticias y otorgará retroalimentación al estudiante sobre cada intento.  Finalmente, el estudiante escribirá una noticia con la que demuestre a su profesor o a su empleador que logró la competencia de redactar noticias.

En este proceso de desarrollo de una competencia, la evaluación y la calificación de las tareas del curso deben ser congruentes con el ciclo en el que se inicia siendo inexperto, luego se avanza en las habilidades y capacidades, hasta llegar a ser competente.   Así, cuando el estudiante se inicie en la redacción de noticias, el profesor ponderará las tareas con un punteo modesto.  Conforme el estudiante practique, el docente aumentará el punteo para mostrar la expectativa de mejoría. Finalmente, el docente otorgará la mayor puntuación a la noticia con la que el estudiante demostrará que logró la competencia.  La Tabla 2 muestra un ejemplo de esta distribución del punteo hacia el proceso de lograr una competencia.

Tabla 2. Ejemplo de asignaciones de curso y su punteo

Asignaciones del cursoPunteo
Participación en clase sobre explicación para elaborar una noticia5
Práctica 1. Elaborar noticia 10
Práctica 2. Elaborar noticia20
Práctica 3. Elaborar noticia 25
Proyecto final40

Como se puede observar, no se otorga la misma puntuación a todas las tareas, sino que se otorga el mayor puntaje a aquella con la cual se demostrará el logro de las competencias.  Esto tiene como ventaja que pueda otorgarse retroalimentación al estudiante durante sus prácticas para que pueda mejorar durante el curso.

Como habrán intuido, el elemento clave de este proceso es la retroalimentación.  En aquellas situaciones pedagógicas en las que el docente otorgue baja puntuación otorgará, a su vez, mayor retroalimentación.  Esto dará el mensaje al estudiante de que aún no es competente y que necesita seguir practicando.  Además, la retroalimentación debe ser congruente con el estándar mínimo claramente definido en la competencia. Por otro lado, la situación pedagógica (proyecto o examen final) que tiene la mayor ponderación será la oportunidad para el estudiante de demostrar que logró la competencia.  Esto no significa que el docente no otorgue retroalimentación, pero esta será una evidencia de que, después de un proceso donde hubo suficientes oportunidades para aprender, el estudiante aún puede mejorar su desempeño hasta llegar a ser experto.

Espero con este texto aportar a su planificación de este nuevo año escolar. Espero que las educadoras y los educadores del país podamos definir competencias claras que deseemos que nuestros estudiantes logren al finalizar el ciclo.  También es mi deseo que la evaluación les sirva como herramienta para evidenciar que, efectivamente, sus estudiantes serán competentes en áreas nuevas. Finalmente, deseo que superemos los rezagos que nos dejó la pandemia. Sin embargo, lo anterior no sucederá hasta que aclaremos, escribamos y comuniquemos qué queremos lograr este 2023.

Categories
Reflexiones de una investigadora

Encontrar mi identidad como psicometrista

Soy una mujer guatemalteca.  Soy hija de una líder comunitaria y de un contador público. De mi mamá heredé mi necesidad de servir a mi comunidad y mi lado creativo. De mi papá heredé mi pensamiento matemático y estructurado. Soy la esposa de un hombre noble a quien admiro y con quien envejezco y construyo un futuro para nuestros hijos. Soy madre de tres hijos: dos futbolistas, una nadadora y tres artistas. Soy maestra de preescolar, soy psicometrista y aspiro a ser modista y escritora. Soy amante de los animales. En este momento también soy vicedecana de la Facultad de Humanidades de la Universidad Rafael Landívar de Guatemala. En este artículo intentaré contar la historia de cómo me convertí en uno de las pocas mujeres en medición de América Latina.

Como la mayoría de las psicometristas del mundo, llegué a esta profesión un poco por casualidad. También me inicié en el fascinante mundo de las pruebas de forma empírica. Empecé a hacer psicometría bajo la tutoría de un experto internacional y, con el tiempo, obtuve un doctorado en una universidad del Global North (expresión en inglés utilizada para representar a los países con mejores índices de desarrollo) hasta convertirme yo misma en una de las expertas en el tema en mi país e internacionalmente.

Todo comenzó mientras trabajaba felizmente como maestra de preescolar en un colegio local. Mi mejor amiga había decidido dejar nuestro colegio para ocupar un puesto en el Ministerio de Educación de Guatemala. Ella estaba a cargo de desarrollar pruebas para el nuevo Sistema Nacional de Evaluación del país a través de un proyecto financiado por una organización de ayuda internacional. Fue ella quien me invitó a ser redactora de ítems para aquella tarea.

Escribir ítems, desde una perspectiva didáctica, implica no solo conocer el tema o la capacidad a evaluarse, implica también conocer la complejidad cognitiva que un estudiante es capaz de alcanzar a una determinada edad y luego de tener oportunidades para aprender. También implica altas habilidades de escritura para evitar introducir sesgos en la medición de un constructo. En ese momento, poco sabía que tal tarea iba a representar el punto de partida que me impulsó a dedicar mi vida a la psicometría.

Con el tiempo, no solo obtuve un doctorado en medición y evaluación, también tuve la oportunidad de liderar un estudio longitudinal sobre el aprendizaje de la lectura en Guatemala. A través de este estudio, pude aplicar todas mis habilidades como psicometrista a un problema real de rendición de cuentas en mi propio país y en países africanos. Además, pude generar conocimiento como académica en este campo. Mis estudios se centraron en el establecimiento de estándares y sus implicaciones en los países y se presentaron internacionalmente. El estudio longitudinal de aprendizaje de la lectura fue mi carta de presentación como psicometrista, primero ante la compañía para la que trabajaba en ese momento, como ante la Sociedad de Educación Comparativa e Internacional (CIES) y el Concejo Nacional de Medición en Educación (NCME).

Sin embargo, circunstancias fuera de mi control que incluían el giro político de los últimos años en Guatemala me llevó a reconsiderar querer dedicar mi vida a la medición y a explorar nuevas oportunidades laborales. Incluso me encontré considerando trabajar en un campo diferente. ¡Dios a veces tiene planes diferentes para nosotras las geeks! Aunque parezca difícil de creer, uno de los negocios más atractivos que consideré fue el negocio de la moda, al cual comencé a dedicarme a través de estudiar confección de prendas.  Debo confesar que la moda me sigue encantando.

Para una psicometrista latinoamericana, explorar oportunidades laborales no es una tarea sencilla. En los países latinoamericanos, si bien la evaluación tuvo un auge en las últimas dos décadas, no es un tema de interés o prioridad para la región. La evaluación tiende a ser vista como un mal necesario, pero no como una herramienta para tomar mejores decisiones en materia educativa. Las evaluaciones nacionales son muy criticadas por sus resultados porque, durante años, ha sido evidente que los estudiantes no están aprendiendo, ni los gobiernos están haciendo mucho para brindar oportunidades de aprendizaje a la población joven. Así, la baja prioridad otorgada a la medición y evaluación se traduce en escasas oportunidades laborales para las mujeres en medición de la región.

En América Latina, las oportunidades laborales para los psicometristas se engloban en tres sectores: 1) en los sistemas nacionales de evaluación, 2) en las universidades y 3) en los centros de investigación social, educativa y económica. Estos tres sectores tienen oportunidades limitadas en América Latina y, como es el caso de los sistemas de evaluación, las ofertas de trabajo a menudo están influenciadas por las políticas gubernamentales actuales y la administración presupuestaria. En las universidades locales, con excepción de algunas en Chile y Colombia, se reclutan psicometristas para dictar cursos de estadística e investigación, pero muy pocos de medición. Los centros de investigación relacionados con la medición son escasos en la región y, frecuentemente, dependen de financiamiento externo.

Entonces, cuando comencé la exploración de mi próximo destino laboral, no dejé de preguntarme ¿dónde? y si ¿debería mudarme al Global North? En LinkedIn, recibo aproximadamente 30 notificaciones semanales sobre oportunidades laborales para psicometristas en los Estados Unidos y ocasionalmente uno o dos puestos en un país europeo. Estoy segura de que tengo las habilidades para ocupar cualquier puesto ofrecido en la lista de LinkedIn, pero no estoy autorizada para trabajar en los Estados Unidos o Europa. Además, optar por una autorización de trabajo implica tomar la decisión de dejar el país como una familia de cinco y no como un individuo.

Por lo tanto, mientras exploraba el siguiente paso en mi carrera, me enteré de Women in Measurment y la beca de investigación que estaban concursando. Y, la psicometrista en mí decidió responder el cuestionamiento interno sobre mi próximo paso en mi carrera a través de una investigación. Obtuve una beca para investigar oportunidades laborales y académicas para mujeres en psicometría de América Latina. Hasta el día de hoy, mi investigación ha arrojado varios hallazgos preliminares, que considero han tenido un poder curativo en este momento de mi vida.

  1. Los psicometristas son pocos en América Latina. Las mujeres psicometristas somos aún menos pero el número ha crecido, especialmente en América del Sur (Chile, Brasil y Colombia).
  2. Todas tenemos una sólida formación en matemáticas o ciencias económicas, pero con un gran compromiso e interés por la educación y las humanidades.
  3. Las psicometristas en América Latina buscan aplicar sus habilidades a problemas reales de la región y con especial interés en mejorar la calidad educativa de los países. Algunas han visto la evolución, los avances y los retrocesos de la evaluación educativa en sus países. Muchas han encontrado un nido de trabajo en la gestión de evaluaciones a gran escala y en la realización de análisis estadísticos para diferentes tipos de investigación. Pocas, por no decir ninguna, tiene interés en la investigación tipo Monte Carlo. Ninguna ha participado en una investigación de simulación de este tipo, principalmente porque no han encontrado una conexión con los problemas de la vida real y este tipo de investigación.
  4. Las psicometristas de América Latina han creado sus propias oportunidades de trabajo, a través de redes, pasantías internacionales y nacionales introduciendo medidas rigurosas en proyectos financiados internacionalmente.
  5. Existe una fuerte influencia política en la evaluación a gran escala en la región. Algunas psicometristas que hemos trabajado en organismos gubernamentales encargados de la evaluación nacional hemos sobrellevado la carga política, otras hemos huido de ella debido a la corrupción presente en los gobiernos latinoamericanos. Hay un fuerte discurso político de que la educación debe ser “antinúmero”. Hasta el punto de evitar evaluar.
  6. Los programas de formación en medición educativa son limitados en la región y solo llegan hasta el nivel de maestría. A nivel de doctorado, no hay ninguno. Por ello, las psicometristas latinoamericanos se han formado en Estados Unidos y en España. Aunado a esto, el conocimiento en evaluación y medición se produce mayoritariamente en inglés. Para algunas, acceder a la información en inglés es una barrera. Algunas sienten una fuerte necesidad de actualizar sus habilidades, particularmente sus habilidades de programación.
  7. Las mujeres en las ciencias, incluidas las psicometristas, han tenido un papel determinante de sus madres en su vida y su carrera. Asimismo, todas han mencionado el papel de un mentor que les ha influido para ejercer esta profesión. Todas sienten una fuerte necesidad de formar a nuevas generaciones en ciencia, particularmente estadística.
  8. Ni el género ni tener hijos ha sido una barrera para ninguna de los psicometristas de América Latina. Por el contrario, la mayoría admite que quiere convertirse en una modelo a seguir para sus hijos como mujeres en la ciencia.
  9. La investigación culturalmente relevante es imprescindible para las psicometristas latinoamericanas.
  10. Finalmente, yo no he sido la única psicometrista latinoamericana que ha considerado una carrera en la moda.

En diciembre 2021 una colega y amiga me abrió las puertas en su empresa para trabajar de forma remota. En esta empresa volví a aprender a hacer psicometría sin el lastre de la política o el manejo de fondos de cooperación internacional en contextos latinoamericanos y, a su vez, me abrió los ojos a nuevos productos y servicios que se pueden ofrecer en América Latina. También pude trabajar con organizaciones internacionales para ayudar a los países africanos a diseñar evaluaciones nacionales.

Mientras diseñaba nuevos servicios relacionados con la evaluación educativa y el uso de evidencias de aprendizaje para América Latina, fui aprendiendo sobre oportunidades laborales relacionadas con la universidad y los centros de investigación en mi propio país. Y, hoy, estoy feliz de estar sirviendo como vicedecana en la Universidad Rafael Landívar de Guatemala. Desde esta posición, enseñaré y aplicaré la medición e investigación educativa en diferentes campos. Toda esta experiencia me confirma que es a través de la investigación que uno crece. No está de más decir que es a través de la investigación que los países realmente se desarrollan.

Categories
Reflexiones de una mamá maestra

Regreso a las aulas y el vaso medio lleno… o medio vacío

Mientras estuvimos confinados en el 2020 y 2021, pensábamos que la solución de nuestras frustraciones con la educación de nuestros hijos terminaría el día que nos dijeran que volverían a las aulas. Qué ingenuos fuimos al no visualizar que, una vez que saliéramos a la calle, los retos iban a ser peores.

No me malinterpreten como una persona negativa y que ve el vaso “medio vacío” y no “medio lleno”, interprétenme como una persona realista.  Permítanme fundamentar mi percepción de la realidad; primero, con el último reporte sobre pobreza de aprendizaje que se publicó el mes pasado: The State of Global Learning Poverty (El estado global de la pobreza de aprendizaje) y, segundo, con mi propia experiencia de mamá maestra.  La pobreza de aprendizaje se define como la incapacidad de los niños de leer con comprensión a la edad apropiada (diez años).  Esta pobreza existía mucho antes de la pandemia y era motivo de preocupación de bastantes países.  

Según este reporte, antes de la pandemia, se estimaba que 57% de los niños de diez años del mundo no podían comprender un texto apropiado para su edad.  Muy similar, en 2014, en Guatemala aproximadamente uno de cada dos niños de tercero de primaria no podía leer con comprensión.  En 2022, se estima que la cifra de niños que no comprenden lo que leen llegue a alcanzar a siete de cada diez niños de diez años en todo el mundo, incluyendo Guatemala. Además, la brecha entre los niños con oportunidades y los niños sin oportunidades se abrió enormemente en el país.  Es decir, los padres que pudimos y quisimos invertir en la educación de nuestros hijos éramos mucho menos que la mayoría de los padres en Guatemala. Eso no fue exclusivo de nuestro país, pasó en todo el mundo, incluso en países de primer mundo como Estados Unidos, donde los estudios demuestran que la pandemia agrandó las inequidades. 

Lo anterior se refleja en la enorme variabilidad de habilidades que tienen los niños que regresaron a las aulas.  Las escuelas están recibiendo niños que tuvieron oportunidades diferentes para aprender, así como experiencias diferentes con covid-19.  Algunos padres y escuelas resolvieron la parte tecnológica para la educación a distancia y muchos otros, no.  Muchos docentes evidenciaron sus deficiencias y fortalezas para enseñar a distancia.  Muchos padres de familia perdieron sus trabajos y priorizaron sobrevivir antes de estudiar. Muchos niños perdieron a sus padres, abuelos, tíos, docentes por causa del covid.  En fin, mucho pasó en estos dos años y, de pronto, nos reencontramos en la escuela. ¿Cuáles son nuestras expectativas de los niños que recibimos? ¿Cuáles son nuestras expectativas de los docentes? ¿Cuáles son las expectativas de los padres de familia? ¿Cuál es nuestro plan para recuperar a una población pobre en lectura, en matemática, en desarrollo socioemocional?

Sin embargo, volver a la escuela quizá sea el mejor de los escenarios.  Al menos en la escuela podremos responder las preguntas anteriores y tomar la decisión de hacer algo al respecto.  Siempre he creído que los directores y docentes tienen el enorme poder de cambiar la vida de un niño o niña. Pero ¿qué pasa con los niños y las niñas que no volverán a la escuela? ¿qué pasará con los niños que se enfrenten a su incompetencia para realizar las tareas propias del grado al que regresen y decidan abandonar la escuela?  

El reporte El estado global de la pobreza de aprendizaje plantea que nos queda una época de recuperación y de aceleración de aprendizajes. La recuperación supone poner al día a los estudiantes y la aceleración significa darse prisa porque no recuperaremos el tiempo que perdimos. El documento es claro en que la recuperación y aceleración de aprendizajes requieren al menos estas cinco acciones:

  1. Recuperar a los niños en las escuelas y mantenerlos allí.  Abrir las escuelas nos está dando una oportunidad para recuperar y acelerar aprendizajes.  Por tanto, el primer paso es regresar a los chicos a las aulas.  El segundo paso es mantenerlos allí.  Esto supone que la escuela debe utilizar los datos, por ejemplo, de inscripción en 2019, para determinar qué estudiantes debían regresar a qué grado en 2022.  Con ello, es posible tomar acción de muchas formas para recuperar estudiantes.  Asimismo, es importante tomar datos sobre la ausencia de estudiantes para prevenir el abandono escolar.
  2. Evaluar los aprendizajes periódicamente, PERO con fines FORMATIVOS.  Después de dos años perdidos, el fin de la evaluación no puede ser el de demostrar que los niños no han aprendido.  Eso ya lo sabemos.  En esta época de recuperación, es importante evaluar para determinar qué no han aprendido nuestros estudiantes y usar dicha información para planificar la enseñanza.  Es decir, el fin de la evaluación es de retroalimentación para continuar aprendiendo, NO CALIFICAR para aprobar o desaprobar.  Ya no podemos perder más años, ni más grados.
  3. Priorizar las habilidades básicas.  Si no podemos recuperar o acelerar el aprendizaje de todas las asignaturas de la escuela, al menos debemos lograr que los niños lean con comprensión, desarrollen su habilidad matemática y puedan comunicarse por escrito.  Afianzar estas habilidades les permitirá acelerar otros aprendizajes con el tiempo.
  4. Aumentar la eficiencia de la instrucción.  Los docentes deben ser más eficientes para desarrollar habilidades porque ya hemos perdido mucho tiempo.  Eso implica formar docentes en metodologías de enseñanza de habilidades básicas fundamentadas en evidencia científica que les permita acelerar aprendizajes.  En este punto de nuestra vida, no es posible esperar dos o tres años para que un niño lea con fluidez, aprenda otro idioma, se comunique por escrito, entre otras habilidades básicas.
  5. Desarrollar la salud y el bienestar socioemocional de los niños y los maestros. Este punto será determinante no solo para mantener chicos en la escuela, sino también para lograr que superen esta época de pandemia con la mejor resiliencia posible.

Los cinco pasos anteriores constituyen un compromiso.  No importa cuánto hayamos hecho estos dos años, los niños, incluyendo mis hijos, perdieron oportunidades de aprender.  Yo tengo la certeza de que mi esposo y yo nos empeñamos en que nuestros hijos no dejaran de aprender. En primer lugar, los mantuvimos en el colegio en modalidad virtual, invertimos en la tecnología necesaria para que recibieran las clases en línea, nos convertimos en sus mentores y estuvimos a su disposición 24/7, compramos libros sobre cómo mejorar nuestra labor de mentoría, sobre todo en las habilidades básicas, como matemática, lectura y escritura; también nos apoyamos en una tutora de alemán, tuve mi propia burbuja de mamás en la misma situación para reforzar habilidades sociales de mis hijos. Además, mantuvimos los entrenamientos deportivos de nuestros hijos. El costo de nuestro empeño significó un aumento de aproximadamente 30% más de nuestro presupuesto para la educación de nuestros hijos durante la pandemia, lo que a su vez significó recortar gastos en otros rubros.  Y ¿adivinen qué? Al volver al colegio nuestros hijos se están enfrentando a lo que la mayoría de los niños del mundo se están enfrentando y que el reporte El estado global de la pobreza de aprendizaje describe.  Es decir, se han enfrentado a:  1) pobreza de aprendizajes, 2) desmotivación y a 3) retos para relacionarse socialmente, entre otros.   No me cabe la menor duda de que la inversión y el empeño de nuestra familia no fue suficiente para salvarlos de los retos del regreso a clases.  Sospecho que no se trataba de invertir para seguir haciendo lo mismo, sino que se trataba de hacer las cosas diferente.  

Esta publicación es una solicitud al compromiso con la recuperación y la aceleración de aprendizajes en nuestro regreso a la escuela.  Un programa sólido de recuperación del aprendizaje construido en torno a las cinco acciones descritas anteriormente, que a su vez sea sostenido a lo largo del tiempo, puede servir como trampolín para brindar a todos los nuestros hijos la oportunidad de lograr el futuro que se merecen.  Por favor, no volvamos a las aulas a hacer lo mismo que hacíamos antes como si no hubiese pasado nada estos dos años.

Categories
Reflexiones de una mamá maestra

No se trata de ganar y perder

Esta reflexión comenzó hace un par de semanas cuando mi hijo mayor estaba en su primer partido de futbol once. Los conocedores de futbol dirían que el futbol once es el «verdadero fútbol». Antes de jugar el futbol «de niños grandes», el club deportivo al que pertenece mi hijo había celebrado el primer lugar en tres campeonatos consecutivos de su categoría. A pesar de tener toda la confianza para dominar el futbol once, en aquel primer partido perdieron con un marcador de 2-0. En el medio tiempo, el entrenador les dijo claramente: «muchachos, cometimos dos errores que nos están costando el juego… si los seguimos cometiendo, seguiremos perdiendo». Las frases del entrenador aquel sábado entraron en mi corazón de mamá maestra y esposa de futbolista como el poema ¿Cómo vas a saber? de Quique Wolff.

Hay algo en el deporte y el juego que educa sobre los necesarios errores que tenemos que cometer para aprender, ganar y seguir aprendiendo. En los deportes y en los juegos, los niños aprenden a identificar sus errores y su relación con lograr el objetivo y a corregirlos, ya sea individualmente o como equipo. Perder, ya sea individualmente o como equipo, es tomado como un asunto rutinario del deportista y una motivación para mejorar las estrategias y practicar más. 

Lamentablemente, en la escuela equivocarse es el pecado capital mas grande que un niño pueda cometer. En las aulas, hay una cultura castigadora de los errores. Cuando un niño comete errores, se le castiga a través de las calificaciones o de reprimendas de los adultos y compañeros. Es una lástima, porque si prestáramos atención a los errores que cometen los niños en su proceso de aprender habilidades en la escuela, tal como se hace en los deportes, podríamos mejorar nuestra forma de enseñar y de evaluar y los estudiantes mismos podrían aprovecharlos para practicar más.

Pensemos en la definición de error. Un error es un intento de resolver algo; es una acción, pero una que ha sido desacertada. Cuando los chicos están en proceso de aprender habilidades, esas acciones desacertadas muchas veces solo son una transición hacia un nuevo nivel de aprendizaje o de habilidad. Son como una grada o un estadio hacia lograr una competencia. En términos del «verdadero futbol», un error solo es el medio tiempo y aún queda mucho por hacer antes de perder el partido. Por esa razón, en mi parecer, una forma inteligente de lograr objetivos en los niños es identificar errores más comunes que cometen y planificar las lecciones tomando en cuenta dichos errores, así como retroalimentar sobre estos tan pronto sea posible para continuar aprendiendo y evitar que los niños se estanquen en ese proceso. Trataré de darles algunos ejemplos que surgieron de investigaciones en las que participé hace unos años. 

Ejemplo 1: cuando los niños están aprendiendo a escribir, muchas veces cometen errores ortográficos.; por ejemplo, los niños escriben colejio en lugar de colegio. Estos errores no significan que el niño no ha aprendido a escribir, solamente significan que está en un estadio de continuo de aprendizaje de la lectoescritura en el que probablemente no haya conocido las reglas ortográficas de la g y j, o bien, no haya practicado escribir colegio suficientes veces. Este error en particular podría usarse por un docente para mejorar la instrucción de la g o j. 

Ejemplo 2: al aprender español, los niños maya hablantes algunas veces omiten la vocal final de palabras propias de español que terminan en vocal; por ejemplo, dicen pelot en lugar de pelota. Este error está altamente relacionado con la naturaleza de los idiomas mayas, donde no existen sonidos de vocales finales. De manera que este error no es más que una fase hacia la adquisición de un idioma al que no se ha estado expuesto y que brinda una inmensidad de información sobre enseñanza de conciencia fonológica en contextos bilingües en los grados iniciales en el país.

Lamentablemente, ambos errores mostrados en los ejemplos anteriores son fuertemente castigados en las escuelas. Centrarse en calificar errores, como los ortográficos, no solo suele desmotivar a los estudiantes, sino que puede llegar a ser motivo de burlas y discriminación, como ha sido el caso de omitir la vocal final.

Si en lugar de enfocarnos en la incompetencia, nos enfocáramos en la competencia y en la capacidad de mejorar con una mejor instrucción y práctica, entonces cuando notáramos aprovecharíamos alguna minilección para tratar el error de la j por g en la palabra colegio y otras y diseñaríamos clases de conciencia fonológica específicas para identificar el sonido de vocales finales en el español. 

Además de mejorar la instrucción, entender profundamente los errores que cometen los estudiantes en su proceso de lograr una competencia nos permite evaluar mejor dicha competencia. En el ejemplo 1, el error ortográfico puede utilizarse para discriminar a aquellos estudiantes que han dominado palabras con ortografías opacas de los que no. Por otro lado, el ejemplo 2 puede utilizarse para distinguir a los estudiantes que han logrado distinguir sonidos en palabras propias del español de los que aún no. Esta retroalimentación proveniente de una evaluación, más allá de la calificación, es invaluable para aprender. Al final del día, una evaluación debe ser una oportunidad de visualizar aquellas cuestiones en las que puedo mejorar hasta dominar un juego.

Los errores son parte importante del aprendizaje. Es en ese ensayo y error que vamos afinando nuestro entendimiento de algún concepto hasta que logramos automatizarlo. Dejemos de empeñarnos en pretender que lo sabemos todo y que los estudiantes no saben nada, dejemos de castigarlos por sus intentos de resolver algo, estudiemos sus errores a profundidad para retroalimentarlos y para enseñarles que todos podemos aprender y que todos los equipos pueden ganar el partido. Enseñémosles que, en este juego de la vida, siempre habrá segundo tiempo. Uno de mis mejores amigos me dijo una vez «que todos fuimos principiantes e iniciamos no sabiendo qué hacer». Seamos docentes que comprenden lo que conlleva aprender, retroalimentan mejor sobre los errores de los estudiantes y confían en que lo lograrán. La vida es ensayo y error, no ganar o perder.

Categories
El arte de mejorar la calidad educativa

La decisión de mejorar

Esta semana y después de dos años y tres meses desde que comenzó la pandemia, mi familia recibió la notificación de la escuela de que mis hijos regresarán a clases presenciales todos los días de la semana durante el resto del año escolar. Todavía no puedo creer que hayan pasado más de 820 días desde que las escuelas cerraron. 

Cuando reflexiono, pienso en todas las cosas que tuvimos que adaptar para seguir con la vida durante la pandemia. En educación, nos adaptamos a la educación a distancia cuando los recursos lo permitieron. En poblaciones privilegiadas, las adaptaciones consistían en el uso de plataformas para clases en línea. Donde los recursos no lo permitían, los docentes comprometidos utilizaban guías de trabajo, WhatsApp y lo que estuviera a su alcance para seguir enseñando. Nosotros, los padres, nos adaptamos para ser maestros de nuestros hijos y nos unimos a los maestros. A pesar del shock que nos provocó la pandemia, poco se innovó en materia educativa. 

En este blog se han discutido muchas limitaciones que tenía la educación a distancia para lograr el aprendizaje. Todas las limitaciones, en mi opinión, se debían a una insistencia o necedad del gremio para intentar encajar soluciones virtuales para seguir haciendo las mismas cosas que sabíamos hacer en lugar de buscar respuestas o innovaciones para que los niños siguieran aprendiendo a pesar del confinamiento. Por ejemplo, las clases en línea con grupos grandes no funcionaron desde el primer día; sin embargo, fue la solución más frecuente en los colegios. Ha sido clara la evidencia de que los estudiantes necesitan un grupo pequeño o interacciones individuales con un tutor para que aprendan en modalidad virtual. A pesar de esto, muy pocas instituciones implementaron soluciones para satisfacer las necesidades de cada niño. El resultado fue que la pandemia también puso de relieve las terribles deficiencias de la educación y evidenció por qué los niños no han aprendido.

Pero ¿por qué no pudimos innovar la forma en que enseñamos? En este punto, es claro que, cuando volvamos a llenar las aulas, los niños volverán a lo mismo que tenían antes de que iniciara el confinamiento. Mi hipótesis es que no podemos innovar porque nunca tuvimos claro el objetivo de nuestra razón de ser como educadores, que era que los niños aprendieran, desarrollaran habilidades y crecieran cognitiva, física y emocionalmente. Pensamos que nuestro objetivo era únicamente seguir enseñando. Por eso, nos enfocamos en buscar la forma de hacerlo a distancia sin reflexionar, mucho menos cambiar, sobre lo que hacíamos. 

No obstante, tendremos una nueva oportunidad cuando regresemos a la escuela. Será difícil porque recibiremos niños cuyas experiencias en la pandemia fueron muy diferentes y que, como consecuencia, cada niño logró aprender en diferentes niveles. El reto será demostrar que nuestros alumnos están alcanzando las competencias para su edad o al menos que están en camino de lograrlo. Por consiguiente, las escuelas deben innovar y asegurarse de que los estudiantes que se rezagaron puedan ponerse al día y continuar aprendiendo.

Para innovar es preciso valerse de datos de la escuela. El uso de datos escolares es un recurso poderoso para planificar intervenciones para el aprendizaje. Intentaré explicarme en las siguientes líneas.

Los datos escolares pueden provenir de diferentes fuentes. En primer lugar, las escuelas registran datos demográficos de los niños que nos ayudan a conocer a sus familias, dónde viven y algunos datos de su salud. Luego, están los datos que provienen de cuestionarios. Estos nos permiten explorar diferentes temas, generalmente relacionados con factores asociados con el aprendizaje; por ejemplo, el estatus socioeconómico y las oportunidades extracurriculares para aprender, entre otros. Por último, están los datos relacionados con aprendizaje, que provienen de evaluaciones formativas y sumativas que los profesores realizan en sus aulas, o bien, de evaluaciones externas del aprendizaje de los estudiantes. 

Sin embargo, el poder de los datos no está en su recolección o almacenaje, ni siquiera en la capacidad de describirlos o visualizarlos en formas sofisticadas. El verdadero poder de los datos está en su uso oportuno. Una metodología para ayudar a las escuelas a reflexionar sobre los aprendizajes de sus estudiantes y actuar para mejorarlos a través de reconocer los factores asociados a dichos aprendizajes son las teorías de acción. Esta metodología, además de reflexionar sobre la evidencia proveniente de datos, empodera a los miembros de la escuela para actuar en beneficio de mejorar las competencias de los estudiantes a través de los recursos humanos y materiales de la escuela. La mayor ventaja de esta metodología es que permite que los actores de la escuela determinen claramente las metas de aprendizaje de sus estudiantes, lo que en sí mismo constituye la mitad del camino ganado en vías de mejorar.

Finalmente, la práctica de usar datos en las escuelas se convierte en una cultura de mejora con base en evidencia. Al final del día, mejorar también tiene que ver con una mentalidad de crecimiento. Se trata de creer que todos pueden aprender y que siempre hay una mejor manera de hacerlo. Se trata de una visión y de volverla realidad porque tengo evidencia que fundamenta cómo.

Si eres líder escolar y quieres conocer sobre cómo implementar una teoría de acción en tu institución, contactame aquí. Hagamos equipo y sigamos trabajando por mejorar la calidad educativa!

Categories
Reflexiones sobre evaluación

Elementos para mejorar la calidad educativa

En los últimos 15 años, me he dedicado a construir datos para tomar el pulso a los aprendizajes de los estudiantes guatemaltecos. Mi rol fue construir datos que les permitieran a los implementadores de intervenciones educativas demostrarles a las partes interesadas (gobiernos, donantes, beneficiarios) las mejoras que, presumiblemente, eran producto de la inversión y la implementación eficientes. Durante estos quince años, leí varios libros y muchos artículos académicos sobre el arte de mejorar la educación y la salud de los países en vías de desarrollo. Un ejemplo fue el libro Learning to Improve de Bryk, Gomez y Grunow. Este libro es brillante al mostrar lo que implica mejorar y cómo se usan los datos para ello. 

Con certeza puedo decirles que mejorar no es una cuestión de buenas intenciones, sino de planificación detallada y basada en evidencia, así como de una implementación fiel a dicha planificación. Esto es cierto para todos los aspectos en la vida que se deseen mejorar. Un ejemplo común de mejora personal es cambiar la dieta personal, que, a su vez, mejore nuestra salud.  Para mejorar nuestra dieta y salud, se requiere, como mínimo, una planificación basada en el diagnóstico de un médico o de un nutricionista y de sostener fielmente la dieta sugerida por el profesional por un tiempo determinado.  No me dejarán mentir al decir que, a pesar de la fidelidad de implementación de una dieta e incluso observando pérdidas de peso, las dietas no funcionan igual para todas la personas.  Por ello, siempre es valioso contar con el diagnóstico y el criterio de un profesional de salud que conecte las variables necesarias para saber por qué perdemos o no perdemos peso. 

Igual que con el mundano ejemplo de la dietas, también existen innumerables libros sobre evaluación e investigación educativas que, como si fueran manuales, nos dicen la receta de todas las posibilidades para implementar y evaluar intervenciones que apuntan a mejorar la calidad educativa.  Sin embargo, rara vez los libros y los artículos contienen criterios para tomar decisiones cuando se diseña un proyecto educativo con este fin. Cuando digo proyecto educativo me refiero a uno de cualquier índole: uno grande, como los que se implementan a nivel nacional, o uno de menor escala, como los que se implementan en instituciones educativas.

Antes de introducir los criterios para tomar decisiones de diseño de un proyecto educativo con objetivos de mejorar calidad educativa, es imprescindible hablar del significado de mejorar, que quiere decir lograr un cambio positivo. Algunos sinónimos de mejorar son progresar, ascender de categoría, aumentar, perfeccionar, automatizar, adelantar, entre otros. En términos estadísticos, la mejora se evidencia al mover una población al lado positivo de la curva. Menciono la definición de mejora en términos estadísticos porque, como he discutido anteriormente, la mejora debe poder observarse y demostrarse; de lo contrario, perderemos el tiempo al creer que la dieta está funcionando, cuando en realidad no lo hace o, peor aún, pueda estar dañando nuestra salud.

La estadística y los datos permiten a los implementadores evidenciar que efectivamente el proyecto educativo ha provocado una mejora en la calidad educativa. En intervenciones educativas, por lo general se analizan datos cuya varianza permite demostrar ya sea progreso, cambios entre categorías, aumento de porcentajes o adelanto de un grupo con respecto de otros. Sin embargo, demostrar estas mejoras con datos estadísticos no pasa por arte de magia. Requiere de capturar los datos de las variables adecuadas, así como de conectar las variables de acuerdo con el diseño de la intervención para que los resultados sean válidos en términos de su interpretación.  Realizar esta labor durante estos quince años me ha dejado algunas lecciones que comparto a continuación.

  1. Elegir el resultado por mejorar de forma tan específica como sea posible. Por lo general, cuando iniciamos un proyecto educativo, la intención es mejorar habilidades básicas como parte fundamental de mejorar la calidad educativa. Entonces, tenemos intención de mejorar lectura, mejorar matemática o mejorar escritura. Sin embargo, estos resultados son difíciles de traducir en datos si no se especifican. Trataré de explicarme usando la lectura como ejemplo. El aprendizaje de la lectura es un continuo que va desde desarrollar conciencia fonológica y comprensión oral hasta comprender textos de diferentes tipos, pasando por la fluidez. Si el objetivo en general es mejorar la lectura, puede significar mejorar todas las destrezas del continuo o solamente alguna, dependiendo del grado o la fase en el que se encuentre el estudiante. Por ejemplo, en preescolar, probablemente mejorar lectura signifique mejorar la comprensión oral; en segundo de Primaria, mejorar la fluidez; y en tercero, mejorar la comprensión lectora. Es decir, al elegir el resultado, es importante granularlo tanto como sea posible tomando en cuenta la fase en el continuo de desarrollo de la habilidad. Para decidir lo anterior, es necesario conocer teorías de aprendizaje de cada habilidad, idealmente desde la neurociencia y no desde la didáctica. 
  • Construir la medición apropiada de dicho resultado. Lamentablemente, con los años he podido observar que se toma muy a la ligera la medición de los resultados en intervenciones educativas, cuando es un aspecto determinante para demostrar la mejora o el estancamiento. Una medición apropiada es la que es válida y confiable. La confiabilidad está altamente asociada con el número de ítems en una prueba. Dicho de otra forma, un estudiante debe tener suficientes oportunidades para demostrar su habilidad y ser capaz de obtener resultados similares cada vez que se enfrente a dichas oportunidades. Además de ser confiables, los resultados de una medición deben interpretarse tal como se pretendía que fueran interpretados. Así, si el objetivo era medir la fluidez lectora, los resultados deben ser interpretados como fluidez y no  como comprensión lectora, por ejemplo. Este criterio está relacionado con la planificación de la estructura de datos que se usarán para medir las variables de una intervención.  Algunas variables constituyen una medición de una habilidad, mientras otras son factores asociados a la intervención que afectarán la habilidad.  En ambos casos es preciso considerar su medición de forma adecuada. 
  • Alinear la medición con el diseño de la evaluación de resultados. La medición de un resultado está altamente relacionada con el diseño de las evaluaciones en los proyectos. Por lo general, las evaluaciones siguen dos caminos: 1) evaluación transversal y 2) evaluación longitudinal. En el transversal, comparamos los resultados de dos grupos en un punto determinado de la intervención; por ejemplo, al final se pueden comparar el grupo control con el de intervención. Se espera que el grupo de intervención tenga mejores resultados que el control. Por otro lado, en el diseño longitudinal, se mide la habilidad de una misma cohorte a través del tiempo y se espera que los estudiantes aumenten su habilidad de un punto del tiempo a otro. Puede haber combinaciones de ambos diseños. Lo importante es comprender que los estudios longitudinales tienen algunas ventajas para mostrar mejoras con respecto de los transversales. Una ventaja es que, al controlar la varianza intragrupo, los efectos de mejora son más visibles. Mientras que, en los diseños transversales, los efectos de un grupo sobre otro son menos visibles, particularmente cuando las intervenciones toman tiempo en consolidarse.
  • Considerar el enfoque de la intervención en el diseño de la evaluación. El enfoque de intervención, ya sea uno enfocado en escuelas específicas o en regiones, o bien el que se implementa de arriba a abajo de una forma más directiva, contrario al que se implementa desde el desarrollo de capacidades del beneficiario, afectará la forma de mostrar las mejoras en una población. Por lo general, las mejoras se observan más cuando se interviene en escuelas específicas. Cuando las intervenciones son a nivel sistémico, las intervenciones pueden diluirse o contaminarse por otras intervenciones en la misma región. De esta forma, es importante considerar que las intervenciones a gran escala tendrán efectos menos pronunciados que las intervenciones a menor escala. 
  • Elegir un resultado que impacte en la calidad de vida de un niño. Finalmente, quizá lo más importante es elegir un resultado que impacte en la calidad de vida de un beneficiario. Muchas piezas de las intervenciones educativas solo constituyen insumos o productos que impactan el resultado; por ejemplo, otorgar libros de texto es un producto que impacta en el aprendizaje, pero que no constituye el resultado en sí mismo. El resultado en educación siempre debe estar relacionado con aprendizajes. Sin embargo, dichos aprendizajes pueden ser tan básicos que, aunque tengamos grandes efectos, no impactemos la calidad de vida de las personas. 

Estas lecciones surgieron de mi experiencia en el trabajo de campo a nivel internacional, a través del que colaboré activamente en el desarrollo de mi propio país. Asimismo, las lecciones fueron producto del continuo proceso de reflexión de libros especializados y de formación constante.  Por tanto, me atrevo a recomendar que, al diseñar un proyecto educativo, se consideren los criterios anteriores. Esto ayudará a que se construya una política educativa o una política escolar basada en evidencias, no en buenas intenciones. Además, las decisiones tomadas con base en estos criterios permitirán construir datos robustos y la varianza necesaria para demostrar verdaderas mejoras en los resultados educativos.  Al final del día, no se trata de «afirmar» que algunos los estudiantes leen mejor o que resuelven mejor los problemas matemáticos. No se trata de «contar» lo gratificante que fue la experiencia de implementación de un proyecto educativo. Se trata de «demostrar» que los ciudadanos de un país han progresado y que ese progreso ha impactado o impactará en una mejor calidad de vida.

En esta página, podrán encontrar los servicios de mejoramiento de la calidad educativa que ofrezco actualmente a instituciones educativas.  Además, pronto podrán encontrar mediciones de habilidades básicas para quienes quierean implementar evaluaciones en instituciones educativas y que, a su vez, deseen mejorar aprendizajes de los estudiantes con base en evidencia.