Categories
Reflexiones de una investigadora

¿Ganamos o perdimos el grado?

Como si nada, el ciclo escolar 2021 está por terminar. Este es el segundo ciclo escolar en el que los estudiantes han recibido sus clases a distancia o bajo un sistema híbrido. Como consecuencia de la pandemia y el confinamiento estos dos años, cada niño ha tenido diferentes oportunidades y experiencias de aprendizaje: algunos han tenido oportunidad de recibir clases a través de plataformas virtuales, otros han recibido tareas a través de los teléfonos celulares de sus padres y otros apenas han sido expuestos a material educativo en estos dos años. Por tal motivo, el mayor reto al finalizar este segundo ciclo escolar es certificar que los estudiantes han logrado las competencias del grado y que están listos para pasar al siguiente grado. Los docentes tienen el mandato legal de otorgar calificaciones para certificar que sus estudiantes aprendieron durante el año. Ante tal reto, la evaluación cumplirá un rol determinante. 

La evaluación en el aula puede cumplir tres propósitos: 1) formativo, 2) sumativo y 3) evaluación de programas. Hoy no abordaré la evaluación de un programa educativo porque esta requiere del involucramiento de más actores educativos, no solo de los docentes y padres de familia. El reto principal del fin de ciclo 2021 se centra en la evaluación de tipo sumativo; es decir, en el tipo de evaluación que nos permite certificar el aprendizaje a través de las conocidas «calificaciones». Por lo tanto, me centraré en este tipo de evaluación. 

Para otorgar una calificación de fin de ciclo que certifique que el estudiante está «listo» para pasar al siguiente nivel, se han usado diferentes estrategias de evaluación. Una es que el estudiante acumule tareas durante un período determinado y, luego, la suma o promedio de estas constituye la calificación. A pesar de que las tareas acumuladas avalen que el estudiante ha tenido oportunidades de desarrollar las habilidades, el solo hecho de acumular tareas no garantiza que ha desarrollado una habilidad; por lo general, estas tareas solo garantizan que el estudiante es responsable y dedicado. Es cierto que ser buen estudiante es una gran virtud, pero en repetidas ocasiones nos topamos con excelentes estudiantes que cumplieron con todas sus tareas y que aprendieron poco.

Para evitar lo anterior, los docentes recurren a exámenes de unidad ─bimensual o trimestral─ como una forma de corroborar que el estudiante logró los aprendizajes.  Es más, entre educadores existe el mito de que «las pruebas objetivas» que replican técnicas de evaluación a gran escala como los ítems de selección múltiple son mejores cuando de certificar aprendizajes se trata. Lo cierto es que el solo hecho de utilizar ítems de selección múltiple no garantiza que la calificación del estudiante en la denominada «prueba objetiva» contiene la verdad absoluta sobre sus habilidades. Estas evaluaciones suelen contener mucho error de medición o son poco confiables. Para disminuir el error de medición que puedan contener este tipo de evaluaciones para reflejar la habilidad de un estudiante, es imprescindible otorgar al estudiante muchas más oportunidades para demostrar su habilidad. 

Una forma de resolver esta limitación es a través de implementar evaluaciones cortas, pero más frecuentes, sobre las metas que se desean alcanzar durante un período determinado. Esta práctica tiene varias ventajas: 1) otorga más oportunidades al estudiante de demostrar lo que sabe hacer y, por tanto, la calificación es más confiable, 2) el estudiante adquiere el hábito de prepararse para demostrar lo que sabe rutinariamente, 3) los padres de familia pueden monitorear los aprendizajes de los estudiantes y 4) los estudiantes consolidan su aprendizaje.

Más allá de la confiabilidad de la evaluación sumativa que utilicemos, es importante notar que cualquiera que sea la evaluación que usemos parte del supuesto de que los estudiantes han tenido suficientes oportunidades para aprender aquellas competencias de las que se están evaluando. Es bien sabido que la pandemia ha presentado retos para garantizar este supuesto. Por tanto, al llegar a la evaluación sumativa, el estudiante debió haber tenido suficientes oportunidades para aprender, lo que implica no solo haber sido expuesto a los «contenidos» del curso, sino además que haya tenido oportunidades para practicar y corregir sus errores. Dicho de otra forma, debe haber habido un proceso sistemático de evaluación formativa.

La evaluación formativa se realiza con el único propósito de otorgar retroalimentación oportuna al estudiante. Si se tiene en mente una evaluación sumativa al final de un bimestre o trimestre, las evaluaciones formativas deben tener el propósito explícito de monitorear aprendizajes de forma progresiva; es decir, monitorear que el estudiante vaya logrando pequeñas porciones de la competencia general del grado. Con frecuencia, las evaluaciones para monitorear el aprendizaje toman la forma de ejercicios y tareas que se realizan con rutina en la clase. En el contexto de la pandemia, estas evaluaciones pueden hacerse en grupos más pequeños o bien uno a uno. 

Con miras al futuro

Al reconocer que la pandemia continuará y, por consiguiente, también las modalidades híbridas y a distancia, entrego algunas recomendaciones para planificar las evaluaciones para el ciclo 2022.

  1. Alinear evaluaciones de una o varias metas claras de aprendizaje. Idealmente, cada meta representará una porción en el continuo de aprendizaje de una habilidad; por ejemplo, resolver sumas de dos dígitos, leer con fluidez textos propios del nivel de grado, etc. Es importante que tanto los padres como los estudiantes tengan claridad de la meta que se debe lograr durante el período determinado. 
  2. Planificar evaluaciones que reflejen diferencias significativas entre estudiantes en el dominio de la meta. Las buenas evaluaciones pueden diferenciar a los estudiantes que tienen la habilidad de los que no. Para lograr que las evaluaciones reflejen las diferencias entre estudiantes en cuanto a su dominio de la habilidad, es necesario que la tarea o ítem que se elija para evaluar los rete. Las tareas muy fáciles o memorísticas no retan lo suficiente al estudiante y no es posible determinar cuánto puede hacer. Al mismo tiempo, las tareas que se elijan deben ser consistentes con los ejercicios que el niño ha tenido oportunidad de hacer para corregir sus errores.
  • Planificar evaluaciones cortas y con ítems de desempeño. Las evaluaciones no necesitan ser largas y complicadas para dar información sobre cuánto sabe un estudiante. Sin embargo, sí requieren ser diseñadas con cuidado para que provean la información indispensable para predecir la instrucción necesaria y lograr que el estudiante avance. Para lograr este objetivo, se requiere que las preguntas o ítems que se usen en la evaluación requieran que el estudiante produzca una respuesta. Estos ítems se conocen como ítems de desempeño. 
  • Implementar un sistema de monitoreo y retroalimentación. Durante el ciclo escolar, es importante que el estudiante se evalúe con frecuencia y reciba retroalimentación inmediata de un docente. Asimismo, es indispensable registrar el progreso del estudiante para lograr la meta e informar a sus padres para que pueda recibir el apoyo necesario.

En conclusión, enfrentar el reto de certificar qué estudiantes lograron las competencias del grado y, por consiguiente, están listos para pasar al siguiente, recordemos que nuestra decisión debe fundamentarse no sólo en las evidencias de que el estudiante tuvo suficientes oportunidades de aprender, sino también en evaluaciones confiables y congruentes con dichas oportunidades de aprendizaje.  Además, recordemos que la certificación que otorgamos al final de este ciclo escolar tendrá implicancias para la vida del estudiante y sus padres.  Algunas de esas implicancias serán socioemocionales.  Entonces, procuremos que la decisión no sea arbitraria.  Finalmente, no empecemos el 2022 sin visualizar lo que queremos lograr al final del próximo año.  Dos años resultan demasiados cuando de falta de educación o de perder el grado se trata.

Categories
Reflexiones de una investigadora

Sin datos no hay mejora

Recientemente, las autoridades educativas de Guatemala informaron que la evaluación de graduandos no se llevará a cabo por segundo año consecutivo. Desde 2006, esta evaluación ha provisto de la información necesaria para monitorear la calidad educativa, entendida por mejores aprendizajes.

Desde entonces, los resultados de las evaluaciones anuales de graduandos han mostrado que solo unos pocos estudiantes en Guatemala aprenden las competencias básicas de matemática y que solo algunos más se gradúan con las competencias de lectura necesarias para continuar en la universidad o en el mundo laboral competitivo. Sin embargo, a pesar de que los resultados no han sido los que esperábamos, año con año estos nos han permitido responder cuántos estudiantes aprenden, dónde están, qué oportunidades educativas han tenido, entre otras importantes preguntas sobre la calidad educativa. En mi opinión, medir aprendizajes de estudiantes con la calidad que se hizo desde el 2006 es uno de los mayores avances en materia educativa del país.

Ciertamente, la pandemia y la modalidad virtual complicaron la recolección de datos en general, pero en especial los datos educativos basados en pruebas estandarizadas. De hecho, la estandarización es la que se ha visto comprometida cuando se aplican pruebas tras un monitor. Simplemente no se puede asumir que los niños tienen la misma oportunidad de responder los ítems en dicha modalidad y, por consiguiente, hay una preocupación por la validez de los resultados. Lo anterior no es un problema exclusivo de Guatemala, sino del mundo entero. Sin embargo, decidir no recolectar datos de aprendizaje debido a los retos que implica actualmente representa un retroceso y un riesgo para el país, más aún durante la pandemia. 

La razón por la cual pienso lo anterior se basa en la fascinante ciencia de mejorar (Bryk, Gomez, Grunow, & LeMahieu, 2017). Según Byrk et al. (2017) y Baker y Linn (2004), entre otros autores, para mejorar algo; por ejemplo, aprendizajes, hay que seguir, al menos, estos pasos: 

Paso 1: El objeto de estudio y su variación

El objeto de estudio que más deseamos mejorar en educación es el aprendizaje. A pesar de que parece obvio, en realidad no lo es. Se pierde mucho la atención en apoyos del aprendizaje, como producción de materiales bonitos, capacitaciones esporádicas, planes y propuestas, y se pierde de vista que el objeto que queremos mejorar es que los niños desarrollen competencias, no que trabajen mucho sin llegar a ser más competentes. En el contexto educativo, y siendo el aprendizaje una variable latente, es importante contar con mediciones o pruebas que concreten el aprendizaje. 

Paso 2: Determinar el estado del objeto por estudiar

Determinar por qué hay niños que aprenden más que otros, cuánto aprenden o cuánto tiempo toma aprender son preguntas determinantes para la toma de decisiones. Las evaluaciones de graduandos reflejan el aprendizaje al finalizar la educación básica de los estudiantes; de esa forma, los reportes de la evaluación de graduandos reflejan la varianza en los aprendizajes y los factores por los cuales varían, por ejemplo, el área en la que estudia el joven (urbano-rural) y el tipo de establecimiento (público-privado). Con los años, hemos aprendido que los estudiantes en situaciones vulnerables aprenden menos.

Paso 3: La capacidad de identificar soluciones y de distinguirlas de modas y tendencias

Cuando se conoce cuál es el objeto para mejorar y el estado en el que se encuentra, es imprescindible usar investigación ya existente para elegir las estrategias que podrían provocar un cambio en ese objeto. Lamentablemente, muchas soluciones propuestas en educación provienen de tendencias, modas y productos comerciales, pero casi nunca de evidencia que sustente que la solución provocará un cambio. A veces, creemos que se está implementando una innovación porque es nueva y no porque su efectividad se haya mostrado en otros contextos. La práctica inteligente de basarse en la literatura y en evidencia previo a invertir en una innovación no es nueva ni exclusiva en educación. Otras ciencias, como las de salud o las de administración, la usan como parte de su día a día.

Paso 4: La capacidad técnica de implementar soluciones

Una vez que se ha identificado la solución, se debe pensar en los recursos humanos que la implementarán. Los recursos humanos que usarán el libro de texto nuevo o la nueva plataforma virtual, que usarán nuevas metodologías de enseñanza y que evaluarán estudiantes deben tener la capacidad de utilizarlas de forma fiel. Esto, por lo general, requiere programas de formación del recurso humano más allá de capacitaciones esporádicas y cortas. Además, es importante documentar cuan fiel ha sido la implementación de las soluciones. Es como cuando vamos donde el doctor por una medicina; primero el médico recetará un tratamiento efectivo, pero luego el paciente debe tomarlo tal como dicta la receta. De igual forma, el docente que recibe el libro de texto y la metodología de enseñanza debe implementarlos apegado al diseño. Si en lugar de desarrollar las actividades de pensamiento crítico del libro de historia, el docente pone a los niños a copiarlo, seguramente no provocará un cambio en el aprendizaje.

Paso 5: Verificar el logro de la mejora

Verificar que logramos la mejora tiene que ver con la capacidad de medir el objeto en repetidas ocasiones. Con respecto de la medición de los aprendizajes en Guatemala, las evaluaciones se venían realizando anualmente en el caso de la de graduandos y cada dos o tres años en otros niveles. Cada año, teníamos un punto de comparación para saber si lo que se estaba implementando en el sistema educativo encaminaba a mejores aprendizajes. En algunos contextos del país, observamos mejoras, sobre todo en lectura. 

En gran medida, este ciclo de mejora se fundamenta en datos, por lo general cuantitativos. Si no existen los datos, cualquier intervención o innovación que se introduzca constituye una buena intención, pero no sabremos si todo el trabajo, y a veces los millones de quetzales gastados en implementarlo, habrá sido efectivo. Por ello, la decisión de obviar datos para continuar educando en un contexto de pandemia es un retroceso. Existen alternativas para implementar la recolección de datos en Guatemala, partiendo de que en el país ya existe un sistema de evaluación robusto desde el 2006. Algunas alternativas basadas en experiencias en otros contextos son (Van Iwaarden & Betebenner, 2020):

  • No hacer las pruebas o retrasar la recolección hasta que se pueda. Esta opción, como discutimos anteriormente, elimina toda posibilidad de información para la toma de decisiones oportuna.
  • Evaluar a todos los estudiantes posibles a través de plataformas virtuales adecuadas para la aplicación de pruebas. Esta opción tiene limitantes en la estandarización; sin embargo, los resultados pueden interpretarse como una aproximación del desempeño de los estudiantes, que para la toma de decisiones sigue siendo útil.
  • Evaluar a una muestra de los estudiantes antes de que el ciclo escolar termine. Esta aplicación debería mantener los protocolos de estandarización.
  • Evaluar en modalidad híbrida. Esta opción aplicaría la evaluación con plataformas virtuales donde sea posible y de forma presencial donde también sea necesario y posible.
  • Es importante mencionar que la recolección no debe ser exclusiva del último grado de diversificado. Diseños longitudinales y con muestras factibles que recolecten datos sobre la trayectoria de aprendizajes durante la vida escolar, responden preguntas puntuales desarrollo de habilidades básicas, así como posible retroceso, entre otras.

En conclusión, dejar de investigar y medir porque las condiciones son difíciles es el peor de los escenarios para tomar decisiones en el país. Peor aún, seguir asumiendo que las intervenciones están provocando aprendizajes en los estudiantes sin tener una medida solo nos hará perder más años de la vida de los niños sin lograr competencias para salir adelante en medio de una crisis de salud.

Works Cited

Bryk, A., Gomez, L. M., Grunow, A., & LeMahieu, P. G. (2017). Learning to Improve: How America’s Schools Can Get Better at Getting Better. Cambridge, MA: Harvard Education Press.

Van Iwaarden , A., & Betebenner, D. (2020). Issues and Considerations that the COVID-19 Pandemic Presents for Measuring Student Growth. Retrieved from Center for Assessment: https://www.nciea.org/blog/sgp/issues-and-considerations-covid-19-pandemic-presents-measuring-student-growth

Categories
Reflexiones de una investigadora

Habilidad nivel “scrunchi” y PISA-D

Hoy, 13 de diciembre, me di cuenta de que me quedan 18 días para cumplir mi meta del 2020 de convertirme en costurera.  Es evidente que no lograré hacerlo en tan corto tiempo y que tendré que extender el plazo de la meta un año más.  Mientras reflexiono sobre mi progreso en desarrollar la habilidad para coser, me doy cuenta de que, aunque el progreso fue lento, dominé algunas destrezas básicas.  Por ejemplo, puedo maniobrar la máquina de coser sin problema. Puedo elaborar algunas piezas simples como bolsitas y scrunchies (colitas para el pelo en la muñeca de mi mano). Puedo hacer ruedos a máquina y corregir los hoyos en los pantalones de mis dos futbolistas.  A pesar de que he superado algunos pasos y me he ahorrado pagar por que me hagan un ruedo, en realidad no estoy cerca de ganarme la vida con esta segunda profesión. 

Irónicamente tengo un diploma de costura básica que se generó automáticamente solamente por haber completado mi curso en línea. Ciertamente, en el curso en línea lo más importante era premiar mi esfuerzo por los dólares que pagué y le dieron menos importancia a mi desempeño. Sin embargo, si me dieran trabajo de costurera basado en ese diploma, indudablemente fracasaría en el empleo. Es que la habilidad para coser puede ir desde las scrunchies, hasta vestidos de princesa.  En la imagen, se encuentran tres niveles de costura.  En la primera están los scrunchies. Estos fueron confeccionados por mi hija y por mí.  Para hacerlo, requerimos cortar un rectángulo de tela, coserlo por una de las orillas e insertarle un elástico.  La camisa negra fue elaborada solo por mí.  Esta requirió más pasos, incluyendo elaborar un patrón.  A pesar de que la completé, tiene varios errores.   El vestido de princesa lo elaboró una modista de alta (altísima) costura, muy querida y cercana a mi hija y a mí.  Ni siquiera puedo describir los pasos para hacer ese vestido.  Las habilidades que adquieren las personas, como esta de coser a máquina, pueden describirse en un continuo de destrezas que van de lo simple a lo complejo.

Si para otorgarme el diploma del curso de costura básica en línea me hubieran evaluado con los scrunchies, seguro ganaría el curso con altas calificaciones.  En cambio, si me hubieran evaluado con la camisa, tal vez hubiera pasado “raspada” o hubiera perdido el curso por los errores.  Y si el diploma se basara en el vestido de princesa, ni siquiera me hubiera atrevido a hacer la evaluación.  

Este mes se publicaron los resultados de la evaluación internacional PISA-D en la que participó Guatemala.  PISA-D evalúa lectura y matemática en jóvenes de 15 años que están en la escuela y fuera de la escuela.  La diferencia de PISA-D en comparación con PISA (sin la D) es que tiene ítems en los niveles más bajos de desempeño e incluyó a jóvenes fuera del sistema.  Para usar la analogía de los niveles de costura, digamos que la camisa correspondería al nivel esperado en mundo sobre habilidad en matemática y lectura tal como ha sido definido por los países que participan en esta evaluación con la OECD.  Y PISA-D incluiría más tareas o ítems del nivel de los scrunchies.  El vestido de princesa, que requiere un alto de dominio de la costura, además de un talento artístico, sería el nivel más alto en la evaluación.  Como yo, cuando las personas decidimos aprender algo nuevo, aspiramos llegar al nivel más alto (vestido de princesa), pero si la oferta educativa nos permite lograr el nivel mínimo y funcional (camisa negra), entonces tendríamos oportunidad de obtener un trabajo, de continuar estudios y de superarnos económicamente. Por el contrario, si la oferta educativa no nos da más que la posibilidad de estar en el nivel más bajo (scrunchis), entonces no podríamos obtener un mejor trabajo ni ser autosuficiente económicamente.   Tristemente, cuando la mayoría de nosotros solo sabemos hacer scrunchies, entonces no podemos sobresalir en el mercado porque todos ofrecemos lo mismo al punto que una compañía grande puede automatizar lo único que nosotros sabemos hacer; en cuyo caso, mi habilidad actual no me es costo eficiente.

Los resultados de Pisa D muestran esta triste realidad.  La mayoría de los jóvenes de 15 años de Guatemala que están en la escuela no alcanzan más que el nivel “scrunchi” de lectura y matemática.  Peor aún, los jóvenes que están fuera de la escuela están mucho más lejos de lograr el nivel mínimo en las habilidades básicas.  Cabe mencionar, que 1 de cada 2 jóvenes de 15 años se encuentran fuera de la escuela en este país. La mayoría desertó en la primaria o al finalizarla porque ésta no llenó sus expectativas de aprendizaje y se convirtió en una barrera más que una oportunidad. La historia en matemática es peor que la de lectura.  Realmente en Guatemala los niños y jóvenes no aprenden matemática.  Además, los jóvenes pobres e indígenas aprenden menos, alejándolos aún más de la posibilidad de salir de la pobreza. Y, por si la historia no fuera suficientemente triste, estos hallazgos se encontraron antes de la pandemia.  Lo que significa que el pronóstico es aún peor para los años que vienen a menos que los padres, los docentes y los tomadores de decisión del país hagamos algo.  Aquí algunas ideas.

  1. Los padres debemos exigir aprendizaje y no solo calificaciones altas.  La sociedad y los trabajos actuales valoran lo que nuestros hijos pueden hacer con lo que saben y no los diplomas que acumulan.  Indaguemos si nuestros hijos tienen suficiente habilidad matemática y de lectura para el grado.  Observemos si nuestros hijos pueden hacer cosas más sofisticadas conforme avancen o si pasan los días y los años haciendo lo mismo una y otra vez.  Lamentablemente las calificaciones no reflejarán esto como esperamos.  Afortunadamente, en este confinamiento y con educación a distancia, podemos estar atentos a sus aprendizajes para que no lleguen a los 15 años sin estar preparados para competir nacional e internacionalmente.
  2. Los maestros debemos enfocarnos en el aprendizaje de habilidades y no en la didáctica atractiva de las disciplinas.  Para ello, debemos determinar qué debe hacer el estudiante con cada destreza que adquiere y como cada una se conecta con una subsiguiente más sofisticada.  Solo así el estudiante crecerá en su habilidad. Cuando entendamos cómo se aprenden las habilidades básicas, también podremos elegir mejor las tareas para evaluar si nuestros estudiantes están avanzando.  Dicho de otra forma, podremos diseñar evaluaciones que reflejen el nivel el scrunchi, el nivel camisa y el nivel vestido de princesa para matemática, lectura, ciencias, etc.  Consecuentemente, cuando certifiquemos el aprendizaje con una calificación o un diploma, esta reflejará el desempeño de nuestros estudiantes y no solo será una pantomima o un requisito.
  3. Todos los que de alguna forma u otra estamos involucrados en la toma de decisión y en la política educativa, en primer lugar, debemos leer el reporte. Con los detalles de este fascinante estudio se pueden diseñarán las estrategias a nivel de país que permita otorgar una oferta educativa de mayor calidad para que los niños y jóvenes permanezcan en la escuela y que ésta les provea de aprendizajes con mayor calidad.
Categories
Reflexiones de una investigadora

Despejar las nubes del cielo

Cuando empezó el confinamiento ninguno sabíamos cómo seguir la vida.  Muchas preguntas se han tenido que responder desde entonces. ¿Cómo recibirán educación los niños en casa? ¿Cómo continuaremos trabajando a la vez que asistimos a nuestros hijos en sus tareas escolares? ¿Cómo hacemos para no contagiarnos de COVID-19? ¿Cómo mantenemos nuestros negocios sin poder salir a trabajar?  ¿Serán promovidos de grado nuestros hijos?   ¿Se podrán graduar los estudiantes del último año? ¿Cuándo será seguro regresar a clase? Todo parecía y parece aún tan nublado.  Aunque poco a poco hemos ido resolviendo cada interrogante, muchas preguntas siguen sin respuesta, así como nuevas preguntas han surgido.  En este artículo, expongo una pregunta que ha rondado en mi cabeza todo el confinamiento y a la cual estoy empeñada en encontrar una respuesta.  Pero me pareció importante compartirla porque todos debemos estar anuentes al cielo nublado en las calificaciones de nuestros hijos. Si eres docente y al final del post te convences de intentar mi propuesta, escríbeme.

En la escuela las evaluaciones son el pan diario de cada día.  Los docentes evalúan todos los días a nuestros hijos de diferentes maneras y con distintos propósitos.  A veces, el propósito de las evaluaciones es retroalimentar a nuestros hijos para que mejoren su desempeño; ese es el caso de las evaluaciones formativas.  Otras veces, el propósito de las evaluaciones es sumativo. Por lo general cuando este último es el propósito de la evaluación, los docentes y las escuelas utilizan pruebas “objetivas” o exámenes para calificar, promover o certificar.  Las pruebas o exámenes son herramientas para obtener el conocimiento o competencia de los estudiantes y traducirlo en un número al que comúnmente llamamos “calificación” o nota.  Las calificaciones o notas a su vez son el recurso con el que los docentes dan fe pública de que nuestros hijos adquirieron las competencias del grado. 

Quienes tienen acceso a internet y a suficientes dispositivos en casa, probablemente han tenido la experiencia de que sus hijos hayan hecho exámenes por internet, probablemente simulando los controles que los maestros imponen en las aulas.  Por ejemplo, grabar videos de los niños realizando alguna tarea donde se evidencia que nadie lo esté ayudando o llenar exámenes en una computadora mientras son grabados por detrás con otro dispositivo para mostrar que nadie lo ayuda y que nuestro hijo no usa el internet para encontrar las respuestas.  Sin embargo, a pesar de la creatividad para realizar pruebas objetivas a la distancia, no me dejarán mentir que es casi imposible controlar las condiciones en las que los niños toman las pruebas en casa.  

Cuando se elabora examen, se hace bajo el supuesto que esta herramienta estimará la competencia “real” del estudiante en determinada área. Así, por ejemplo, al elaborar la prueba de bimestre de matemática, el docente asume que con ésta capturará la competencia que los niños hayan adquirido en esta área y que la calificación en la prueba representa dicha competencia. De manera que, cuando el padre de familia y el estudiante reciban la nota del examen, perciban que la calificación corresponde con el conocimiento o competencia de matemática de su hijo. Sin embargo, capturar la competencia real en una prueba no es tarea fácil.  

Cuando un docente elabora un examen, diseña preguntas que permitan capturar las competencias que sus estudiantes han estado estudiando.  Dichas preguntas tienen cierto grado de dificultad para distinguir a los estudiantes competentes de los que no.  Finalmente, el docente prepara un examen con suficiente número de preguntas para que el alumno tenga varias oportunidades de demostrar la competencia.  A pesar de lo cuidadoso con lo que se elaboren las preguntas de un examen, se requiere crear condiciones para que nuestros hijos solamente utilicen su competencia para resolver las preguntas y no usen otros recursos.  Por ejemplo, los “chivos”, copiar a un compañero y la habilidad de los estudiantes para responder pruebas son factores que puede influir en la calificación de nuestros hijos en sus exámenes.  De la misma manera, cuando las pruebas se hacen a través de internet, también hay factores que influenciarán la calificación, por ejemplo la habilidad del estudiante para utilizar las plataformas en línea y los dispositivos.  Estos factores adicionales pueden nublar la visión del docente/evaluador para observar la competencia “verdadera” de matemática de nuestros hijos y por consiguiente distorsionar la calificación que recibimos con base en los exámenes en línea.

Tener más nubosidad en los resultados nos trae problemas cuando los propósitos de la evaluación son de dar fe pública a través de una calificación de las competencias de un estudiante. Por ello, algunas mamás o maestros tenemos el sentimiento que nuestros hijos están sacando notas demasiado buenas en comparación con su récord escolar o, por el contrario, percibimos que nuestros hijos están bajando en sus calificaciones por las condiciones en las que toman las evaluaciones por internet o en casa.

Ante esta problemática y siendo una persona que dedica su vida a hacer pruebas objetivas, no dejo de preguntarme si los educadores debemos continuar emitiendo juicios de valor sobre las competencias de los estudiantes a través de pruebas objetivas realizadas en casa y cuando se pueda, por internet. Al igual que con otros temas del confinamiento, yo creo que si podemos seguir evaluando a través de pruebas, pero, debemos modificar algunas condiciones para alejar las nubes del cielo y observar si nuestros hijos están adquiriendo las competencias de grado.  Esta es mi propuesta:

  1. Convertir los exámenes en “retos” y alejarnos del esquema rígido de las pruebas.  Mi hipótesis es que esto motivará a los estudiantes a demostrar su competencia en lugar de tratar de hacer trampa para obtener una puntuación esperada.
  2. Enfocarnos en la competencia y no en la calificación.  Si los retos no tienen una calificación, sino un “completado” o “no completado”, el estudiante estará preocupado por completar el reto al igual que sus compañeros y no en obtener el mayor puntaje.
  3. Lanzar más de un reto en el bimestre.  Cuando los estudiantes tengan que completar más retos, tendrán más oportunidades de mostrar la habilidad.  Esto dará mayor certeza a los padres y docentes de que el estudiante adquirió una competencia.

Con suerte, cambiar la forma de evaluar nos permita determinar mejor y dar dar fe pública que nuestros hijos han adquirido las competencia este año escolar.  De esa forma, no percibiremos que la nota está distorsionada sino bien que está evidenciada y que la evidencia es coherente entre los padres y docentes.  

Categories
Reflexiones de una investigadora

El peligro de no investigar en educación es una condena al atraso

En comparación con otros países del mundo, Guatemala tiene muy pocos científicos (Unesco, 2017).  Asimismo, de los pocos guatemaltecos que realizan investigaciones científicas en Guatemala, hay muchos menos que investigan en el área de educación.  Yo soy una de las pocas que tiene el invaluable privilegio de haberme formado en investigación educativa y dedicarme a ella a tiempo completo. Me atrevo a decir que conozco personalmente a todos los investigadores educativos del país.  Así de reducido es el número. 

Además de haber muy pocos investigadores educativos en Guatemala, es difícil reclutar nuevos.  Cada vez que inicio un curso universitario, pregunto a mis estudiantes de postgrado: ¿Por qué estudian una maestría o doctorado en educación? Y, tristemente nunca algún estudiante me ha respondido que la razón sea el deseo de convertirse en investigador educativo.  En su mayoría, las razones para estudiar una maestría o doctorado que he escuchado se refieren a mejores oportunidades laborales o un deseo altruista de mejorar su práctica docente.  Aunque las anteriores razones son completamente válidas y las aplaudo, no deja de ser preocupante el desinterés de los nuevos profesionales por investigar.  Mis cursos son considerados difíciles para los estudiantes porque, a pesar de ser cursos de postgrado, pocos de ellos han leído, participado o realizado investigaciones rigurosas durante su trayectoria académica. 

Es que, las universidades guatemaltecas carecen de un sistema que propicia que los estudiantes investiguen desde el pregrado hasta un doctorado. La primera limitante es el acceso a revistas académicas actualizadas.  Aunque un par de universidades han hecho esfuerzos por superar esta barrera, no todas proveen el servicio para acceder artículos recientes.  Esto deja a los estudiantes con la alternativa de buscar artículos de libre acceso en la internet, los cuales son mínimos o desactualizados.  Por otro lado, las publicaciones académicas recientes se escriben, en su mayoría, en inglés, agregando una dificultad para leer investigación en Guatemala.

La segunda limitante es la falta de acompañamiento para que los estudiantes de educación investiguen durante su programa universitario.  Muy frecuentemente, la tesis es la única oportunidad de investigar y de escribir artículos académicos que tienen los estudiantes durante su programa de estudios. Y, lamentablemente los protocolos estrictos para proponer investigaciones de las universidades encasillan a los estudiantes y sus asesores en el formato del documento, perdiendo así la oportunidad de ser vista como una forma de generar nuevo conocimiento científico. 

A pesar de contar con tan pocos investigadores, en Guatemala se produce investigación educativa.  El Ministerio de Educación de Guatemala a través de DIGEDUCA, organismos internacionales y centros de investigaciones educativas de universidades son algunos que producen investigación importante para informar la práctica educativa y la política pública. Sin embargo, la investigación producida en Guatemala aún es limitada y hace falta trabajo no solo para publicar más investigaciones sino también para facilitar su acceso y comprensión y así lograr que esta incida en la práctica educativa.

Y es que, para que una investigación incida en la política pública y en la práctica educativa, deben cumplirse los siguientes requisitos según Baker y Linn (2004): 1) los resultados se reportan de forma precisa, 2) los resultados se interpretan en forma válida, 3) los interesados comprenden los resultados y tienen interés de usarlos, 4) existen alternativas para mejorar la situación educativa, 5) los educadores están dispuestos a actuar y tienen capacidad para implementar una intervención y 6) las acciones implementadas provocan una mejora en los aprendizajes de los estudiantes (Baker & Linn, 2004).  Como se puede ver en las sugerencias de Baker y Linn (2004), la incidencia de la investigación educativa es una cuestión de dos vías.  Por un lado, la posibilidad de generar nuevas investigaciones en el país, y por el otro, el interés en ellas y la capacidad de usarlas. 

El propósito de este post es tratar de romper el círculo vicioso entre la limitada investigación educativa nacional y el interés de la comunidad educativa en basar sus prácticas en evidencias actualizadas y de preferencia producidas en el país. A pesar de que en Guatemala se están produciendo investigaciones constantemente por algunos investigadores, hay que reconocer qué nos hace falta para facilitar la comprensión de los resultados y generar un interés por ellas.  Sin embargo, también hace falta que la comunidad educativa reflexione constantemente en sus prácticas educativas de forma crítica y se convenza de que siempre se puede mejorar. Y, lo más importante que las propuestas para mejorar se basen evidencias científicas que las sustenten.  De lo contrario, la educación de Guatemala estará condenada al atraso, a errores, a prácticas arcaicas y a decisiones incorrectas, a pesar de las buenas intenciones y la labor altruista de todos los educadores.