Categories
Reflexiones de una mamá maestra

Evaluación en línea: no perdamos de vista la validez y la confiabilidad

En tiempos “normales”, es decir, cuando no vivíamos el encierro del COVID-19, los docentes evaluaban a nuestros hijos en sus aulas y tomaban decisiones con base en dichas evaluaciones, incluso tan frecuentemente como un tercio del tiempo de clase (Stiggins, 1992). Hasta hace más o menos un mes, cuando recibíamos una calificación, la responsabilidad de esta era totalmente de nuestro hijo o hija y confiábamos ciegamente en el juicio de su maestro. En el mejor de los casos, los docentes evaluaban para mejorar su enseñanza y para retroalimentar sobre los aprendizajes de nuestros hijos.  En el peor de los casos, evaluaban para disciplinar o motivar a conductas socialmente aceptables en el aula.  Cualquiera que haya sido la razón de la evaluación, nuestros hijos se examinaban relativamente bajo las mismas condiciones en su salón de clase y los docentes tenían el control de las condiciones de evaluación.  Indudablemente, todo eso ha cambiado abruptamente con la llegada del COVID-19.

Con la implementación obligada de educación a distancia, los docentes continúan teniendo la responsabilidad de reportar calificaciones de nuestros hijos con base en tareas y evaluaciones que se realizan en casa.  Algunos docentes han optado por solicitar videos y fotografías de nuestros hijos para tener alguna evidencia que sustente la calificación.  También se han popularizado las compañías que ofrecen software para elaborar pruebas a través de internet. Luego, como el monito del meme (entrego total crédito del autor), cuando recibimos la calificación en una tarea o evaluación, sentimos que la “nota”, mala o buena, es tanto mérito de nuestro hijo como nuestro en el rol de mamá/educadora.  

A pesar de que el meme de la mamá monito nos cause risa, pone en evidencia cuestiones básicas de evaluación en el aula virtual: la validez y la confiabilidad.  No dejamos de preguntarnos si ¿son válidas las calificaciones de las evaluaciones que los niños han hecho en casa, cuando ha sido la madre la que enseñó, pero la maestra la que evaluó?  ¿Fueron claras las expectativas de la tarea para la madre y para nuestros hijos? ¿Hay acuerdo entre la maestra y la madre en la calificación otorgada al hijo? Después de todo, una tuvo el control de la enseñanza y la otra de la evaluación. Entonces, ¿cuál es la forma más recomendable de evaluar a distancia?  Para responder a estas preguntas, es necesario volver a las cuestiones básicas de evaluación, las cuales no se deben perder de vista a pesar del uso de tecnología.  Después de todo, la evaluación en principio provee información para tomar decisiones. Si esta es errónea, la decisión sobre el aprendizaje del niño será la incorrecta. Aquí algunas reflexiones sobre evaluación a distancia partiendo de los principios básicos de evaluaciones de calidad.

Definir el propósito de la evaluación

Quizá la pregunta más importante a responder al evaluar es ¿para qué se va a evaluar? La respuesta más obvia es la necesidad de reportar una calificación que luego servirá de base para la promoción (razón sumativa).  Pero hay al menos dos razones más profundas y de carácter formativo para evaluar en tiempos de educación virtual:

  1. Para mejorar la instrucción a distancia.  Dicho de otra forma, una razón poderosa para evaluar debe ser para determinar si los alumnos están aprendiendo con la herramienta en línea seleccionada.
  2. Para informar sobre las expectativas de aprendizaje a padres y alumnos. La evaluación es la forma más concreta de informar sobre expectativas de aprendizaje a los usuarios, en este caso padres y alumnos.  Cuando se muestra un ítem de evaluación, este se convierte en una herramienta poderosa de enseñanza.

Definir qué evaluar

Además del propósito de evaluación, es importante entender, definir y comunicar claramente qué se va a evaluar.  En la mayoría de los contextos educativos, los docentes evalúan resultados relacionados con adquisición de conocimientos, pensamientos de alto nivel, comportamientos, productos, competencias y actitudes. Aquí algunos ejemplos:

¿Qué evaluar?EjemplosIndicador de logro
Conocimiento Contenidos de geografía e historiaNombra los ríos más importantes de Guatemala y su ubicación
Pensamiento de alto nivelResolución de problemas de matemática Realizar inferencias de un textoResuelve problemas reconociendo la operación aritmética a aplicar.
ComportamientosHacer una presentación sobre un temaDiseña una presentación y presenta sobre los ríos de Guatemala 
CompetenciasLeer, escribirLee 100 palabras por minuto.
ProductosReporte de investigaciónElabora un mapa donde muestre los ríos de Guatemala
ActitudesDisposición al aprendizajeTiene actitud de investigar más 

Es común que los docentes conozcan la generalidad de lo que se desea evaluar, pero la pregunta importante es  ¿cuál es el mejor indicador de que un alumno ha internalizado un contenido, logrado una competencia, etc, para el grado correspondiente. 

Definir la mejor herramienta en línea para que el niño muestre su aprendizaje

Hay diferentes formatos de evaluación, algunos más fáciles de implementar y comunicar que otros. También algunos formatos son más pertinentes para ciertos contenidos que para otros. Los más comunes son los exámenes, las evaluaciones de desempeño y la comunicación personal. 

Exámenes

Los exámenes son una forma muy común de evaluar en entornos presenciales.  Indistintamente del tipo de ítem usado en los exámenes, hay una creencia común de que son “objetivos” para otorgar calificaciones, pero esto depende mucho de la calidad del examen.  En entornos virtuales existen compañías que permiten elaborar exámenes, incluso con opciones de video para que la maestra pueda observar la interacción del niño con la computadora u otro material.  Sin embargo, es virtualmente imposible controlar que un alumno no haga trampa en un examen en línea sin un laboratorio.  De manera que, se ha cuestionado mucho la validez de los exámenes en línea. Pero no significa que no sea posible para propósitos formativos. 

Evaluaciones del desempeño

Las evaluaciones del desempeño solicitan que el alumno haga algo y luego el evaluador lo califica con base a criterios (rúbricas o listas de cotejo).  El secreto de esta evaluación radica en la calidad de los criterios seleccionados y en su capacidad para comunicar una tarea en específico. 

Comunicación personal

La comunicación personal en línea requiere que el docente y el alumno interactúen y el docente haga preguntas sobre la cuestión que desea evaluar y el alumno responda inmediatamente.  El docente luego registra si la respuesta dada por el estudiante es correcta o incorrecta.

A continuación, resumo algunas ventajas y limitaciones de los tres formatos de evaluación cuando se hace en línea.

HerramientasFortalezas en educación a distanciaLimitaciones en educación a distancia
ExámenesEs una forma eficiente e inmediata de evaluar y calificar. Permiten evaluar una gran cantidad de contenidoLas pruebas requieren de cierto conocimiento de elaboración de ítems para que estos permitan mostrar lo que sabe.   Requieren de un número suficiente de ítems para que la evaluación sea confiable Su desarrollo toma tiempo. No se puede controlar al 100% que el estudiante no haga trampa.   
Evaluaciones del desempeñoPermite que varios evaluadores emitan un juicio, incluso el estudiante o la madre.  Permite que el estudiante combine varias competencias adquiridas en el desarrollo de un producto.  El número de productos es limitado Requiere entrenamiento de quienes califican para lograr que sea confiable.
Comunicación personalFavorece la interacción uno a uno con los docentes Se puede profundizar en las respuestas del estudiante Toma tiempo porque requiere conversar con cada alumno uno a uno. Requiere una rúbrica de calificación o bien una lista de cotejo, así como y entrenamiento de quienes califican  

Evaluar la calidad de la evaluación

A continuación, algunas recomendaciones generales para determinar si la evaluación que realizaremos en línea tiene validez y confiabilidad.

Validez

La validez de las evaluaciones significa que la interpretación de su resultado es precisa con respecto a lo que se deseaba evaluar y con respecto a lo que el estudiante sabe y puede hacer.   Por ejemplo, si queremos evaluar que un estudiante incluya las partes de una carta al redactar una, y, al calificarla, el docente asigna el mayor peso de la nota a la ortografía de las palabras en la carta, entonces la calificación no se puede interpretar como la capacidad del estudiante para escribir una carta sino como la capacidad del estudiante para escribir sin faltas de ortografía. 

Una forma de evidenciar la validez de las evaluaciones en línea es comunicar claramente el propósito de la evaluación, así como los criterios de evaluación y calificación del producto tanto a los estudiantes y para los más pequeños a sus padres.  Es importante hacer esto todas las veces que se evalúa, y no recurrir a la consigna “tal como lo hacemos en clase” porque esto puede interpretarse de muchas formas.

Confiabilidad

La confiabilidad se refiere a la consistencia con la que un alumno demuestra que puede hacer algo o no.  Por ejemplo, si le solicitamos que reste números de tres dígitos a un niño de tercero primaria, y el niño logra hacerlo 9 de las 10 veces.  Podemos concluir que ha sido consistente en demostrar que lo puede hacer. Otra forma de evaluar consistencia es a través de que varias personas evalúen el desempeño o el producto de un mismo niño.  Por ejemplo, si la maestra y la mamá evalúan a la misma niña en el número de palabras por minuto que lee y ambas, la maestra y la mamá, llegan a resultados similares.  Entonces la evaluación puede determinarse como confiable.   

Categories
Reflexiones de una mamá maestra

Ahora es nuestra oportunidad de desarrollar competencias.

Mis amigos y mentores de NCIEA publicaron hoy un artículo brillante sobre aprendizaje y evaluación en tiempos de COVID-19.  Sentí la responsabilidad de escribir las ideas principales del artículo en español a la vez que le pongo un poco de mi sazón al tema.

El artículo inicia con la siguiente cita de la entrevista con el educador Jal Mehta: 

Desde una perspectiva de aprendizaje más profundo, lo peor que podría hacer sería tomar el mismo tipo de hojas de trabajo que los estudiantes hacen en la escuela y ponerlas en línea. La motivación intrínseca es más importante en un aula virtual y, por lo tanto, es más importante encontrar tareas que involucren los intereses y curiosidades de los estudiantes. Mientras, los estudiantes tienen significativamente más tiempo y con horarios más flexibles, esta cuarentena es muy adecuada para el aprendizaje basado en proyectos o aprendizaje basado en desafíos, donde los estudiantes trabajan de una manera más enfocada para producir un producto o explorar una pregunta interesante. Para los niños mayores, COVID-19 puede ser un lente a través del cual puedes aprender matemáticas, política, salud pública, comportamiento humano y mucho más (Jal Mehta, 2020).

La cita no pudo tener más sentido para mi en este momento, mientras trato de equilibrar mi trabajo como investigadora educativa y mamá/educadora de mis hijos de 4, 7 y 9 años.  Aún no he sido exitosa.

Cada lunes por la mañana, mis hijos reciben sus tareas a través de Google Classroom para ser entregadas el viernes de esa misma semana.  Como era de esperarse, cada maestra, de cada materia, de cada uno de mis hijos, envía su propia lista de tareas, esperando que cada uno de mis hijos cuente con un dispositivo electrónico propio para descargar sus tareas, luego las imprima, las realice por sí mismo y las suba de nuevo en la plataforma.  Aunque en mi casa el tema de los dispositivos pueda estar resuelto de la mejor manera posible, la realidad es que yo termino organizando las 15 tareas de cada uno de mis hijos y organizando mi propio horario, de trabajo y personal, para poder orientar a cada uno en la resolución de sus tareas.  Aunque cada semana me he organizado mejor, han pasado cinco semanas con esta rutina y cada viernes termino exhausta.  

He seguido las disposiciones publicadas del gobierno de Guatemala para entregar educación a distancia en el sector público del país.  No es sorpresa que mis hijos están en una situación privilegiada en comparación con la mayoría de los estudiantes de Guatemala. Y entonces, agradezco a Dios las oportunidades que tenemos y tomo energías para una semana más.

Sin embargo, indistintamente de las modalidades y oportunidades de cada estudiante del país para recibir educación a distancia en esta cuarentena, no dejo de preguntarme si realmente mis hijos y el resto de los niños del país continúan aprendiendo en tiempos de cuarentena cuando todos están fuera de la escuela.  ¿Estamos utilizando la educación a distancia más adecuada para lograr aprendizajes?, ¿Saben los padres qué esperara cada maestra en la tarea que asignan en línea?  ¿Estamos los papás y maestros apoyando o desmotivando a los estudiantes a aprender durante la cuarentena? ¿Qué prácticas de los padres propician mejores aprendizajes? ¿Será este un año perdido en términos de aprendizaje?   Todas estas son preguntas fascinantes para una investigadora educativa como yo.  Por ello, pienso que el artículo de NCIEA da algunas luces para responder estas preguntas.  Y pienso que tenemos una gran oportunidad para aprender sobre educación a distancia y virtual en países en vías de desarrollo.  Al final de este post, doy algunas sugerencias para las mamás que están empeñadas en que sus hijos sigan progresando en sus aprendizajes y no retrocedan durante la pandemia.

Entonces, ¿por dónde empezamos a desarrollar y lograr aprendizajes en nuestros hijos/alumnos en esta cuarentena? 

Enfocarse en competencias y no en contenidos 

Una competencia es un conjunto de habilidades que nos permiten desempeñarnos en algo. Por ejemplo, leer es una competencia porque implica dominar varias habilidades como conocer el alfabeto, desarrollar vocabulario, unir letras en palabras, y nos permite aprender de libros y de textos en sus diferentes presentaciones.  Un contenido, por el contrario, es una porción de conocimiento de cualquier tema y no implica que podemos desempeñarnos en algo.  Por ejemplo, aprender los ríos de Guatemala no necesariamente nos permitirá desempeñarnos para leer un mapa.  Aprender una competencia implica que sabemos cada vez más, que lo hacemos mejor o que podemos desempeñarnos en situaciones más sofisticadas.  Por ejemplo, al aprender la competencia lectora, cada vez leemos más texto, lo leemos mejor y podemos leer de temas más complicados. Las competencias no son un tema novedoso en educación.  Pero, la educación tradicional tan arraigada en los educadores ha impedido hacer un cambio de paradigma.

Según NCIEA, el primer paso para lograr aprendizajes en educación a distancia es enfocarnos en competencias y no en contenidos.  Y luego, priorizar las competencias más importantes de cada grado.  Esto, en teoría, permitiría que los niños no se estanquen y que, al volver a las aulas retomen contenidos y procedimientos del currículo.  Entonces, cada docente debe hacerse la pregunta: ¿cuál es la competencia o competencias más importante(s) que deben desarrollar mis alumnos en este grado? Por ejemplo, en primero primaria, indiscutiblemente es la adquisición de la lectura y escritura y el sentido numérico.  En cuarto primaria, probablemente sean la producción escrita y la lectura con comprensión. En matemática me atrevería a decir que sería la resolución de problemas aritméticos.  En resumen, cada docente priorizaría aquellas competencias que los estudiantes de determinada edad no pueden dejar de practicar para no retroceder.    

Aprendizaje por proyectos

 

El aprendizaje por proyectos tampoco es un tema novedoso en educación.  Es una metodología conocida para desarrollar competencias porque propicia el pensamiento crítico, la creatividad y la aplicación de diferentes competencias en un solo proyecto. 

La pandemia ha significado que los niños tengan más tiempo y horarios más flexibles en casa.  Estas nuevas rutinas facilitan que los estudiantes puedan investigar más a fondo sobre diferentes temas. A partir de sus investigaciones los estudiantes desarrollan un producto (proyecto) que documenta o muestra su aprendizaje. Dicho de otra forma, aprender por proyectos se refiere a que el niño desarrolle un producto sobre un tema que investigaron y en donde pueda aplicar las competencias priorizadas para el grado.  De manera que, la maestra debe preguntarse ¿cuál es un tema relevante que los estudiantes pueden investigar y cuáles productos pueden desarrollar para mostrar la competencia priorizada?Por ejemplo, el COVID-19, en sí mismo, es un tema relevante en la vida de todas familias en este momento como bien afirma Jal Mehta.  Pero hay otros temas importantes para el grado correspondiente que se pueden profundizar. 

Cuando en la casa hay varios niños, el proyecto puede ser también una oportunidad para propiciar aprender con otros.  La educación virtual tiende a ser más individualizada y hay menos oportunidades para discusiones que regularmente lideran los docentes en las clases presenciales.

Evaluación formativa y calificaciones más flexibles

Según NCIEA, El COVID-19 también nos permite replantearnos la forma de evaluar a nuestros estudiantes.  Según NCIEA, no se trata de simular electrónicamente el mismo patrón de evaluación del aula. Cada madre está enseñando a su manera la forma de resolver las tareas de sus hijos, lo que hace imposible suponer que todos los niños han tenido la misma oportunidad de aprender y por ende, no es posible estandarizar la evaluación.  La pregunta que debe plantearse cada docente es la siguiente: ¿se encuentra el alumno en camino de dominar la competencia esperada con el producto entregado?

Para responder esta pregunta, NCIEA recomienda evaluación formativa en la que el alumno entregue un producto y que en este se evalúe la competencia(s) priorizada(s) en términos de si el alumno muestra que está en proceso de lograrla(s) o no.  

Sin embargo, más allá de la imposibilidad de esperar que todos los niños del aula han tenido la misma oportunidad de aprender el tema en cuestión, el COVID-10 nos está dando una oportunidad para que los estudiantes exploten su creatividad y el pensamiento crítico. Por lo que no es posible esperar respuestas correctas e incorrectas en sus productos; lo que hace necesario relajar algunas reglas de calificación típicas.  La sugerencia de calificación de aprobado o en proceso es una del artículo de NCIEA. 

Sugerencias para papás y mamás educadores en tiempos de COVID-19

Finalizo el artículo con algunas lecciones aprendidas en la aventura de ser mamá educadora en las últimas 5 semanas. 

  1. Indaguemos sobre cuál es la competencia(s) priorizada(s) para el grado de cada uno de nuestros hijos.
  2. Tratemos de encontrar temas en común entre las tareas de nuestros hijos para desarrollar proyectos en casa.  
  3. Pensemos siempre en aprender y no solo en entretener a nuestros hijos.
  4. Juguemos juegos de mesa.  Cambiemos el idioma para jugar juegos clásicos para aquellos hermanos que aprenden un segundo idioma.
  5. Hagamos competencias de operaciones simples de matemática entre los miembros de la familia.
  6. Continuemos discutiendo y hablando en familia. Esto facilita el vocabulario y el aprendizaje social.
  7. Leamos todas las noches a nuestros hijos.