Evaluación en línea: no perdamos de vista la validez y la confiabilidad

En tiempos “normales”, es decir, cuando no vivíamos el encierro del COVID-19, los docentes evaluaban a nuestros hijos en sus aulas y tomaban decisiones con base en dichas evaluaciones, incluso tan frecuentemente como un tercio del tiempo de clase (Stiggins, 1992). Hasta hace más o menos un mes, cuando recibíamos una calificación, la responsabilidad de esta era totalmente de nuestro hijo o hija y confiábamos ciegamente en el juicio de su maestro. En el mejor de los casos, los docentes evaluaban para mejorar su enseñanza y para retroalimentar sobre los aprendizajes de nuestros hijos.  En el peor de los casos, evaluaban para disciplinar o motivar a conductas socialmente aceptables en el aula.  Cualquiera que haya sido la razón de la evaluación, nuestros hijos se examinaban relativamente bajo las mismas condiciones en su salón de clase y los docentes tenían el control de las condiciones de evaluación.  Indudablemente, todo eso ha cambiado abruptamente con la llegada del COVID-19.

Con la implementación obligada de educación a distancia, los docentes continúan teniendo la responsabilidad de reportar calificaciones de nuestros hijos con base en tareas y evaluaciones que se realizan en casa.  Algunos docentes han optado por solicitar videos y fotografías de nuestros hijos para tener alguna evidencia que sustente la calificación.  También se han popularizado las compañías que ofrecen software para elaborar pruebas a través de internet. Luego, como el monito del meme (entrego total crédito del autor), cuando recibimos la calificación en una tarea o evaluación, sentimos que la “nota”, mala o buena, es tanto mérito de nuestro hijo como nuestro en el rol de mamá/educadora.  

A pesar de que el meme de la mamá monito nos cause risa, pone en evidencia cuestiones básicas de evaluación en el aula virtual: la validez y la confiabilidad.  No dejamos de preguntarnos si ¿son válidas las calificaciones de las evaluaciones que los niños han hecho en casa, cuando ha sido la madre la que enseñó, pero la maestra la que evaluó?  ¿Fueron claras las expectativas de la tarea para la madre y para nuestros hijos? ¿Hay acuerdo entre la maestra y la madre en la calificación otorgada al hijo? Después de todo, una tuvo el control de la enseñanza y la otra de la evaluación. Entonces, ¿cuál es la forma más recomendable de evaluar a distancia?  Para responder a estas preguntas, es necesario volver a las cuestiones básicas de evaluación, las cuales no se deben perder de vista a pesar del uso de tecnología.  Después de todo, la evaluación en principio provee información para tomar decisiones. Si esta es errónea, la decisión sobre el aprendizaje del niño será la incorrecta. Aquí algunas reflexiones sobre evaluación a distancia partiendo de los principios básicos de evaluaciones de calidad.

Definir el propósito de la evaluación

Quizá la pregunta más importante a responder al evaluar es ¿para qué se va a evaluar? La respuesta más obvia es la necesidad de reportar una calificación que luego servirá de base para la promoción (razón sumativa).  Pero hay al menos dos razones más profundas y de carácter formativo para evaluar en tiempos de educación virtual:

1. Para mejorar la instrucción a distancia.  Dicho de otra forma, una razón poderosa para evaluar debe ser para determinar si los alumnos están aprendiendo con la herramienta en línea seleccionada.
2. Para informar sobre las expectativas de aprendizaje a padres y alumnos. La evaluación es la forma más concreta de informar sobre expectativas de aprendizaje a los usuarios, en este caso padres y alumnos.  Cuando se muestra un ítem de evaluación, este se convierte en una herramienta poderosa de enseñanza.

Definir qué evaluar

Además del propósito de evaluación, es importante entender, definir y comunicar claramente qué se va a evaluar.  En la mayoría de los contextos educativos, los docentes evalúan resultados relacionados con adquisición de conocimientos, pensamientos de alto nivel, comportamientos, productos, competencias y actitudes. Aquí algunos ejemplos:

¿Qué evaluar?	Ejemplos	Indicador de logro
Conocimiento	Contenidos de geografía e historia	Nombra los ríos más importantes de Guatemala y su ubicación
Pensamiento de alto nivel	Resolución de problemas de matemática Realizar inferencias de un texto	Resuelve problemas reconociendo la operación aritmética a aplicar.
Comportamientos	Hacer una presentación sobre un tema	Diseña una presentación y presenta sobre los ríos de Guatemala
Competencias	Leer, escribir	Lee 100 palabras por minuto.
Productos	Reporte de investigación	Elabora un mapa donde muestre los ríos de Guatemala
Actitudes	Disposición al aprendizaje	Tiene actitud de investigar más

Es común que los docentes conozcan la generalidad de lo que se desea evaluar, pero la pregunta importante es  ¿cuál es el mejor indicador de que un alumno ha internalizado un contenido, logrado una competencia, etc, para el grado correspondiente. 

Definir la mejor herramienta en línea para que el niño muestre su aprendizaje

Hay diferentes formatos de evaluación, algunos más fáciles de implementar y comunicar que otros. También algunos formatos son más pertinentes para ciertos contenidos que para otros. Los más comunes son los exámenes, las evaluaciones de desempeño y la comunicación personal. 

Exámenes

Los exámenes son una forma muy común de evaluar en entornos presenciales.  Indistintamente del tipo de ítem usado en los exámenes, hay una creencia común de que son “objetivos” para otorgar calificaciones, pero esto depende mucho de la calidad del examen.  En entornos virtuales existen compañías que permiten elaborar exámenes, incluso con opciones de video para que la maestra pueda observar la interacción del niño con la computadora u otro material.  Sin embargo, es virtualmente imposible controlar que un alumno no haga trampa en un examen en línea sin un laboratorio.  De manera que, se ha cuestionado mucho la validez de los exámenes en línea. Pero no significa que no sea posible para propósitos formativos. 

Evaluaciones del desempeño

Las evaluaciones del desempeño solicitan que el alumno haga algo y luego el evaluador lo califica con base a criterios (rúbricas o listas de cotejo).  El secreto de esta evaluación radica en la calidad de los criterios seleccionados y en su capacidad para comunicar una tarea en específico. 

Comunicación personal

La comunicación personal en línea requiere que el docente y el alumno interactúen y el docente haga preguntas sobre la cuestión que desea evaluar y el alumno responda inmediatamente.  El docente luego registra si la respuesta dada por el estudiante es correcta o incorrecta.

A continuación, resumo algunas ventajas y limitaciones de los tres formatos de evaluación cuando se hace en línea.

Evaluar la calidad de la evaluación

A continuación, algunas recomendaciones generales para determinar si la evaluación que realizaremos en línea tiene validez y confiabilidad.

Validez

La validez de las evaluaciones significa que la interpretación de su resultado es precisa con respecto a lo que se deseaba evaluar y con respecto a lo que el estudiante sabe y puede hacer.   Por ejemplo, si queremos evaluar que un estudiante incluya las partes de una carta al redactar una, y, al calificarla, el docente asigna el mayor peso de la nota a la ortografía de las palabras en la carta, entonces la calificación no se puede interpretar como la capacidad del estudiante para escribir una carta sino como la capacidad del estudiante para escribir sin faltas de ortografía. 

Una forma de evidenciar la validez de las evaluaciones en línea es comunicar claramente el propósito de la evaluación, así como los criterios de evaluación y calificación del producto tanto a los estudiantes y para los más pequeños a sus padres.  Es importante hacer esto todas las veces que se evalúa, y no recurrir a la consigna “tal como lo hacemos en clase” porque esto puede interpretarse de muchas formas.

Confiabilidad

La confiabilidad se refiere a la consistencia con la que un alumno demuestra que puede hacer algo o no.  Por ejemplo, si le solicitamos que reste números de tres dígitos a un niño de tercero primaria, y el niño logra hacerlo 9 de las 10 veces.  Podemos concluir que ha sido consistente en demostrar que lo puede hacer. Otra forma de evaluar consistencia es a través de que varias personas evalúen el desempeño o el producto de un mismo niño.  Por ejemplo, si la maestra y la mamá evalúan a la misma niña en el número de palabras por minuto que lee y ambas, la maestra y la mamá, llegan a resultados similares.  Entonces la evaluación puede determinarse como confiable.