Categories
Reflexiones sobre evaluación

Los monstruos de la evaluación: La Bruja Escala

Desde la época de la Revolución Industrial, hemos creído que usar porcentajes para calificar es más preciso y «objetivo». Actualmente, aunque ya no vivimos la Revolución Industrial, la tecnología ha promovido el uso de porcentajes para facilitar la producción de calificaciones. Así, los profesores tendemos a describir el desempeño de los estudiantes a través de porcentajes que, por definición, es una escala de 0-100. 

La escala de 0-100, aunque ampliamente aceptada, constituye otro de los monstruos de la evaluación. Le diremos «La Bruja Escala». Como si fuera un conjuro, la práctica de usar porcentajes para calificar crea una ilusión de precisión y «objetividad» sobre el desempeño de un estudiante que, en realidad, está llena de errores. 

En 1912 Starch y Elliot, empezaron a sospechar de la malvada bruja cuando pidieron a más de un ciento de docentes que calificaran la misma tarea, y encontraron una variación de casi 30 puntos (rango de 64-98). Desde esa época, las escuelas de Estados Unidos recomendaron alejarse de los porcentajes para calificar. Sin embargo, el conjuro de la bruja fue tan fuerte que los docentes y las escuelas persisten en utilizarlos casi un siglo después. En algunos contextos, ha habido algunas modificaciones; por ejemplo, los porcentajes que ahora se usan en las escuelas son distintos a los originales, cuando se esperaba que el promedio en la escala fuera 50 puntos. Con el tiempo, el promedio se movió a 60 puntos y, entonces, se estableció que la expectativa para pasar los cursos fuera 60 puntos. 

Lo que los cazabrujas no notaron a principios de siglo pasado es que el conjuro sería tan dañino en las escuelas que la combinación de esta escala con el cálculo de promedio condenaría a los estudiantes más vulnerables a continuar rezagándose en su progreso educativo.

Sin cuestionar la práctica, continuamos otorgando puntos por los aciertos que tengan los estudiantes y, por consiguiente, quitando puntos cuando no aciertan. En medición, este concepto aplica cuando se tiene un instrumento de evaluación confiable y válido. Sin un instrumento preciso, los porcentajes crean una ilusión de objetividad que realmente no está allí. Los instrumentos que los docentes crean no tienen las características de las pruebas estandarizadas, donde el porcentaje de respuestas correctas puede defenderse porque pasan por un proceso riguroso de validación. Por el contrario, los docentes utilizan evaluaciones creativas para observar que los estudiantes han logrado las competencias. Esta creatividad es acertada porque las evaluaciones en el aula deben constituir una herramienta accesible donde el estudiante pueda evidenciar su nivel de competencia y, además, ser congruentes con lo que los docentes hemos enseñado. 

Sin embargo, las evidencias que los docentes solicitamos a los estudiantes son difíciles de calificar con un modelo de respuestas correctas o incorrectas, a menos que sean exámenes que simulen una estandarización. Por lo general, los trabajos escolares tienen modelos donde se solicita a los estudiantes que produzcan «algo»; por ejemplo, proyectos, ensayos, reportes, entre otros. 

Cuando tratamos de encajar este tipo de evidencia en una escala de calificación de 0 a 100 es difícil elegir entre 100 posibilidades el número que mejor representa el desempeño del estudiante. Así, un docente puede asignar un número basado en su propia expectativa, mientras que otro docente puede asignar otro número basado también en su expectativa. Y así, para un estudiante, aprobar o no depende del docente que califique y no de su propio desempeño.

Peor aún, cuando se trata de decidir quién tiene derecho a pasar y quién no, determinar el número mínimo para ese propósito en una escala de 0-100 también constituye un truco que la Bruja Escala nos dejó. Bajo el paradigma de que el 60 es el número mágico para pasar se sesga la probabilidad hacia el lado oscuro de la escala. El lado donde el estudiante tiene mayor posibilidad de perder y menos posibilidad de ganar, ya que dos tercios de los números representan fracaso y un tercio representa éxito. Por tanto, la escala 0-100 está orientada a fracasar. 

Por eso, colegas no caigan en el conjuro de la Bruja Escala ni se crean que a más grande la escala más precisas serán sus calificaciones. Convénzanse ustedes mismos de lo contrario. La escala de 0-100, aunque práctica, está sesgada hacia el fracaso y presenta mayor error de clasificación al tener tantas opciones para asignar. Profesionales de evaluación actualmente sugieren reducir la escala incluso a cuatro números (1-4) con una descripción clara de desempeño. Pronto vendrán los artículos donde discutiré esta alternativa.

Crédito de la imagen: Julián Véliz

Starch, D., & Ellliot, E. C. (1912). Reliability of the Grading of High School Work in English. The University of Chicago Press, 442 – 457.

Categories
Reflexiones sobre evaluación

Los monstruos de la evaluación: El cero

En la escuela, el número 0 tiene un simbolismo de fracaso o de irresponsabilidad. No hay nada más tenebroso, más intimidante o donde el niño se sienta más impotente que cuando la figura de poder en el aula le aplica el cero por cometer un “error”.

Así, el cero se asigna cuando los estudiantes no entregan las tareas o cuando se comportan inadecuadamente. El cero rara vez se asigna para evidenciar el aprendizaje de un estudiante. Más bien, se asigna para disciplinar o enviar un mensaje de poder sobre el estudiante. 

Paradójicamente, en evaluación, el cero representa un punto en la escala de calificación, no falta de información de lo que se desea medir porque, a decir verdad, nadie tiene nulo conocimiento o “cero” habilidad en algo. Dicho de otra forma, los evaluadores reconocemos que, al asignar cero cuando no hay evidencia de lo que se desea medir, se puede introducir error en la calificación de forma sistemática: «No tener evidencia de lo que un estudiante no sabe no es lo mismo que tener evidencia de que el estudiante no sabe nada» (Feldman, 2019, p.77).

Veamos este ejemplo adaptado de Feldman (2019):

PezPeso
Pez A2 libras
Pez B1.5 libras
Pez C3 libras
Pez D2 libras
Pez E—-

Como notarán, desconocemos el peso del Pez E. Si el pescador vendiera a Q20.00 cada libra, lo lógico sería que el comprador pagara Q.170 por los peces A, B, C y D y que no comprara el pez E porque desconoce su peso. Asimismo, el vendedor no entregaría el pez E sin cobrar nada al comprador por la misma razón. Ahora veamos el siguiente cuadro:

Asignación Porcentaje basado en respuestas correctas
A80
B60
C100
D60
E0 (no entregó la asignación)

Al igual que el pescador, no tenemos información sobre el desempeño del estudiante en la tarea E. Puede ser que el estudiante haya decidido no hacerla, se haya enfermado el día anterior, la haya olvidado, no la haya entendido o cualquier otra razón. En un sistema de calificaciones bajo la costumbre de obtener el promedio de porcentajes de respuestas correctas en las asignaciones y donde se castiga la no entrega, el estudiante obtendría 60 en lugar de 75 al dividir la suma de calificaciones dentro de 5 y no dentro de 4 asignaciones. ¿La pregunta es si el 60 representa el desempeño del estudiante en una competencia o representa otra cosa? ¿Defenderíamos que la calificación frente a los papás del estudiante o ante un supervisor?

Probablemente la respuesta a las preguntas anteriores sería «NO». Sin embargo, algunos profesores preguntarán de qué forma incentivarán a los estudiante para completar sus asignaciones si no es a través de castigar o premiar por medio de las calificaciones. Es que erradicar el cero de los sistemas de calificaciones representa una batalla contra nuestros propios paradigmas, tanto como educadores y como estudiantes. Incluso, algunos estudiantes prefieren obtener el cero por no entregar una tarea que intentar hacer un trabajo con el cual se ponen en evidencia de no ser competentes (Feldman, 2019, p.78).

La solución retorna al propósito de calificar. En las instituciones educativas, las calificaciones son las que respaldan las decisiones que los docentes toman sobre el aprendizaje de los estudiantes, la aprobación de los cursos y la necesidad de repitencia. De la misma manera, los resultados anteriores inciden en la decisión de los estudiantes de desertar. Las calificaciones como las conocemos, con porcentajes, promedios y ceros, son consecuencia de los paradigmas que heredamos de la revolución industrial. Desde ese momento, nos creímos que las calificaciones son un buen motivador extrínseco y que los números en una calificación contienen la absoluta verdad sobre la capacidad de una persona. Sin embargo, por décadas, se ha sabido que las calificaciones que asignan los profesores son poco confiables y poco certeras porque contienen números que representan algo diferente al aprendizaje del estudiante en un curso, como el acto de entregar o no una tarea. Recientemente, bajo los nuevos marcos de validez de las evaluaciones, también se argumenta que las calificaciones contribuyen a las inequidades sociales que existen en las escuelas (Guskey, 2004). 

Por tanto, autores como Reeves (2004), Guskey (2004) y Feldman (2019) han iniciado una batalla en contra de asignar cero en las escuelas. Esta solución conlleva hacer otros cambios en los sistemas de calificaciones como reducir las escalas y eliminar la tradicional escala de 0 a 100, buscar alternativas al cálculo de promedios, entre otras. Lo cierto es que, por más incluyentes que queramos ser en las escuelas, sin pasar por los sistemas de calificaciones es probable que nunca erradiquemos la inequidad en la educación.

Crédito de la imagen: Julián Véliz

Categories
Reflexiones de una investigadora

Aprender significa lograr y crecer

Tras algunos años trabajando como investigadora educativa en varios países, he leído constantemente sobre las pobres competencias básicas de los jóvenes, sobre todo en poblaciones con bajo nivel socioeconómico. Así, los más pobres del mundo, los que hablan otro idioma, las niñas, los discapacitados y los migrantes tienen menos oportunidades de aprender y, por ende, de tener mejor calidad de vida. De igual forma, las poblaciones con mejor nivel socioeconómico y que dominan el idioma académico de las escuelas tienen mayores posibilidades de lograr competencias y superarse.

Y mientras más se estudien los bajos resultados de aprendizaje, más confirmamos que estos no han cambiado en décadas y que no pinta que haya algún cambio en el futuro próximo. Aquí va la lista de culpables más común en las conclusiones de las investigaciones: 

1) Se culpa a los gobiernos por no invertir suficiente en educación, lo cual nadie puede negar. En Guatemala, la inversión en educación es mínima y los resultados son bajos. También es cierto que hay países que han invertido en educación y sus resultados lo han reflejado, como Costa Rica y Vietnam.

2) Se culpa a los ministros y ministerios de que no hacen un buen trabajo en cualquier tema: en currículo, en distribución de los pocos fondos, en entregar textos, etc. 

3) Los siguientes en la lista de culpables son los docentes. Se culpa a la poca formación que reciben y que resulta en una incapacidad de lograr que sus estudiantes aprendan las habilidades básicas. 

4) Se culpa a los niños mismos y a sus familias. Los docentes se quejan de una generación que no quiere aprender y de padres que no le dan importancia a la educación. 

En fin, estamos atrapados en un vaivén de malas noticias y de tratar de culpar a todos los implicados.

Por otro lado, la investigación educativa se ha enfocado en conocer las diferencias entre grupos y en identificar las «causas» —es decir, los culpables— de los resultados. Sin embargo, en los países del tercer mundo se investiga muy poco soluciones pertinentes para la región y, además, se tiende a reproducir lo que hacen otros países porque después de todo «es mejor copiar algo que haya funcionado en otro lado que a no hacer nada». 

Este no es un blog de filosofía de la educación. En realidad, creo que la educación está saturada de filosofías y pocos resultados. Sin embargo, quiero colocar mi propia filosofía de educación antes de continuar escribiendo sobre evaluación educativa. Aquí van algunos puntos:

Stanislas Dehaene ha estudiado el aprendizaje por algunos años. En su libro ¿Cómo aprendemos?, Dehaene lleva al lector por una serie de funciones del cerebro humano con las cuales todos los humanos aprendemos las diferentes habilidades. Incluso los cerebros con alguna lesión, pueden llegar a aprender. Autores como Dehaene han confirmado que aprender es una cuestión de oportunidades, no de capacidades.

La pregunta ante este nuevo paradigma es qué oportunidades se necesitan para que las niñas y los niños, los que vienen de niveles socioeconómicos bajos, los que no hablan el idioma de instrucción y los que tienen alguna discapacidad puedan aprender y alcanzar las competencias mínimas. 

Aprender es lograr y crecer. Asimismo, aprender no es sinónimo de rendimiento, tampoco es sinónimo de esfuerzo o de responsabilidad en la escuela (Briceño, 2023). Estamos todos tan afanados en que nuestros alumnos ejecuten eficientemente lo que sea que se nos ocurra en la escuela que perdemos de vista el sentido de crecimiento que implica la educación. Las aulas están estructuradas para que los estudiantes rindan de acuerdo con las expectativas de sus profesores o de sus países. El énfasis en rendimiento proviene de la creencia de que los niños deben prepararse para el trabajo y, por tanto, deben producir, ejecutar, completar tareas, ser disciplinados, etc. Sin embargo, enfatizar en rendimiento previene a los estudiantes de crecer y de avanzar (Briceño, 2023). Así, a los estudiantes que no rinden como se espera, se les obliga a estancarse o a salirse del sistema, de allí los altos índices de repitencia de grado o de deserciones. 

Cuando las aulas están enfocadas en rendimiento y no en crecimiento, se cree que trabajar duro es sinónimo de mejorar. Y entonces, los docentes caemos en el error de asignar mucho trabajo a los estudiantes. Trabajo que a muchas veces ni siquiera tenemos tiempo de brindarles retroalimentación. Entonces, los estudiantes se acostumbran a cumplir y a pretender que saben lo que están haciendo (Briceño, 2023). Otra veces reprendemos tanto el error que los estudiantes se acostumbran a no preguntar para no ser avergonzados. En ese afán de rendir, dejamos de crecer. 

Las aulas enfocadas en crecimiento hacen el esfuerzo por cambiar las prácticas de evaluación y la dinámica de retroalimentación para que los estudiantes encuentren motivación interna para seguir aprendiendo. Los docentes están enfocados en que el estudiante logre metas progresivas hasta que alcance la meta del grado en cada una de sus materias. Es decir, son aulas más eficientes. En las aulas donde predomina una mentalidad de crecimiento, siempre hay segundas oportunidades para quien quiera aprender (Feldman, 2019).

Los sistemas educativos de muchos países donde los resultados de aprendizaje son bajos fuerzan a los niños a salir del sistema. Por el estudio de PISA, sabemos que, en muchos países del tercer mundo, conforme los niños van creciendo en edad, van dejando el sistema educativo. En Guatemala, cuatro de cada diez niños están fuera del sistema educativo cuando cumplen quince años. 

Sin embargo, los sistemas educativos no deberían impedirle a un niño continuar en la escuela. Rara vez los investigadores y los tomadores de decisión indagamos sobre las variables en las que se puede incidir para evitar los altos índices de deserción. Al enfocarnos en el problema o en los «culpables» de los bajos resultados, no volteamos a ver las soluciones. Es decir, saber que no las logramos no está trayendo nada productivo a nuestra poblaciones: fuera de saber que no llegamos a donde teníamos que llegar en el momento de la evaluación, realmente no informa sobre cómo avanzar. Debemos voltear nuestro interés a cómo crecer y lograr la meta de cada grado según el contexto de cada país y, como es el caso de Guatemala, de todos los culturales, especialmente los periféricos. 

Las pruebas estandarizadas internacionales son una muestra con un marco de referencia internacional sobre competencias mínimas acordadas en reuniones donde participan representantes de muchos países. Pero cabe hacer la salvedad que es difícil que dichas pruebas puedan considerar todos las variables que influyen en que una persona pueda llegar a lograr la «competencia mínima» desde su contexto; por ejemplo, los países tienen distintos idiomas, orales y académicos, diferentes prioridades curriculares, diferentes oportunidades escolares, entre otras variables. 

La discrepancia entre el idioma de instrucción y el idioma materno y todas la complejidades que conlleva lograr competencias en el idioma de instrucción es un tema de investigación en sí mismo (Gándara, 2021), así como también lo son las complejidades que trae para la vida de un niño no lograrlas en el momento esperado por el currículo nacional, por la prueba estandarizada internacional o por los profesores mismos. 

A su vez, con un mundo cada vez más globalizado, es importante que los jóvenes alcancen los estándares esperados para su edad en los convenios internacionales, a pesar de su contexto o del idioma que hablen. Por tanto, es una cuestión de tener la meta clara, pero de identificar el camino pertinente para cada país y cada cultura para llegar a dicha meta.

En conclusión, dado que nuestros países tienen tantas carencias, la investigación educativa debe enfocarse en encontrar aquellas variables en las que la inversión de recursos valga la pena.  Es decir, aquellas variables que expliquen cómo aprenden los niños y cómo los sistemas educativos pueden crear condiciones para que más niños aprendan.  Eso implica también que salgamos de nuestro confort como investigadores y encontremos preguntas de investigación más relevantes y pertinentes para nuestros contextos.  Finalmente, implica que redefinamos el propósito de las investigaciones educativas.  En primera instancia, la ciencia creada desde nuestro propio conocimiento y contexto debe informar las decisiones de política educativa de dicho contexto. Por tanto, el propósito de las investigaciones que se desarrollen en el país debe ser siempre de aplicación en las aulas y el sistema educativo en general.   

Crédito de la imagen: Julián Véliz

Bibliography

Briceño, E. (2023). The Performance Paradox: Turning the Power of Mindset into Action. New York: Growth.how.

Feldman, J. (2019). Grading for Equity. Thousand Oaks: Sage.

Gándara, F. (2021). Language considerations for the global monitoring agenda: Insights from a large- scale bilingual assessment of literacy from the Democratic Republic of the Congo. New York: UNESCO.

Categories
Aprendiendo sobre evaluación

Los programas de los cursos universitarios

Desde que comencé a estudiar modelos de crecimiento, he estado investigando sobre cómo los estudiantes aprenden y crecen en sus habilidades, sobre cómo los maestros los ayudan a alcanzar su máximo potencial y, finalmente, sobre cómo confirmamos que llegan a ser competentes.

Más allá de mi placer por implementar y comprender la estadística detrás de los modelos de crecimiento, he aprendido los efectos que las decisiones de los docentes tienen sobre el crecimiento reflejado en los modelos estadísticos. Por ejemplo, los profesores suelen enfocarse en el contenido de sus cursos y, a menudo, pierden el alcance de hasta dónde quieren llevar el aprendizaje de los estudiantes. En ese sentido, mi hipótesis es que perder de vista las competencias y la forma como se llega a ser competente en cada área resulta en poco crecimiento o poco aprendizaje.

Permítanme explicarme. Cuando trabajaba con profesores universitarios, les hacía una pregunta al comienzo de cada semestre. La pregunta era: ¿en qué quieres que tus estudiantes sean competentes al final del semestre en tu curso? Sorprendentemente, solo algunos tenían una respuesta clara a la pregunta. La mayoría de los profesores tenían una vaga idea de lo que querían lograr. Respondían con sus aspiraciones como: «Quiero que mis alumnos sean buenos profesionales» o «Quiero que participen en una clase o se sientan cómodos en clase». Otras respuestas estaban relacionadas con completar el contenido del curso; por ejemplo, «quiero que aprendan la historia de las teorías del psicoanálisis». Era difícil para ellos pensar en las competencias o incluso en las tareas que les gustaría que sus estudiantes realizaran al final del semestre.

Como autoridad de la facultad en ese momento, comencé a preocuparme por las prácticas de evaluación de cada curso. Sabía que los profesores diseñarían sus evaluaciones en función de sus expectativas del curso, por lo que, si estas no estaban claras, estaríamos certificando algo completamente diferente de las competencias que la facultad ofrecía a los estudiantes cuando se inscribían por primera vez. Este no es un problema exclusivo de las universidades. Mi colega Mario Moreno acaba de escribir un post sobre este problema de las escuelas públicas en Guatemala.

He estado tratando de ayudar a los profesores a organizar sus programas de estudio para que puedan comunicar mejor el camino hacia alguna competencia de su profesión a partir de la contribución de su curso. En este esfuerzo, he basado mis sugerencias en el libro de Stanislas Dehaene ¿Cómo aprendemos? y en La paradoja del desempeño de Eduardo Briceño.

En los siguientes pasos, comparto mi sugerencia para planificar un curso universitario para que organice las oportunidades hacia lograr una competencia profesional. Ampliaré cada paso en futuras publicaciones.

Paso 1: Convencernos de que todo el mundo puede aprender

Nosotros los educadores debemos convencernos de que todos los estudiantes pueden aprender. Esto no tiene nada que ver con lo que son los estudiantes o el origen del que provienen. Aunque está relacionado con la equidad y la educación inclusiva, basé esta afirmación, no en argumentos de educación inclusiva, sino en los libros de Dehaene, Briceño y Oakley et al., quienes han estudiado el aprendizaje y el crecimiento a través de la neurociencia (Dehaene y Oakley) y la teoría de la mentalidad de crecimiento (Briceño). Aprender significa ajustar los modelos mentales a medida que reflexionamos sobre nuestras experiencias con el mundo exterior; por lo tanto, debemos convencernos de que los estudiantes aprenderán y crecerán con oportunidades adecuadas. Debemos evitar centrarnos en la inteligencia o los antecedentes de nuestros estudiantes al ensenar y centrarnos en el rendimiento y el aprendizaje que pueden lograr.

Paso 2: Pensemos en la gran meta del curso; elijamos un verbo grande

Al comenzar la organización o planificación de un curso universitario, primero debemos pensar en la meta de aprendizaje que esperamos que nuestros estudiantes logren al final del curso. Esta meta debe representar una competencia que el estudiante no tenía o que tiene en un nivel mínimo antes de tomar el curso. Para escribir una meta tan grande, debemos pensar en verbos cuyo significado abarque varias habilidades y cuyo desarrollo requiera al menos un curso para lograrlo; por ejemplo, al final del curso, los estudiantes «escribirán ensayos sobre la coyuntura política de Guatemala» o «escribirán noticias sobre eventos políticos». El verbo escribir requiere que el estudiante domine varias habilidades, como la organización de ideas y la investigación de hechos políticos. Pensar en esta meta es crucial. A menudo, los educadores tienen que elegir la competencia que quieren alcanzar en su curso, pero terminan eligiendo verbos que no toman todo el curso para lograrse; por ejemplo, el verbo reconocer o identificar tal o cual contenido. Tomarse el tiempo de pensar y decidir la gran meta es el paso que hará toda la diferencia al organizar un programa de curso que muestre el logro de una competencia profesional.

Paso 3: Desempaquetemos el verbo en verbos también

El verbo que elegimos para la gran meta implica que la persona ha dominado otras habilidades que, al integrarse, permiten a la persona desempeñarse en el verbo que elegimos para la gran meta; por ejemplo, para «crear un pastel de cumpleaños», los reposteros deben dominar habilidades relacionadas con esa gran meta, como hornear el pastel, medir los ingredientes y preparar fondant, entre otros. Algunos conocimientos se asocian con el logro de esas habilidades; por ejemplo, para hornear el pastel, los panaderos deben conocer sobre temperatura y los diferentes tipos de estufas. A menudo, recomiendo a los profesores universitarios que piensen hacia atrás para organizar los verbos que quieren enseñar y observar en sus alumnos. Observen este ejemplo:

El conocimiento —> las habilidades ——> la gran meta

Temperatura —-> hornear un pastel ——> crear un pastel de cumpleaños

Con demasiada frecuencia, los profesores diseñan sus planes de estudio centrándose únicamente en el conocimiento sin vincularlo a las habilidades y competencias específicas que los estudiantes deben alcanzar en la profesión. Esta práctica les imposibilita de ver la gran meta a la que quieren llegar.

Paso 4: Enseñemos habilidades y organicemos prácticas deliberadas

Una vez que hemos desenredado la gran meta en las habilidades y los conocimientos para alcanzarla, podemos organizar oportunidades para aprender esas habilidades y conocimientos. Las oportunidades para aprender habilidades suelen ser prácticas y están estrechamente alineadas con las tareas en trabajos reales. Las oportunidades para adquirir conocimientos deben garantizar que el estudiante los asimile con prontitud para que los aplique al practicar las habilidades por desarrollar en el curso. Por otro lado, la organización del curso debe mostrar que los estudiantes pueden observar al experto o profesor modelar las habilidades y no solo exponerlas. Por último, la organización debe permitir que el alumno practique las habilidades por desarrollar más de una vez.

Paso 5: Organicemos las tareas y equilibremos la calificación y la retroalimentación

Organizar las oportunidades de aprendizaje facilitará la organización de las calificaciones de los cursos. De esta manera, el programa puede mostrar la práctica de cada habilidad o la calificación del examen. Los programas de estudio deben mostrar un equilibrio entre la calificación y la retroalimentación del profesor. Se recomienda que, cuando el estudiante recién comienza a aprender algo, reciba mucha retroalimentación del experto hasta que domine las habilidades y esté listo para demostrar competencia sin ayuda del experto. Esta organización también establecerá un clima de aprendizaje en el que los estudiantes puedan aprender reflexionando sobre los errores que cometen mientras practican una habilidad.

Paso 6: Evaluemos la gran meta

La evaluación final de un curso debe centrarse en la gran meta del curso. Por esta razón, en la mayoría de las universidades, se espera que la evaluación final sea aproximadamente un tercio de la calificación total del curso para que el estudiante pueda demostrar competencia en la gran meta y el profesor pueda certificar el nivel de competencia del estudiante en dicho objetivo.

De esta manera, la evaluación final debe diseñarse para que el estudiante pueda demostrar competencia en la gran meta del curso sin ayuda del experto; por ejemplo, si la gran meta es «crear un pastel de cumpleaños», la evaluación más pertinente es que el estudiante cree un pastel de cumpleaños al finalizar el curso. Consecuentemente, los aspectos por evaluar en su creación constituyen las habilidades y conocimientos que ha aprendido a lo largo del curso relacionados con creación de pasteles, como hornear, mezclar, medir, decorar, etc.

Finalmente, este modelo de planificación permite comunicar de forma transparente lo que el estudiante será capaz de hacer al finalizar su formación profesional. Por otro lado, esta forma de organizar los programas del curso permite a los estudiantes crear portafolios profesionales donde visibilicen las competencias que han adquirido y que pueden ofrecer a empleadores.

Categories
Reflexiones sobre evaluación

La evaluación artificialmente inteligente

Cuando comencé como psicometrista, me atrajo el estudio de la varianza. Las evaluaciones se basan en la variabilidad de un «rasgo» particular entre personas y de una persona en relación con una meta escolar. Además, me atrajo la posibilidad de crear instrumentos que pudieran capturar la variación de tales rasgos y las decisiones que uno podría tomar en función del resultado de una evaluación.

Para encontrar variación de un rasgo, se debe comprender ese rasgo en profundidad y, hasta cierto punto, comprender cómo lo aprende una persona; por ejemplo, si el rasgo por medir es la lectura, se debe entender cómo el niño aprende a leer y las tareas con las que ese niño demuestra que aprendió a leer en un momento específico. Este conocimiento generalmente lo poseen los maestros que conviven con los niños todos los días y los apoyan en el aprendizaje de dichas habilidades.

Hasta hace unos años, cuando dirigía el desarrollo de pruebas, me tomaba el tiempo para trabajar con los profesores para diseñar tareas (ítems) que, según su experiencia, captaran mejor las habilidades de los estudiantes. Dicho trabajo solía ser muy costoso en el proceso de desarrollar una prueba estandarizada. Actualmente, la inteligencia artificial (IA) ha sustituido en gran medida este trabajo, lo que permite que los costos y el tiempo sean mucho menores. Hoy en día, escucho en muchas conferencias que la IA es el futuro del desarrollo de pruebas y de la educación en general.

Debo confesar que, aunque encuentro impresionante la tecnología detrás de la producción de ítems usando IA, también dejé de ver la conexión de dichos ítems con la experiencia docente. Cuando hacía este trabajo con humanos, me fascinaba la forma en que los profesores diseñaban las tareas de una manera casi artística basándose principalmente en un conocimiento profundo de sus alumnos. Luego, cuando la prueba se analizaba en términos de varianza, era posible explicar los resultados con ejemplos que tuvieran sentido para los docentes. También tengo que reconocer que, en esos esfuerzos, había muchos errores humanos, que son imposibles de controlar y que se aceptaban, reconocían y mejoraban a veces de forma no tan eficiente como lo puede hacer la IA.

Sin embargo, tengo un sentimiento extraño cuando produzco ítems de forma eficiente a través de ChatGPT o cualquier otra herramienta de inteligencia artificial. Al generar los ítems casi de forma automática, los percibo tan artificiales y desconectados de la realidad de los profesores con los que conversaba. No los percibo «reales», como cuando trabajaba con profesores y con personas con un nombre, una historia o un contexto.

Me pasa lo mismo cuando se solucionan «artificialmente» otros aspectos de diseño de pruebas. Esta semana recibí mi ejemplar de la revista académica más prestigiosa de mi profesión y descubrí que más de la mitad de los artículos son simulaciones de especificidades estadísticas de análisis de pruebas.

A veces, siento que estoy en riesgo de quedarme obsoleta porque encuentro menos atractivo leer sobre simulaciones o soluciones producidas con IA. Y, cada vez más, me parece más importante que en nuestra profesión hablemos de inclusión, conciencia social, comunicación de resultados y evaluación formativa, entre otros temas. Sin dejar de conocerla y valorar las ventajas que nos trae, ahora más que nunca me parece importante que los educadores seamos críticos con las soluciones automatizadas que ofrece la vida moderna y la inteligencia artificial.

Finalmente, me parece que, independientemente de las soluciones inteligentes y automatizadas que existan, los educadores no nos podemos permitir dejar de aprender, incluso sobre inteligencia artificial.

Categories
El arte de mejorar la calidad educativa Reflexiones sobre evaluación

Los efectos colaterales de evaluar

No puedo hablar por el resto del mundo, pero Guatemala ha sido un país lleno de estigma, prejuicio y discriminación. Muchas de estas acciones han sido, en parte, culpa del sistema educativo y sus vicios. Recientemente, me he preguntado si algunos vicios que aumentan las brechas educativas, los estigmas y las prácticas discriminatorias se originan en la forma en que comunicamos los resultados de las evaluaciones a quienes pueden decidir sobre las oportunidades educativas para los estudiantes de todos los orígenes.

Entre otros propósitos, para hacer visibles las brechas entre los estudiantes y tomar decisiones informadas sobre la asignación equitativa de recursos, los países han creado evaluaciones nacionales a gran escala y han participado en programas de evaluación internacionales; por ejemplo, Pisa y Llece. Los diseños de evaluación a gran escala suelen ser rigurosos, por lo que puede decirse que los resultados son válidos. Sin embargo, estos diseños son difíciles de explicar porque los procesos se basan principalmente en la estadística.

Al diseñar una prueba, se toman decisiones basadas en la ciencia (estadística, educación, etc.) de modo que los puntajes obtenidos en la prueba representen lo que el estudiante de un contexto o edad específica puede o no hacer. Pero tales decisiones también están influenciadas por los usos que se darán a los resultados y el presupuesto con el que se puede implementar una evaluación. Por lo tanto, en ocasiones, una metodología ideal debe ser compensada por otra posible que sea igualmente rigurosa y permita utilizar los resultados esperados.

Por ejemplo, la evaluación nacional de Aprende+ tuvo un alcance casi censal porque los docentes realizaron la aplicación en sus aulas. Esto permitió darles a los docentes una mayor participación en los procesos de evaluación nacional, obtener resultados de más niños con mayor rapidez y devolver a los docentes resultados sobre sus propios estudiantes casi de forma inmediata. Sin embargo, esto comprometió parcialmente la estandarización y confiabilidad de los resultados. Por el contrario, la evaluación nacional de la primaria no es un censo, sino una muestra porque se implementa una costosa operación de recolección de datos con actores externos que permite una estandarización casi impecable. Aun así, la muestra es más pequeña y los resultados se ven comprometidos si parte de la muestra se pierde y no permite que se entreguen resultados a nivel de la escuela y el aula.

A pesar del rigor de los diseños de evaluación y la documentación para demostrar la confiabilidad y validez de los resultados de las evaluaciones a gran escala, todo termina con su correcta comunicación al público, quien los utilizará para tomar una decisión. En última instancia, lo que quien toma las decisiones entienda sobre la metodología de evaluación y la capacidad o incapacidad de una persona marcará la diferencia en su forma de actuar.

A diferencia de las evaluaciones a gran escala que siguen procesos rigurosos de diseño, estandarización y validación, las evaluaciones en el aula tienden a ser menos confiables.  A pesar de ello, las implicancias de las evaluaciones de aula son altas ya que, estas pueden cambiar el curso de la vida de una persona, para bien o para mal.

Lamentablemente, los profesores de aula tienen poca formación en evaluación, pero están obligados a evaluar y certificar competencias. En consecuencia, se observa que los docentes imitan prácticas de evaluación a gran escala que observan de evaluadores externos, pero sin el conocimiento para imitarlas adecuadamente. Así, las pruebas y hojas de trabajo tienden a estar desconectadas de la competencia u objetivo que pretenden evaluar. Peor aún, los estudiantes reciben consecuencias sobre los puntajes de los exámenes en el aula que no demuestran con precisión lo que un estudiante puede o no puede hacer; por ejemplo, los estudiantes reciben calificaciones por “buena letra” o “formato”, descuidando el contenido de un escrito. Los estudiantes a menudo son castigados o avergonzados por sus errores de ortografía y rara vez reciben retroalimentación sobre sus habilidades para escribir ensayos. Así comunicamos que un niño “falló”, “no es capaz” y “no puede” cuando, en realidad, la prueba midió otra cosa. Si pensamos un poco más allá, con estas prácticas estamos comunicando que cuando el alumno escribe bonito tendrá una buena nota, aunque su escritura no sea coherente o no tenga argumento.

Además, los profesores a veces utilizan las calificaciones como recompensa por el buen comportamiento y pierden de vista el desempeño de los estudiantes. Por lo tanto, las niñas que se quedan quietas y se portan bien obtendrán mejores calificaciones que los niños activos o menos quietos.

Me preocupa que estas prácticas tengan peores consecuencias para los estudiantes vulnerables y que un niño sea castigado o tenga acceso limitado debido a la vulnerabilidad en la que vive al obtener una evaluación válida o poco confiable. Me pregunto si muchos niños que reprobaron el primer grado fueron evaluados con pruebas poco válidas y confiables y con ideas mal concebidas sobre las poblaciones vulnerables.

No digo que el diseño y la comunicación de los resultados de las evaluaciones sean la única causa de conductas excluyentes de las poblaciones vulnerables, pero no está de más repensar cuestiones básicas como:

¿Tenemos claro qué queremos visibilizar con una evaluación?

¿El diseño de nuestras evaluaciones es inclusivo o es excluyente?

¿Qué informamos a través de nuestras evaluaciones? ¿A quién informamos?

¿Qué escuchan y entienden nuestros docentes, políticos y ciudadanos sobre los resultados de una evaluación?

¿Qué decisiones son relevantes en función de los resultados y quién debe tomarlas?

¿Qué posibilidades reales tiene un estudiante de avanzar en función de los resultados de una evaluación?

No olvidemos que al evaluar pretendemos mostrar las desigualdades entre grupos a través de evaluaciones para brindar mejores oportunidades donde sean necesarias y, sospecho, que contrariamente a tal intención, sin querer estamos propiciando conductas de exclusión hacia las poblaciones indígenas, las poblaciones pobres, las mujeres y poblaciones con discapacidad. Aunque los resultados de pruebas estandarizadas muestran que algunos grupos de la población no están alcanzando los niveles requeridos de competencias esenciales, también podríamos estar comunicándoles que “no pueden” y que deberían “perder” el grado, sobre todo cuando se reproducen prácticas de evaluación poco confiables y válidas en las aulas. Es sumamente importante empezar a discutir el tema de comunicación de resultados de pruebas (nacionales o de aula) como un factor de exclusión en países como Guatemala y encontrar mejores estrategias de comunicación (para el desarrollo) de dichos resultados.

Categories
Reflexiones de una mamá maestra

Ciencia en el vecindario: una experiencia de intercambio de conocimientos en la comunidad

La mañana del 1 de octubre, cuando se celebra el día del niño en Guatemala y el día internacional del adulto mayor, siete niños y el abuelo de uno de ellos, todos del mismo vecindario, intercambiaron conocimientos de ciencia con otros niños en el parque Minerva de la ciudad de Guatemala en la actividad organizada por OWSD Guatemala y la Municipalidad de la ciudad. 

Los vecinos más pequeños mostraron el proceso químico para hacer burbujas caseras. «Tienes que colocar jabón de platos, un poco de champú de bebé, agua y azúcar» decía Joaquín de ocho años mientras mezclaba los ingredientes. «¿Por qué tienes que colocar azúcar?» le preguntó un participante de cuatro años. «Porque el azúcar hace que las burbujas se estiren más» respondió Pau de ocho años. Pau y Joaquín habían aprendido el proceso químico detrás de una burbuja gracias a Guayo, el abuelo de Pau y químico de profesión: 

Cuando soplamos la capa elástica formada de jabón, una corriente suave de aire forma la burbuja. Entonces, ocurre un fenómeno de tensión superficial en el que la burbuja está contrarrestando la presión atmosférica. Los componentes químicos del azúcar provocan que haya cohesión con el jabón y que cambien su densidad, volviéndolo más elástico (Guayo Robles- químico).

Los vecinos más grandecitos mostraron a los participantes cómo cambiar el color de una moneda a través de un proceso electroquímico. Julián, de 13 años, y Mateo, de 14, habían aprendido de Guayo cómo depositar un metal en otro. Las niñas de 11 y 12 años y Adrián de 10 decidieron mostrar el efecto inverso de la ley de Newton con almidón y agua. Daniela y Sarita prepararon una masa de almidón y agua que, al apretarla con las manos, mostró cómo se contrarrestan las fuerzas de repulsión y electroestática y, al soltarla, regresan a su posición y se deshace la cohesión. «Este efecto se debe a las fuerzas electroestáticas entre las moléculas del almidón y del agua», les explicó Guayo. 

Ciencia en el vecindario solo fue uno de más de una docena de exposiciones de ciencia donde se promovió el intercambio intergeneracional de conocimientos científicos de forma exitosa. Las iniciativas de intercambio de conocimiento intergeneracional han sido estudiadas en literatura diversa. Una buena parte ha estudiado el uso de tutoría intergeneracional en capacitaciones laborales. Desde la neurociencia, se ha encontrado que la mentoría intergeneracional estimula tanto al mentor como al aprendiz:

Los resultados de la investigación muestran que la mentoría intergeneracional puede ofrecer numerosas ventajas tanto a las personas involucradas en la relación (el mentor y el aprendiz) como a toda la organización. Por tanto, la mentoría intergeneracional parece ser una herramienta eficaz para compartir conocimientos, crear compromiso, desarrollar liderazgo y, ante todo, construir relaciones intergeneracionales basadas en la aceptación mutua” (Gadomska-Lila, 2020). 

Y es que, por mucho tiempo los educadores hemos sabido que aprender de formas no tradicionales como la experimentación pueden beneficiar mucho a los estudiantes en sus aprendizajes. También sabemos que las relaciones entre el tutor y los y las estudiantes propician mejores aprendizajes que las que son hostiles o «frías». Durante la pandemia, también aprendimos sobre tutorías intergeneracionales para no frenar aprendizajes en ausencia de las escuelas. Así que no hay sorpresa que la actividad haya sido tan exitosa. 

Sin embargo, ese día un matemático que se acercó con su pequeño hijo a nuestro centro de experimentos químicos me hizo un comentario que me hizo caer en cuenta sobre el verdadero sentido de la actividad. Él me dijo: «cómo me gustaría compartir en la escuela de mi hijo mi pasión por la matemática y todas las formas como me gano la vida haciendo matemática». Luego de aquel comentario, el matemático preguntó quién era el afortunado científico que compartía su pasión con los vecinos jóvenes de nuestra comunidad.

Aquel comentario me hizo pensar:

  • ¿Sabrán las escuelas el cúmulo de conocimiento que tienen los miembros de la comunidad educativa? ¿Cuántos químicos, músicos, matemáticos habrá entre los padres de familia, abuelos, hermanos, etc.? 
  • ¿Cuántas veces las escuelas propician espacios para compartir conocimientos intergeneracionales fuera de las interacciones entre docentes y estudiantes?
  • ¿Qué tal si tornáramos a las nuevas generaciones a soltar las pantallas y propiciáramos espacios para que los niños se embarquen en un proyecto nuevo con ayuda de los abuelos, tíos, hermanos en lugar de buscar todo en YouTube, Instagram, etc.?
  • ¿Qué tal si aprovecháramos los conocimientos de la comunidad escolar para fortalecer nuestros programas?
  • ¿Qué tal si volvemos a ser comunidad y a pensar la calidad de educación que necesitan las nuevas generaciones?
  • ¿Qué tal si el conocimiento científico saliera de los libros de texto y de los artículos académicos?
  • ¿Qué tal si el conocimiento científico se difundiera en las comunidades que realmente se beneficiarán de dicho conocimiento?

Es que todos tenemos responsabilidad de formar a las nuevas generaciones de nuestra comunidad. No es posible seguir pensando que la escuela lo hará sola y que la maestra o el maestro lo sabe todo. Finalmente, los científicos tenemos responsabilidad de compartir el conocimiento más allá de nosotros mismos. Quizá llegó la hora de romper nuestra burbuja.

Categories
El arte de mejorar la calidad educativa

Datos y más datos

Cuando Vanessa y su esposo tuvieron a su primer hijo, decidieron inscribirlo, desde ese momento, en un colegio internacional al cual es muy difícil ingresar. A pesar de inscribirlos el año que nacían, los niños iniciaban en kindergarten a los 5 años. Vanessa recuerda que ese primer año escolar salió de excursión con familias amigas que tenían a sus hijos en el mismo colegio. Eran cinco familias que iban a un parque temático en Guatemala. Tres de las cinco familias conducían la misma marca y tipo de carro. Todas las madres del grupo tenían una profesión universitaria. En su mayoría los padres tenían un empleo estable y bien pagado y dos eran dueños de su propia empresa. Cuatro de las cinco familias tenían dos hijos y solo la de Vanessa tres. 

Aquel día Vanessa supo que ella y su esposo se parecían mucho más de lo que ella creía con los otros padres del grado de su hijo. Con los años, lo confirmó aún más. Cuando su tercer hijo entró al mismo colegio, tuvo la sensación de que ya no era tan parecida a los otros padres del grado del pequeño como había sido de los del grado de su hijo mayor. Vanessa era al menos cinco años mayor que el resto de los padres. En este grupo, la mayoría tenía un hijo o estaba por tener al segundo. Las profesiones eran muy diferentes a las de ella y su esposo.

Aunque lo pasemos desapercibido, los datos y la estadística tienen sentido por ejemplos como los anteriores. Los seres humanos somos seres sociales y, por tanto, seremos influenciados unos a otros. En las escuelas, el desempeño de los niños estará muy influenciado por el carro que manejen sus padres, la profesión de las madres, el número de hijos, entre otros factores.  Este es un ejemplo que ilustra el sentido del uso de la estadística y los datos en las ciencias sociales y humanísticas. Entre otras cosas, los datos y la estadística fundamentan la ciencia de la implementación y las intervenciones en distintas áreas. 

Es innegable que las mejoras educativas o las intervenciones no son cuestión de azar o de buena voluntad. Estas son actos fundamentados en ciencia donde, sobre todo, conocer e invertir en las variables correctas hará toda la diferencia, y no en el mero acceso de los datos. Esta idea es fundamental de este artículo. Los avances de la tecnología y la inteligencia artificial han puesto a disposición inimaginables cantidades de datos de cualquier tema para cualquier uso, bueno o malo, que cualquier persona quiera. Así, ahora se pueden recolectar datos a través del internet, incluso sin que el sujeto lo sepa. También es posible correlacionar variables provenientes de diferentes fuentes y concluir y sugerir productos, políticas, soluciones, entre otros usos. Además, se pueden generar datos ficticios, en el mejor de los casos para comprobar funciones y estadísticos, como se hace en los estudios tipo Monte Carlo. Pero también se pueden crear datos ficticios que mal informan a los usuarios, como el fake data. 

Así, nos encontramos en la era de acceso fácil y sin filtro de datos e información. En mi experiencia generando datos para diseñar e implementar programas para mejorar la educación de Guatemala basados en evidencia en los últimos quince años, no deja de preocuparme que la cantidad abrumadora de datos desmerite la investigación y los estándares de calidad con los que se produce para informar lo que debemos hacer, particularmente cuando se trata de una intervención médica, psicológica, educativa, etc. 

Las investigaciones rigurosas tienen estándares de calidad de los datos que recolectan. De ese modo, la instrumentación que produce el dato de una investigación es tratada con escrutinio, sobre todo en las ciencias sociales y humanísticas, donde se espera que el dato se interprete de forma transparente con base en un constructo (validez) y que se garantice consistencia con que el instrumento visibilizaría dicho constructo de una persona (confiabilidad). Esto, con el objetivo de que las varianzas que se identifiquen entre personas sean reales y, por consiguiente, también las conclusiones sobre ellas y el fenómeno que se estudia. 

Quizá hayan intuido que las investigaciones dependen mucho de la varianza existente y de la varianza que se diseña a través de las intervenciones. Por tanto, la importancia de los datos no radica en tenerlos o que estén disponibles, sino en identificar e intervenir en las fuentes de varianza correctas para provocar una mejora (Cummings, 2013). Porque después de todo, la ciencia está al servicio de la humanidad para que los humanos seamos mejores. 

En este sentido, 

  1. No es suficiente recolectar data o accederla sin limitaciones.
  2. No es suficiente identificar o monitorear atributos de los humanos (investigación exploratoria).
  3. No es suficiente correlacionar variables, aunque se tenga big data–

Lo más importante es identificar las fuentes de varianza para mejorar las intervenciones y las decisiones que tomamos como humanidad y como país, por lo que:

  1. Hay que recolectar e identificar los datos adecuados (descartar fake data).
  2. Hay que identificar por qué no logramos resultados que esperábamos (investigación experimental).
  3. Hay que encontrar los estudios que nos permitan determinar con cuál intervención tenemos mayor probabilidad de mejorar algo (metaanálisis y revisiones sistemáticas de literatura).
  4. Hay que invertir recursos en aquellas variables donde tendremos mayor oportunidad de mejorar algo (replicar investigaciones).

Tal como el ejemplo de los grupos de padres de familia del colegio de los hijos de Vanessa, los humanos, cada uno con sus atributos, nos influenciamos unos a otros de diferentes maneras, lo que provoca que variemos (que nos parezcamos o difiramos) a diferentes niveles entre nosotros. Como dice el refrán: “dime con quien andas y te diré quién eres”.  Cabe hacer notar que las nuevas tecnologías y redes sociales y los llamados “influencers” están cumpliendo esta función con las nuevas generaciones.

A gran escala, conocer estas variaciones a través de datos precisos y adecuados ayuda a los tomadores de decisión a adjudicar los recursos en las variables correctas para obtener resultados esperados y así lograr mejorar.  Ojalá esta época de datos ilimitados no se quede solo en acceso.  Ojalá también haya quien los lea, los interprete y logre proponer intervenciones para que la humanidad sea mejor. 

Crédito de la imagen: Julián Véliz

Categories
Aprendiendo sobre evaluación

Cuando la evaluación cae en lo absurdo

Mi mamá me cuenta que ella quería que yo estudiara en un colegio liderado por monjas que ella consideraba de prestigio. Así que cuando yo tenía 5 años, me llevó a hacer el examen de admisión de aquel colegio. Cuando recibió la llamada sobre los resultados del examen de admisión, la monja a cargo le indicó a mi mamá que yo no tenía lo que se necesitaba para estudiar en aquel colegio y que predecía que yo no sería exitosa. Mi mami, desilusionada y temerosa del resultado, me llevó a otro colegio, por cierto, también católico tradicional, sin decirme lo que la monja había pensado de mí. Contrario a la primera llamada, mi mamá recibió una donde la felicitaban por mis resultados y le informaban que yo había sido admitida a la segunda institución. El resto es historia. Sin embargo, treinta y siete años más tarde, mi mamá aún recuerda con mal sabor de boca aquella primera llamada que «predecía» mí fracaso.

Ahora yo soy madre de tres hermosos hijos. Cuando mi hija aprendía a leer, yo percibía que era muy difícil para ella. En repetidas ocasiones fui advertida de que posiblemente mi hija tenía un problema de aprendizaje. Durante el proceso de encontrar un especialista que la atendiera, Sarita me dijo: «mami, no veo el pizarrón ni mi libro». Mi esposo decidió llevarla al oftalmólogo. Como habrán adivinado, después de comprar los lentes adecuados, los problemas de aprendizaje de mi hermosa hija desparecieron.

¿Por qué suceden estos absurdos en los diagnósticos de los niños? En esta entrada, trataré de darles una respuesta y una advertencia. 

Cuando los docentes estudiamos el magisterio o cuando atendemos capacitaciones de profesionalización, se nos instruye sobre la importancia de la evaluación en el proceso enseñanza aprendizaje. Escuchamos frases como: «la evaluación debe estar presente durante todo el proceso», «la evaluación debe ser objetiva», «el maestro debe estar evaluando todo el tiempo» y “los exámenes formales son evaluaciones objetivas». También se nos instruye sobre tipos de evaluación. Así, aprendemos que la evaluación formativa es aquella que permite mejorar la instrucción para darle al estudiante una oportunidad diferente de aprender y que utilizamos la evaluación sumativa para calificar y certificar aprendizajes y promover de grado. Finalmente, los docentes conocemos un menú de herramientas de evaluación que ocupamos conforme nos sean útiles. 

A pesar de reconocer la importancia de la evaluación y de usar herramientas de evaluación para mejorar aprendizajes y certificarlos, pocas veces se nos advierte a los docentes sobre las implicaciones de una mala o buena evaluación, sin importar su tipo. Los docentes tendemos a asumir que nuestras evaluaciones son buenas y que nuestras interpretaciones sobre una persona basados en nuestra evaluación son inequívocas. A su vez, los padres de familia y alumnos pocas veces cuestionan la calidad de las evaluaciones sobre las cuales se toman decisiones sobre sus hijos.  Incluso, algunos creen que mientras más difícil un examen mayor calidad educativa. Entonces, en este país observamos y aceptamos altos índices de repitencia en los grados iniciales de la primaria y altos niveles de deserción de jóvenes que terminan fuera de la escuela producto no solo de falta de oportunidades de aprender, pero también de malas prácticas de evaluación en el aula y en la escuela. 

Las implicaciones negativas de malas prácticas de evaluación en el aula como la repitencia y la deserción son muy tangibles en nuestra sociedad, así como los dos ejemplos que les conté al inicio. Sin embargo, es necesario advertir que hay implicaciones de malas prácticas de evaluación menos tangibles, pero igual de dañinas; por ejemplo, cuando la evaluación se vuelve solamente un requisito para otorgar una calificación o un grado, los estudiantes avanzan en los grados sin haber aprendido mucho. 

Aquí algunas cuestiones básicas sobre evaluación para no caer en lo absurdo. 

  1. La evaluación no es útil a menos que los datos que se obtengan de cada instrumento representen lo que deseábamos evaluar: ¿Cómo se interpretan los resultados de esta evaluación?

La evaluación depende de datos que REPRESENTAN lo que el alumno sabe o puede hacer. Es que los datos de evaluación representan capacidades, aprendizajes, competencias, etc. A veces la representación es un número, como es el caso de las calificaciones; otras veces, es una clasificación o una letra, entre otras representaciones cualitativas. Convertir una capacidad o una habilidad en un número no es tarea fácil. La dificultad radica en volver observable lo que no siempre se puede observar, incluso cuando hay un producto que calificar; por ejemplo, la maquetas sobre distintos temas son populares como proyectos finales de unidad. ¿Qué representa que un niño haya obtenido un 60 o un 80 o un 100 en la maqueta del sistema solar que elaboró?, ¿representará el conocimiento que tiene sobre el tema?, ¿representará una síntesis de una investigación?, ¿representará la capacidad artística para elaborar una maqueta? Muy fácilmente los docentes caemos en otorgar calificaciones que no representan lo que el alumno realmente ha aprendido, lo que nos lleva no solo a cometer enormes errores de medición, sino también a invisibilizar la capacidad del estudiante, porque la tarea con la que se evalúa no corresponde con lo que queríamos, si es que lo teníamos claro. De esta forma, a pesar de que la maqueta fue una tarea muy lúdica y creativa y que el alumno se haya esforzado mucho, frecuentemente no contamos con la información correcta para representar la capacidad o habilidad del estudiante. 

  • La evaluación parte de un objetivo por lograr y una tarea que lo represente: ¿Entiendo lo que mis estudiantes deben saber o poder hacer? ¿Qué tenían que hacer para llegar a este punto?

Las evaluaciones deben surgir de un objetivo específico que se desea lograr y que es producto de oportunidades de aprendizaje. Estos objetivos pueden ser competencias, habilidades y actitudes; por ejemplo, una competencia de cuarto primaria es que el estudiante logre aplicar las reglas de orden de operaciones en diferentes problemas. La tarea con la cual el docente observará que el estudiante haya logrado esta competencia será resolver operaciones donde apliquen el orden de operaciones. Sin embargo, cuando la competencia que se desea lograr no es clara o cuando nos enfocamos en la tarea en lugar de la competencia, será más difícil determinar qué es lo que evaluaremos. Por ejemplo, si me enfoco en la tarea «elaborar una maqueta», hay varias capacidades asociadas a esa tarea que puedo evaluar. Una capacidad puede ser representar artísticamente un concepto y otra representar el conocimiento del concepto, entre otras. ¿Cuál evalúo? En cambio, si yo tengo claro que la competencia es distinguir entre el movimiento de rotación y traslación de los planetas, la evaluación de la maqueta es más válida.

  • Las tareas representan diferentes niveles cognitivos: ¿Cuándo tienen que poder hacer esto que voy a evaluar?

Las tareas que un estudiante puede hacer para representar su habilidad o competencia tienen distintos niveles; por ejemplo, leer como competencia puede ir desde leer funcionalmente un rótulo a leer una obra literaria. A su vez, la competencia de escribir puede ir desde escribir el nombre propio hasta escribir una novela. Tener en mente distintos niveles cognitivos es importante cuando diseñamos evaluaciones y para tomar una decisión sobre el estudiante. En este sentido, que el estudiante apruebe todos los exámenes con cien puntos, no será suficiente para afirmar que el estudiante logró la competencia, a menos que podamos defender que dichos exámenes miden la competencia en un nivel cognitivo esperado.

  • La evaluación no tiene que ser un acto punitivo, sino uno útil para todos los actores educativos: ¿Conozco y comuniqué la consecuencia de la evaluación?

La evaluación no debe ser un acto punitivo; por el contrario, la evaluación es un recurso para mejorar y certificar el logro de algo. En ese sentido, el estudiante debe estar consciente de que la evaluación es la oportunidad para demostrar lo que ha aprendido e identificar aquello que aún no. Cuando las evaluaciones no se diseñan bajo ese enfoque, los estudiantes toman los exámenes como castigos y rara vez identifican lo que deben mejorar. A pesar de que cierto nivel de estrés interactúa con el sistema hormonal de las personas previo a un examen y esto puede provocar el uso óptimo de la memoria de trabajo, también un nivel de estrés nocivo puede provocar que el estudiante no sea productivo para elaborar una evaluación (Oakley, Rogowsky, & Sejnowski, 2021). De manera que tener la claridad de las expectativas y consecuencias de la evaluación, así como asociarla con las oportunidades para aprender lo que se evaluará, permitirán obtener datos óptimos de la evaluación.

  • La evaluación tendrá error de medición: ¿Es suficiente esta evaluación para que mis estudiantes demuestren lo que saben hacer?

Es importante reconocer que la evaluación tendrá un error de medición. A pesar de que nuestra evaluación sea de alta calidad, factores que no podemos controlar afectarán que el estudiante pueda demostrar lo que sabe. Los errores de medición están relacionados con muchas cosas, pero principalmente con el número de oportunidades que tiene un estudiante para demostrar lo que sabe o puede hacer. De esa forma, mientras más oportunidades le demos al estudiante de demostrar lo que sabe, mejor será nuestra medición de su capacidad, habilidad o competencia. De esta cuenta, las evaluaciones cortas y frecuentes son una buena práctica para lograr capturar la capacidad de un estudiante. 

  • Evaluar es un proceso sistemático: ¿Es este el momento idóneo para evaluar?

Es importante tener en cuenta que las evaluaciones cumplen los propósitos que hemos recitado desde que nos graduamos del magisterio. El arte está en encontrar el momento idóneo en que el estudiante esté listo para demostrar por sí mismo que ha aprendido algo.  A veces deseamos evaluar al final de una unidad, otras al inicio. A veces deseamos evaluar después de un feriado prolongado, otras al terminar de practicar una habilidad específica. A veces queremos que los estudiantes evalúen su propio aprendizaje, otras veces propiciamos evaluación de pares.  Dicho de otra forma, La evaluación es un proceso sistemático que está integrado con la enseñanza. No es arbitrario.

Esta entrada es una invitación para los docentes se cuestionen las prácticas de evaluación que implementan. Antes de evaluar a sus estudiantes pregúntense: ¿Cómo van a interpretar los resultados de una evaluación? ¿Comprenden lo que sus estudiantes deben saber o poder hacer? ¿Cuándo tienen que poder hacer aquello que van a evaluar? ¿Conocen y comunican la consecuencia de la evaluación a sus estudiantes y sus padres? ¿Es suficiente una evaluación para que sus estudiantes demuestren lo que saben hacer? ¿Es este el momento idóneo para evaluar? Si tenemos claridad en las respuestas de estas preguntas, muy probablemente estemos evaluando responsablemente y no caeremos en los absurdos que describí al inicio.

Categories
Aprendiendo sobre evaluación

Resoluciones de año nuevo y la evaluación de competencias

Pronto inicia el año escolar en Guatemala. En este nuevo ciclo, las educadoras y los educadores del país tenemos una nueva oportunidad para lograr ciudadanos competentes en tantas áreas, de las cuales en algunas nos hemos quedado rezagados como consecuencia de la pandemia.

Una competencia abarca habilidades, capacidades y conocimientos que un estudiante debe cumplir con eficiencia para desempeñarse en un campo; por ejemplo, una persona puede ser hábil para cocinar, pero no ser un chef o cocinero competente.   Un niño de primaria puede tener habilidad para recitar e incluso copiar el abecedario con letra legible y, sin embargo, no ser un lector o escritor competente. Cuando una persona logra la competencia, se desempeña bajo unos estándares mínimos que la certifican como competente en una profesión, una especialidad o un área básica, como sucede en la primaria.  

Este inicio del primer año presencial después de la pandemia es la mejor oportunidad para determinar qué competencias deseamos recuperar o bien lograr en los estudiantes de todos los niveles y grados.  Cualquiera que sea la expectativa, es preciso asegurarnos de que, primero, comprendamos qué significa una competencia; segundo, de que plasmemos en papel la o las competencias que deseamos lograr de forma tan clara que cualquier persona involucrada, ya sea estudiante, padre de familia, director o supervisor, pueda comprender qué desempeño se espera del estudiante; tercero, y sobre todo, de que podamos recolectar evidencia adecuada para afirmar que una persona es competente después de haber otorgado las oportunidades de aprendizaje adecuadas.

La redacción de una competencia puede darse de diferentes formas. Yo son afín a la redacción que tiene tres elementos: 1) un verbo, 2) un sustantivo y 3) un estándar mínimo.  Empezaremos con un ejemplo concreto.   Un niño de tercero primaria debe leer un texto acorde para el grado de forma fluida. En esta competencia, el verbo, leer, indica qué debe hacer la persona.  Luego, el sustantivo, texto acorde para el grado, indica en qué se aplica la acción del verbo, en este caso leer. En gran medida, el sustantivo implica determinar la complejidad cognitiva que posee el objeto al cual se aplicará la acción; por ejemplo, los textos pueden ser complejos por tres elementos: 1) su longitud, 2) su complejidad sintáctica y 3) el vocabulario.  Cuando pensamos en esta competencia para tercero primaria, elegimos textos con una longitud, una complejidad sintáctica y un vocabulario específicos; si se tratara de un texto para primer año de universidad, elegiríamos un texto con longitud, complejidad sintáctica y vocabulario diferentes a las de tercero primaria.  Finalmente, al redactar una competencia, también elegimos el estándar mínimo de logro, es decir que al leer un texto de tercero primaria debemos pensar en una medida que indique la fluidez mínima aceptable para el grado, lo que también haríamos al asignar una noticia para un estudiante de primer año de la universidad.

Esta propuesta de redacción de una competencia es ventajosa porque permite elegir las tareas y evaluaciones para evidenciar que una persona la ha logrado o está en camino de lograrla. En ese sentido, para evaluar que un estudiante de tercero primaria lee con fluidez bastará con solicitarle que lea un texto con la complejidad que hayamos determinado y medir el número de palabras por minuto.  

Aprovechando que estamos iniciando el año nuevo, sugiero que nuestras resoluciones de año nuevo se redacten de forma similar. Por ejemplo, bajar 15 libras a través de ejercicio en lugar de metas más ambiguas como adelgazar o hacer ejercicio. Aquí hay otros ejemplos con la misma estructura de redacción de competencias:

Tabla 1: Ejemplos de competencias y evaluaciones

CompetenciaEvaluación
Plantear un diseño metodológico pertinente con la pregunta de investigación Diseño metodológico
Redactar una noticia con base en fuentes verificables  Noticia 
Elaborar un reporte sobre una entrevista psicológica Reporte de entrevista 

Para lograr una competencia, el estudiante deberá tener oportunidades de desarrollarla.  Este proceso puede ser producto de uno o varios cursos.  Dicho de otra forma, es difícil observar el logro de una competencia en la primera clase o en la segunda. Es más, algunas competencias tomarán años en lograrse. 

Los docentes organizan un conjunto de situaciones pedagógicas para lograr que sus estudiantes logren una competencia.  Algunas de estas situaciones pueden ser: entregar instrucciones explícitas sobre un tema, elegir ejercicios de práctica, propiciar trabajos cooperativos, entre otros.  Sin duda esa organización de actividades será más eficiente cuando se parta de una definición clara de la competencia y de la evaluación o expectativa de logro de la misma.  

Por ese motivo, en el programa de un curso o en la planificación anual, el docente debe evidenciar el proceso que una persona debe cursar para llegar a ser competente. Asimismo, en su planificación el docente evidencia este proceso a través de la ponderación de cada situación pedagógica que diseña, así como de la retroalimentación que otorga al estudiante sobre su desempeño.   

Hablemos de ponderación y retroalimentación con este ejemplo.  Para que una persona logre escribir una noticia, deberá primero leer y recibir instrucción de un experto sobre cómo se escriben las noticias. El experto en un contexto educativo con frecuencia es el profesor o instructor. Luego observará a dicho experto escribir noticias.  El docente otorgará varias asignaciones para que el estudiante practique cómo se escriben las noticias y otorgará retroalimentación al estudiante sobre cada intento.  Finalmente, el estudiante escribirá una noticia con la que demuestre a su profesor o a su empleador que logró la competencia de redactar noticias.

En este proceso de desarrollo de una competencia, la evaluación y la calificación de las tareas del curso deben ser congruentes con el ciclo en el que se inicia siendo inexperto, luego se avanza en las habilidades y capacidades, hasta llegar a ser competente.   Así, cuando el estudiante se inicie en la redacción de noticias, el profesor ponderará las tareas con un punteo modesto.  Conforme el estudiante practique, el docente aumentará el punteo para mostrar la expectativa de mejoría. Finalmente, el docente otorgará la mayor puntuación a la noticia con la que el estudiante demostrará que logró la competencia.  La Tabla 2 muestra un ejemplo de esta distribución del punteo hacia el proceso de lograr una competencia.

Tabla 2. Ejemplo de asignaciones de curso y su punteo

Asignaciones del cursoPunteo
Participación en clase sobre explicación para elaborar una noticia5
Práctica 1. Elaborar noticia 10
Práctica 2. Elaborar noticia20
Práctica 3. Elaborar noticia 25
Proyecto final40

Como se puede observar, no se otorga la misma puntuación a todas las tareas, sino que se otorga el mayor puntaje a aquella con la cual se demostrará el logro de las competencias.  Esto tiene como ventaja que pueda otorgarse retroalimentación al estudiante durante sus prácticas para que pueda mejorar durante el curso.

Como habrán intuido, el elemento clave de este proceso es la retroalimentación.  En aquellas situaciones pedagógicas en las que el docente otorgue baja puntuación otorgará, a su vez, mayor retroalimentación.  Esto dará el mensaje al estudiante de que aún no es competente y que necesita seguir practicando.  Además, la retroalimentación debe ser congruente con el estándar mínimo claramente definido en la competencia. Por otro lado, la situación pedagógica (proyecto o examen final) que tiene la mayor ponderación será la oportunidad para el estudiante de demostrar que logró la competencia.  Esto no significa que el docente no otorgue retroalimentación, pero esta será una evidencia de que, después de un proceso donde hubo suficientes oportunidades para aprender, el estudiante aún puede mejorar su desempeño hasta llegar a ser experto.

Espero con este texto aportar a su planificación de este nuevo año escolar. Espero que las educadoras y los educadores del país podamos definir competencias claras que deseemos que nuestros estudiantes logren al finalizar el ciclo.  También es mi deseo que la evaluación les sirva como herramienta para evidenciar que, efectivamente, sus estudiantes serán competentes en áreas nuevas. Finalmente, deseo que superemos los rezagos que nos dejó la pandemia. Sin embargo, lo anterior no sucederá hasta que aclaremos, escribamos y comuniquemos qué queremos lograr este 2023.