Categories
Reflexiones sobre evaluación

Elementos para mejorar la calidad educativa

En los últimos 15 años, me he dedicado a construir datos para tomar el pulso a los aprendizajes de los estudiantes guatemaltecos. Mi rol fue construir datos que les permitieran a los implementadores de intervenciones educativas demostrarles a las partes interesadas (gobiernos, donantes, beneficiarios) las mejoras que, presumiblemente, eran producto de la inversión y la implementación eficientes. Durante estos quince años, leí varios libros y muchos artículos académicos sobre el arte de mejorar la educación y la salud de los países en vías de desarrollo. Un ejemplo fue el libro Learning to Improve de Bryk, Gomez y Grunow. Este libro es brillante al mostrar lo que implica mejorar y cómo se usan los datos para ello. 

Con certeza puedo decirles que mejorar no es una cuestión de buenas intenciones, sino de planificación detallada y basada en evidencia, así como de una implementación fiel a dicha planificación. Esto es cierto para todos los aspectos en la vida que se deseen mejorar. Un ejemplo común de mejora personal es cambiar la dieta personal, que, a su vez, mejore nuestra salud.  Para mejorar nuestra dieta y salud, se requiere, como mínimo, una planificación basada en el diagnóstico de un médico o de un nutricionista y de sostener fielmente la dieta sugerida por el profesional por un tiempo determinado.  No me dejarán mentir al decir que, a pesar de la fidelidad de implementación de una dieta e incluso observando pérdidas de peso, las dietas no funcionan igual para todas la personas.  Por ello, siempre es valioso contar con el diagnóstico y el criterio de un profesional de salud que conecte las variables necesarias para saber por qué perdemos o no perdemos peso. 

Igual que con el mundano ejemplo de la dietas, también existen innumerables libros sobre evaluación e investigación educativas que, como si fueran manuales, nos dicen la receta de todas las posibilidades para implementar y evaluar intervenciones que apuntan a mejorar la calidad educativa.  Sin embargo, rara vez los libros y los artículos contienen criterios para tomar decisiones cuando se diseña un proyecto educativo con este fin. Cuando digo proyecto educativo me refiero a uno de cualquier índole: uno grande, como los que se implementan a nivel nacional, o uno de menor escala, como los que se implementan en instituciones educativas.

Antes de introducir los criterios para tomar decisiones de diseño de un proyecto educativo con objetivos de mejorar calidad educativa, es imprescindible hablar del significado de mejorar, que quiere decir lograr un cambio positivo. Algunos sinónimos de mejorar son progresarascender de categoríaaumentarperfeccionarautomatizaradelantar, entre otros. En términos estadísticos, la mejora se evidencia al mover una población al lado positivo de la curva. Menciono la definición de mejora en términos estadísticos porque, como he discutido anteriormente, la mejora debe poder observarse y demostrarse; de lo contrario, perderemos el tiempo al creer que la dieta está funcionando, cuando en realidad no lo hace o, peor aún, pueda estar dañando nuestra salud.

La estadística y los datos permiten a los implementadores evidenciar que efectivamente el proyecto educativo ha provocado una mejora en la calidad educativa. En intervenciones educativas, por lo general se analizan datos cuya varianza permite demostrar ya sea progreso, cambios entre categorías, aumento de porcentajes o adelanto de un grupo con respecto de otros. Sin embargo, demostrar estas mejoras con datos estadísticos no pasa por arte de magia. Requiere de capturar los datos de las variables adecuadas, así como de conectar las variables de acuerdo con el diseño de la intervención para que los resultados sean válidos en términos de su interpretación.  Realizar esta labor durante estos quince años me ha dejado algunas lecciones que comparto a continuación.

  1. Elegir el resultado por mejorar de forma tan específica como sea posible. Por lo general, cuando iniciamos un proyecto educativo, la intención es mejorar habilidades básicas como parte fundamental de mejorar la calidad educativa. Entonces, tenemos intención de mejorar lecturamejorar matemática o mejorar escritura. Sin embargo, estos resultados son difíciles de traducir en datos si no se especifican. Trataré de explicarme usando la lectura como ejemplo. El aprendizaje de la lectura es un continuo que va desde desarrollar conciencia fonológica y comprensión oral hasta comprender textos de diferentes tipos, pasando por la fluidez. Si el objetivo en general es mejorar la lectura, puede significar mejorar todas las destrezas del continuo o solamente alguna, dependiendo del grado o la fase en el que se encuentre el estudiante. Por ejemplo, en preescolar, probablemente mejorar lectura signifique mejorar la comprensión oral; en segundo de Primaria, mejorar la fluidez; y en tercero, mejorar la comprensión lectora. Es decir, al elegir el resultado, es importante granularlo tanto como sea posible tomando en cuenta la fase en el continuo de desarrollo de la habilidad. Para decidir lo anterior, es necesario conocer teorías de aprendizaje de cada habilidad, idealmente desde la neurociencia y no desde la didáctica. 
  • Construir la medición apropiada de dicho resultado. Lamentablemente, con los años he podido observar que se toma muy a la ligera la medición de los resultados en intervenciones educativas, cuando es un aspecto determinante para demostrar la mejora o el estancamiento. Una medición apropiada es la que es válida y confiable. La confiabilidad está altamente asociada con el número de ítems en una prueba. Dicho de otra forma, un estudiante debe tener suficientes oportunidades para demostrar su habilidad y ser capaz de obtener resultados similares cada vez que se enfrente a dichas oportunidades. Además de ser confiables, los resultados de una medición deben interpretarse tal como se pretendía que fueran interpretados. Así, si el objetivo era medir la fluidez lectora, los resultados deben ser interpretados como fluidez y no  como comprensión lectora, por ejemplo. Este criterio está relacionado con la planificación de la estructura de datos que se usarán para medir las variables de una intervención.  Algunas variables constituyen una medición de una habilidad, mientras otras son factores asociados a la intervención que afectarán la habilidad.  En ambos casos es preciso considerar su medición de forma adecuada. 
  • Alinear la medición con el diseño de la evaluación de resultados. La medición de un resultado está altamente relacionada con el diseño de las evaluaciones en los proyectos. Por lo general, las evaluaciones siguen dos caminos: 1) evaluación transversal y 2) evaluación longitudinal. En el transversal, comparamos los resultados de dos grupos en un punto determinado de la intervención; por ejemplo, al final se pueden comparar el grupo control con el de intervención. Se espera que el grupo de intervención tenga mejores resultados que el control. Por otro lado, en el diseño longitudinal, se mide la habilidad de una misma cohorte a través del tiempo y se espera que los estudiantes aumenten su habilidad de un punto del tiempo a otro. Puede haber combinaciones de ambos diseños. Lo importante es comprender que los estudios longitudinales tienen algunas ventajas para mostrar mejoras con respecto de los transversales. Una ventaja es que, al controlar la varianza intragrupo, los efectos de mejora son más visibles. Mientras que, en los diseños transversales, los efectos de un grupo sobre otro son menos visibles, particularmente cuando las intervenciones toman tiempo en consolidarse.
  • Considerar el enfoque de la intervención en el diseño de la evaluación. El enfoque de intervención, ya sea uno enfocado en escuelas específicas o en regiones, o bien el que se implementa de arriba a abajo de una forma más directiva, contrario al que se implementa desde el desarrollo de capacidades del beneficiario, afectará la forma de mostrar las mejoras en una población. Por lo general, las mejoras se observan más cuando se interviene en escuelas específicas. Cuando las intervenciones son a nivel sistémico, las intervenciones pueden diluirse o contaminarse por otras intervenciones en la misma región. De esta forma, es importante considerar que las intervenciones a gran escala tendrán efectos menos pronunciados que las intervenciones a menor escala. 
  • Elegir un resultado que impacte en la calidad de vida de un niño. Finalmente, quizá lo más importante es elegir un resultado que impacte en la calidad de vida de un beneficiario. Muchas piezas de las intervenciones educativas solo constituyen insumos o productos que impactan el resultado; por ejemplo, otorgar libros de texto es un producto que impacta en el aprendizaje, pero que no constituye el resultado en sí mismo. El resultado en educación siempre debe estar relacionado con aprendizajes. Sin embargo, dichos aprendizajes pueden ser tan básicos que, aunque tengamos grandes efectos, no impactemos la calidad de vida de las personas. 

Estas lecciones surgieron de mi experiencia en el trabajo de campo a nivel internacional, a través del que colaboré activamente en el desarrollo de mi propio país. Asimismo, las lecciones fueron producto del continuo proceso de reflexión de libros especializados y de formación constante.  Por tanto, me atrevo a recomendar que, al diseñar un proyecto educativo, se consideren los criterios anteriores. Esto ayudará a que se construya una política educativa o una política escolar basada en evidencias, no en buenas intenciones. Además, las decisiones tomadas con base en estos criterios permitirán construir datos robustos y la varianza necesaria para demostrar verdaderas mejoras en los resultados educativos.  Al final del día, no se trata de «afirmar» que algunos los estudiantes leen mejor o que resuelven mejor los problemas matemáticos. No se trata de «contar» lo gratificante que fue la experiencia de implementación de un proyecto educativo. Se trata de «demostrar» que los ciudadanos de un país han progresado y que ese progreso ha impactado o impactará en una mejor calidad de vida.

En esta página, podrán encontrar los servicios de mejoramiento de la calidad educativa que ofrezco actualmente a instituciones educativas.  Además, pronto podrán encontrar mediciones de habilidades básicas para quienes quierean implementar evaluaciones en instituciones educativas y que, a su vez, deseen mejorar aprendizajes de los estudiantes con base en evidencia.

Categories
Reflexiones sobre evaluación

Lo que se evalúa, se enseña

Si les preguntamos a padres de familia o, incluso a adultos, para qué estudian o para qué desean que sus hijos estudien, seguramente escucharemos respuestas como las siguientes: «para que mis hijos tengan un buen trabajo», «para que puedan tener buenos sueldos y no les toque tan duro como a nosotros», «para que tengan un mejor empleo», «para que puedan mantener a sus familias», etc. Ciertamente, la educación está asociada con obtener los tan añorados «buenos empleos». 

La relación entre las escuelas y el mundo laboral está en que la escuela es la responsable de certificar que los ciudadanos han obtenido las competencias mínimas en las habilidades básicas para que, al salir de la escuela, puedan continuar sus estudios en oficios o profesiones específicas o bien aprender las tareas estipuladas para los trabajos que solamente requieren un nivel básico. Seguramente, algunos de ustedes estarán pensando en aquellos ejemplos de personas que han obtenido buenos empleos por sus conexiones con personas influyentes y poderosas y no tanto por su nivel de competencia para el puesto. Sin embargo, estas variables solamente opacan la relación entre la educación y el trabajo porque, a menos que la persona no trabaje, se enfrentará con las demandas del puesto conlleve. 

A pesar de la fuerte relación entre el mundo laboral y la educación, el tema de certificación de competencias se toma a la ligera en nuestra región. En muchos países latinoamericanos, el título universitario pesa más que las capacidades de una persona para ejercer un puesto. Es decir, confiamos plenamente tanto en el médico, maestro, psicólogo o nutricionista que se esforzó y tuvo las mejores calificaciones, como en el que obtuvo el título sin mayor esfuerzo, pues no tenemos forma de saber cuánto sabe o puede hacer un profesional. Lo único que sabemos es que tiene el título de doctor, licenciado, magister, etc. Sin embargo, en los países del primer mundo, los profesionales, y sobre todos aquellos de quienes depende la vida de otro ser humano, deben certificarse para laborar. Esta certificación ocurre con alguna frecuencia para dar cierta garantía a los usuarios de que los profesionales se actualizan constantemente. 

Asimismo, para acreditar estas certificaciones, las juntas certificadoras llevan a cabo un proceso riguroso de recolección de evidencia sobre el nivel de competencia de una persona. Con el mismo propósito, en las escuelas, los docentes también suelen recolectar evidencia todos los días para informarse sobre el nivel de competencia de sus estudiantes en las diferentes áreas, así como para colocar una calificación que certifique la aprobación del curso. Sin embargo, a diferencia de las juntas certificadoras, los docentes rara vez pensamos en la calidad de las evidencias que preparamos o elegimos para certificar.

Muchas veces, elegimos actividades porque son «bonitas», «creativas» y «diferentes», pero lo ideal es elegir evidencias que representen una oportunidad para que los niños, jóvenes y adultos demuestren su nivel de comprensión sobre un tema o el nivel de competencia para efectuar algo. Evans y Thompson (2020) sugieren tener las siguientes preguntas en mente para diseñar evidencias pertinentes y válidas que nos permitan certificar las competencias de los estudiantes:

  • Pregunta 1: ¿Qué queremos certificar sobre lo que los estudiantes saben y pueden hacer? 

Lo que deseamos certificar constituye nuestro objetivo de enseñanza. Los objetivos son afirmaciones sobre conocimientos, habilidades y comportamientos que deseamos que los estudiantes logren en determinado lapso. Realizar este listado requiere un examen cuidadoso y desempacar las «grandes ideas» de la disciplina o los conocimientos esenciales que queremos que logren los jóvenes en cada grado. Por ejemplo, el objetivo de este grado es que los estudiantes sumen fracciones en un contexto de mundo real

  • Pregunta 2: ¿Qué evidencia le permitiría hacer esa afirmación?

Evans y Thompson (2020) afirman que este paso es como «un experimento mental en el que se necesita describir qué aceptará como prueba de la afirmación sobre el conocimiento y las habilidades de los estudiantes» o dicho de otra forma «qué lo convencería de que el estudiante demostró los conocimientos y habilidades descritos en los objetivos de aprendizaje». Por ejemplo: responder preguntas literales sobre un texto apropiado[1] de sexto grado de primaria. Lo importante es pensar en las características clave de esta evidencia. En nuestro ejemplo, la clave está en el texto que leerán los niños.

  • Pregunta 3: ¿Qué proyectos, tareas, actuaciones o preguntas aportarán esa evidencia?

Es importante notar que NO debemos empezar con las preguntas, tareas o indicaciones y después tratamos de adaptar el objetivo de aprendizaje. A menudo, hacerlo así da como resultado la creación de una tarea o ejercicio que no genera evidencia de los objetivos de aprendizaje (Evans & Thompson, 2020). Es solo hasta que tenemos claros el objetivo y la evidencia cuando debemos pensar qué tipo de productos y/o procesos esperamos ver de los estudiantes que han dominado el conocimiento y las habilidades descritas en los objetivos de aprendizaje. 

También es importante que al pensar en las preguntas se tenga en cuenta su complejidad cognitiva. No se trata de que las preguntas sean difíciles sino cognitivamente complejas; por ejemplo, ¿quién era la esposa del líder de la independencia, Don Pedro de Molina? es una pregunta difícil, mas no compleja cognitivamente. Por el contrario, ¿cuál es la definición de independencia? es una pregunta con un grado de complejidad mayor. Nótese que ambas preguntas corresponden a un mismo contenido.

La complejidad cognitiva se refiere a «los procesos que tienen lugar en la mente del alumno (por ejemplo, recordar un hecho básico versus sintetizar a través de múltiples fuentes o evaluar una afirmación usando múltiples piezas de evidencia)» (Evans & Thompson, 2020). Esto ocurre cuando los estudiantes hacen conexiones en el aprendizaje anterior/reciente y consolidan su aprendizaje (colocan el aprendizaje en la memoria a largo plazo) o cuando los estudiantes aplican lo que han aprendido en situaciones nuevas o únicas (es decir, transferencia y razonamiento complejo) (Evans & Thompson, 2020). Una vez el profesor dice cómo hacer una tarea, esta pierde la complejidad.

Works Cited

Evans, C. M., & Thompson, J. (2020). Summative Classroom Assessment . Dover, New Hampshire, USA.


[1] La palabra apropiado puede ser ambigua. En algunos casos es necesario encontrar una medida. Por ejemplo, en este caso puede ser el lexile. El lexile es una medida de la complejidad de un texto.