Cómo se evaluó a los maestros

El Times utilizó una metodología estadística llamada análisis de valor agregado para hacer un cálculo de la eficacia de los docentes de Los Ángeles. Este tipo de análisis se desarrolló en la década de 1970, pero hace poco ha ganado popularidad. Esto ha suscitado controversias en torno a la aplicación del análisis de valor agregado a la evaluación de docentes.

¿Qué es el análisis de valor agregado?

El análisis de valor agregado calcula la eficacia de un maestro a base de los resultados que obtienen sus alumnos cuando rinden examen. El desempeño de cada alumno en el pasado se usa para proyectar su desempeño futuro. La diferencia entre el resultado real y el resultado proyectado es el “valor” calculado que el maestro sumó o restó del rendimiento del estudiante durante el año lectivo. La calificación de un maestro representa el promedio de sus resultados después de haber trabajado con un número estadísticamente confiable de alumnos.

¿Afecta la calificación de un maestro el hecho de que trabaje con alumnos de bajo rendimiento, con poco dominio del inglés u otra dificultad de aprendizaje?

No. El valor agregado mide el progreso de cada niño comparándolo con el desempeño de ese mismo niño en el pasado. Este tipo de análisis compensa así por la diferencia entre los alumnos de alto y bajo rendimiento.

¿No tienen defectos los exámenes estandarizados en los que se basa el análisis de valor agregado?

Ningún examen de aptitudes escolares es perfecto. Muchas veces los puntajes brutos reflejan el ámbito socioeconómico en el que se desenvuelve el niño más que lo que aprendió en clase. Pero el análisis de valor agregado resuelve una de las fallas más serias del uso actual de los puntajes brutos que arrojan los exámenes. Lo hace al comparar el rendimiento de cada estudiante con el rendimiento que tuvo ese mismo alumno en años anteriores, en lugar de compararlo con lo logrado por otros niños con antecedentes distintos.

¿Qué ocurre si un alumno tiene un mal año debido a problemas de conducta o dificultades en el hogar? ¿Afecta eso la calificación de un maestro?

Lo más probable es que no lo afecte. El Times sólo calificó a maestros que hubieran tenido 60 alumnos o más, por lo que el puntaje individual de un alumno no alteraría significativamente la calificación de su maestro.

¿Por qué decidieron publicar las calificaciones de los maestros?

El maestro es el factor escolar de más peso en la educación de un niño. Pero hasta ahora la información objetiva que se brinda a los padres acerca de la eficacia docente ha sido muy escasa. Hace años que el Distrito Escolar Unificado de Los Ángeles cuenta con los datos para calcular la eficacia de los maestros, pero no lo ha hecho.

¿Cuáles son algunas de las limitaciones del análisis de valor agregado?

Aún no hay consenso entre los investigadores acerca de la fiabilidad de varios modelos estadísticos que se usan en el cálculo del valor agregado. Cada modelo tiene una tasa de error inherente que es difícil de medir. Puede influir en los cálculos de valor agregado hechos tales como el que la asignación de estudiantes a una determinada clase no se haga al azar y que los alumnos cambien de clase durante el año. También, en el caso de docentes que trabajan en equipo, el análisis puede arrojar resultados imprecisos. Sin embargo, incluso los detractores de este tipo de análisis reconocen que es inmensamente superior al actual sistema de evaluación en el que los directores emiten juicios subjetivos de los maestros. Se basan en una visita breve y anunciada a la clase cada cierto número de años.

Se sabe que los puntajes en los exámenes decaen en tercer grado. ¿Eso afecta el puntaje de valor agregado de los maestros de tercer grado?

No. Primero se califica a los maestros en relación con sus colegas que enseñan el mismo grado. Por eso la metodología toma en cuenta las diferencias en los puntajes de los exámenes que ocurren en los distintos grados. Aunque los niños de tercer grado tienden a sacar puntajes más bajos que los niños de segundo y cuarto grado en el Examen Estandarizado de California (CST), esto no redunda en una desventaja para los maestros de tercer grado.

¿Se puede usar el análisis de valor agregado para evaluar a todos los maestros?

No. Sólo se puede usar para los maestros que enseñan una materia de la cual se rinde examen a fin de año, siendo en este caso inglés y matemática. Para compensar esta limitación, algunos distritos dan a los maestros cuya materia no rinde examen un puntaje basado en el progreso de toda la escuela. Pero, por lo general, representa una parte muy pequeña de la evaluación total de esos maestros.

¿Por qué la base de datos sólo incluye a los maestros que enseñan de tercero a quinto grado en Los Ángeles?

El Times sólo analizó a los maestros de escuela primaria del distrito de Los Ángeles, el segundo más grande del país. El Times publicará en unos meses calificaciones similares para los maestros de matemática e inglés de grados superiores. No se puede obtener en la actualidad puntajes que incluyan a los maestros de todo el estado ni de otros distritos.

¿Esto me sirve para comparar al distrito de Los Ángeles con otros distritos?

No. La metodología permite comparaciones relativas en todo el distrito, pero no es una medida absoluta del rendimiento.

¿Hay que tener un doctorado para entender los conceptos estadísticos que sustentan el análisis de valor agregado?

Cualquiera puede comprender los principios básicos, pero hay ciertas cuestiones técnicas que son complejas. Este problema de complejidad preocupa tanto a los detractores del análisis de valor agregado como a sus partidarios. El Times ya ha publicado en la red un informe técnico en inglés que detalla la metodología y los resultados. Publicaremos información adicional para explicar estos conceptos al público general.