El poder de un ojo entrenado

OUna de las mejores maneras de juzgar su propio trabajo es practicar con alguien más. Los maestros de artes del lenguaje en inglés emplean este truco cuando involucran a los estudiantes en un trabajo grupal que implica editar ensayos personales y trabajos de investigación en sus aulas. Cuando los estudiantes colaboran para aplicar un conjunto de criterios para una escritura de calidad en el trabajo de sus compañeros de clase, obtienen una mejor comprensión de cómo se ven esos criterios en las composiciones reales. Eso, a su vez, ayuda a mejorar su propio trabajo porque fortalece su escritura y autoedición.

Los educadores obtienen un beneficio similar cuando se unen para analizar el oficio de enseñar. Al comparar las notas de observar la misma lección, deben explicar la importancia de lo que anotaron en base a una definición común de enseñanza efectiva. En un esfuerzo por comprender la base de los juicios de cada uno, la discusión resultante agudiza su comprensión de esa definición común y los convierte en mejores analistas de su propia práctica.

Un número creciente de maestros y directores se han involucrado en tales ejercicios en los últimos años, en parte como un subproducto del impulso para una mayor consistencia en la evaluación del maestro. La esencia de la mayoría de los sistemas de evaluación es una rúbrica que define aspectos importantes de la enseñanza (p. Ej., Técnicas de discusión y gestión del aula) y que, para cada aspecto, describe las diferencias entre una práctica más y menos efectiva (p. Ej., Hacer preguntas abiertas en lugar de pedir solo el recuerdo de los hechos). La capacitación de observadores para aplicar una rúbrica de observación según lo previsto requiere ejemplos de enseñanza en diferentes niveles de desempeño.

¿Cómo podemos identificar tales ejemplos? Al involucrar a los educadores en un proceso de colaboración para analizar videos de enseñanza. Alternativamente llamado "codificación maestra", "calificación maestra", "calificación previa" o "calificación de anclaje", el proceso es análogo al empleado para calificar los "documentos de anclaje" utilizados para capacitar a los evaluadores de la escritura de los estudiantes para evaluaciones estandarizadas. Para los documentos de referencia, varios educadores revisan el mismo ensayo estudiantil y exponen su razón por la cual merece un puntaje particular, basado en un conjunto común de criterios. Esos juicios luego se comparan y, si es necesario, se reconcilian para producir una razón clara para la calificación del ensayo. Con esa razón, el ensayo se puede utilizar para ayudar a los nuevos evaluadores a comprender el proceso de calificación.

Al analizar videos, a los que me refiero a lo largo de este artículo como codificación maestra,* múltiples educadores pueden aprender a convertirse en observadores expertos al revisar el mismo video de enseñanza y al calificar la instrucción observada en función de su comprensión de una rúbrica de observación (para obtener más información sobre cómo funciona este proceso, consulte la Figura 1 a continuación). Cuando esos juicios independientes se comparan y se concilian, el resultado es una fuerte justificación de por qué el video demostró uno o más aspectos particulares de la enseñanza y en niveles particulares de efectividad. Con esta justificación, o "códigos", el video se puede utilizar para ayudar a otros observadores en capacitación (ya sean maestros de aula, directores o administradores de la oficina central) a reconocer las acciones del maestro y el alumno en una lección que sea más relevante para evaluar cada parte de una rúbrica.

Tenga en cuenta que el objetivo de la codificación maestra no es evaluar al maestro en el video con fines de responsabilidad. Es identificar momentos en una lección que ilustran prácticas particulares en niveles de desempeño particulares; de hecho, los videos codificados por maestros utilizados en la capacitación de observadores generalmente vienen con un descargo de responsabilidad de que los segmentos se seleccionan para tal ilustración y no deben verse como representativos del rendimiento general del maestro presentado. Como otra salvaguarda, los codificadores maestros generalmente no califican videos de maestros que conocen, ni comparten calificaciones, excepto con fines de capacitación.

Codificación maestra en acción

Aprendí sobre codificación maestra a través de mi trabajo con el proyecto Measures of Effective Teaching (MET), un estudio de tres años de métodos de evaluación de educadores que involucró a casi 3,000 maestros voluntarios en seis distritos urbanos, financiado por la Fundación Bill y Melinda Gates. Como escritora sobre educación con la tarea de ayudar a explicar el proyecto, pasé mucho tiempo conociendo las diferentes herramientas de observación y lo que se necesita para usarlas de manera confiable. Aprendí que la confiabilidad es en gran parte el resultado de la capacitación adecuada, y la capacitación adecuada hace uso de videos con codificación maestra.

Durante mi tiempo con el proyecto MET, tuve la oportunidad de ver la codificación maestra en acción, gracias a una invitación de la Federación de Profesores y Profesionales de la Salud de Rhode Island (RIFTHP). RIFTHP, afiliado de la Federación Estadounidense de Maestros, me permitió unirme a una de una serie de sesiones de trabajo que había organizado para reunir a maestros y administradores de aulas de todo el estado con el fin de codificar videos usando una rúbrica de observación que el sindicato estatal de maestros había desarrollado. Esto fue parte de un esfuerzo mayor que incluyó a los Maestros Unidos del Estado de Nueva York (NYSUT), y que fue apoyado por una subvención a la AFT a través del programa del Fondo de Inversión en Innovación (i3) del Departamento de Educación de los Estados Unidos.

Mi tiempo en Rhode Island me demostró que, si bien los videos de enseñanza codificados por maestros son esenciales para capacitar a los maestros para observar el trabajo de sus compañeros, el proceso de producirlos es en sí mismo una forma altamente valorada de aprendizaje profesional para los educadores que codifican. Para ellos, la codificación maestra representa una rara oportunidad para participar en un análisis disciplinado y colaborativo de la instrucción real. Muchos educadores que han participado en la codificación maestra dicen que la experiencia los convierte en un mejor educador. Los maestros de clase dicen que los hace mejores en la autoevaluación, y los administradores dicen que les ayuda a proporcionarles a los maestros el tipo de retroalimentación específica basada en evidencia que puede ayudarlos a realizar cambios en su práctica.

"Te hace pensar mucho más en la rúbrica, lo que te hace pensar en practicar mucho más profundamente", dice Katrina Pillay, subdirectora de una escuela secundaria en Cranston, Rhode Island. Mientras desempeñaba una función previa como maestra asignada al comité de planificación de evaluación de su distrito, Pillay participó en un proyecto de codificación maestra organizado por RIFTHP. La experiencia, dice, hizo que la rúbrica en la que trabajaban fuera mucho más significativa, no solo para ella, sino también para sus compañeros codificadores maestros, y ahora para los maestros que ella apoya directamente. "Le permite verbalizar las expectativas de los maestros y hacerlo realidad para la gente".

En la sesión de trabajo organizada por RIFTHP y llevada a cabo durante más de tres horas después de la escuela un día, los participantes trabajaron en parejas para revisar videos que mostraban minutos de instrucción 10 – 20, comparar notas sobre lo que vieron y redactar razones claras de por qué el video ilustraba Aspectos particulares de la enseñanza realizada a niveles particulares. Guiando su trabajo fue una plantilla de una página, con espacio para observar cada aspecto de la enseñanza observado, las acciones del maestro y del alumno observadas que fueron relevantes para determinar el nivel de desempeño para cada aspecto, y las razones por las cuales la rúbrica de observación requeriría uno calificación y no otra, dadas sus observaciones.

En uno de esos ejercicios, vi a Pillay y a otro codificador maestro, Keith Remillard, entonces director de West Warwick y ahora director de programación federal y práctica innovadora del distrito, trabajar juntos para analizar cómo un maestro fomentó las interacciones positivas de los estudiantes en un video que muestra parte de una clase de escritura de quinto grado. Los dos notaron que cuando un estudiante terminó de responder una pregunta, el maestro dijo a la clase: "Si ustedes están de acuerdo con él, pueden hacer la señal de conexión". En ese momento, otros estudiantes hicieron un movimiento de ida y vuelta con sus manos, lo que demostró que el maestro había establecido comportamientos positivos para expresar su acuerdo.

Al observar la rúbrica, Pillay y Remillard vieron que la práctica efectiva en esta área implica que el maestro modele y fomente interacciones positivas, lo que este maestro claramente había hecho. Antes de terminar de codificar el video, Pillay y Remillard completaron su plantilla indicando cuándo en el video habían observado los comportamientos relevantes, describiendo esos comportamientos y explicando por qué, según el lenguaje en la rúbrica, esos comportamientos indican una práctica "efectiva". en lugar de la práctica "altamente efectiva" o simplemente "en desarrollo" ("altamente eficaz", en la rúbrica, requiere evidencia de "los estudiantes que monitorean el comportamiento de los demás"). (Para ver un ejemplo de lo que producen los codificadores maestros, consulte la Figura 2 a continuación).

Al ver este par, me quedó claro cómo los productos y el proceso de codificación maestra contribuyen a construir una comprensión compartida de la enseñanza efectiva. La justificación escrita que produjeron Pillay y Remillard significaba que el video de la lección de escritura de quinto grado podría usarse para capacitar a los observadores sobre cómo reconocer posibles evidencias de una práctica efectiva para fomentar las interacciones positivas de los estudiantes. Mientras tanto, al participar en un análisis disciplinado del video usando una definición clara de práctica efectiva, Pillay y Remillard agudizaron su propia comprensión de cómo podría ser una práctica más o menos efectiva, para este aspecto muy específico e importante de la enseñanza.

Remillard luego me dijo que participar como codificador maestro hace que las prácticas definidas en la rúbrica sean reales para él. Al hacerlo, el proceso finalmente lo hace mejor para apoyar la mejora educativa en su trabajo como líder escolar, porque puede hacer sugerencias más concretas a los maestros. "Después de la codificación maestra, ahora tengo una imagen en mi mente de lo que las rúbricas están tratando de decir", dice. “Cuando observo a los maestros, encuentro que estoy buscando evidencia y haciendo coincidir la evidencia con la rúbrica de manera mucho más fluida y rápida. También doy comentarios más específicos ".

Aprendiendo a dar retroalimentación significativa

Me pareció interesante que a pesar de tales testimonios, el ímpetu inicial de la AFT para centrarse en la codificación maestra no fue desarrollar las habilidades de liderazgo instructivo de los educadores que hicieron la codificación. Más bien, era producir una biblioteca de videos codificados que podrían usarse para entrenar y calibrar los juicios de los evaluadores, de modo que las calificaciones de observación de los maestros no dependerían de quién hizo la observación y darían como resultado una retroalimentación productiva. Dawn Krusemark, quien coordinó la subvención i3 de la AFT, dice que los videos codificados podrían ayudar a capacitar a los evaluadores para que expliquen con precisión a los maestros: "Esta es su calificación, y esta es la razón, y esto es específicamente lo que lo mejoraría".

Pero al involucrar a algunos educadores de 80 en Rhode Island y Nueva York para ayudar a codificar los videos, el proyecto de codificación maestra tuvo el beneficio adicional de desarrollar un cuadro considerable de "súper observadores". Se les solicitó repetidamente que justificaran sus juicios sobre lo que vieron, Los participantes se volvieron especialmente expertos en reconocer los indicadores de una práctica más y menos efectiva y en hacer recomendaciones sobre cómo llevar la práctica de un maestro al siguiente nivel.

Con la tarea de poner esas justificaciones en razones escritas concisas, también perfeccionaron sus habilidades para proporcionar comentarios significativos. En lugar de simplemente aprender a asignar un conjunto de calificaciones correctas, obtuvieron una comprensión más profunda, a través de una rica discusión con colegas, sobre elementos específicos de la enseñanza y lo que los hace efectivos o no.

Dice Colleen Callahan, directora de asuntos profesionales del RIFTHP: “Se les da a [los codificadores maestros] un lenguaje y una habilidad de análisis que les ayuda a sentirse bastante seguros al decir: 'Esto es lo que significa el estándar [en la rúbrica]'. "Esa habilidad y confianza, agrega, se trasladan a su trabajo diario, permitiéndoles brindar comentarios más específicos basados ​​en el lenguaje de una rúbrica en sus interacciones formales e informales con los maestros.

Hacer que un grupo de codificadores maestros llegue a ese punto requiere tiempo y recursos. Al comienzo del proyecto AFT, los participantes participaron en un "campo de entrenamiento" de codificación maestra de dos días, en el que revisaron las rúbricas que usarían, aprendieron a recopilar evidencia objetiva (describiendo sin juzgar lo que ven), y practiqué el proceso de codificación maestra. Los campamentos de entrenamiento fueron planeados con Catherine McClellan de Clowder Consulting, una firma de consultoría estadística que trabaja con los distritos escolares en la recopilación e interpretación de datos. McClellan perfeccionó el arte de la codificación maestra en Educational Testing Service (ETS), donde fue directora de puntuación de respuesta construida humana, que se encuentra en su división de Investigación y Desarrollo y establece estándares de calidad para el uso de evaluadores humanos de ETS para evaluar las respuestas de evaluación.

Incluso con tal preparación, McClellan dice que los codificadores maestros necesitan un fuerte apoyo. Para muchos, el proceso se siente antinatural al principio. Inicialmente, los educadores a menudo saltan instintivamente a juicios basados ​​en sus propias preferencias de instrucción, en lugar de considerar los criterios comunes de la rúbrica. A muchos también les resulta difícil dejar de lado los pensamientos sobre los comportamientos que ven que pueden no ser relevantes para el aspecto particular de la enseñanza que están analizando. Pero con el tiempo, y con la orientación correcta, los codificadores maestros se sienten más cómodos con el enfoque más limitado y con la base de los juicios en el lenguaje común de la rúbrica, y el debate da paso a un análisis profundo.

Ellen Sullivan, quien coordinó el trabajo de NYSUT para la subvención i3, describe el proceso como aprender a ver a través de la lente de la rúbrica: "Cada evaluador entra en la sala con un conjunto de conocimientos y disposiciones básicas porque han sido practicantes en el campo durante mucho tiempo, y están trabajando desde su contexto y su estado de ánimo. Lo que estamos tratando de hacer con la capacitación de maestro-anotador no es deshacerse de su juicio profesional, sino solo guiar y enfocar su juicio profesional sobre la aplicación de lo que dice el lenguaje de la rúbrica ”. Cuando los maestros locales participan en la codificación maestra, Ella agrega, otro beneficio es un mayor sentido de pertenencia en los criterios de evaluación, porque los educadores del contexto local son los que aclaran cómo se ve una buena enseñanza. Sullivan dice que eso sucedió en Albany, Nueva York, donde el distrito local administra un proceso de codificación maestra.

Los líderes educativos han encontrado formas de hacer que la codificación maestra funcione en diferentes contextos, sin dejar de adherirse a los mismos principios de mejores prácticas. Mientras que los organizadores en la pequeña Rhode Island podrían reunir a participantes de todo el estado varias veces al año, NYSUT, el afiliado estatal más grande de la AFT, ha organizado reuniones regionales. Algunos sistemas escolares usan una combinación de entrenamientos grupales y llamadas telefónicas. En el último, dos codificadores maestros revisan, analizan y puntúan independientemente el mismo video antes de la llamada, y la discusión se utiliza principalmente para conciliar las diferencias.

Como el objetivo principal de los esfuerzos de efectividad de los maestros pasa de la responsabilidad al aprendizaje profesional, espero que más educadores tengan la oportunidad de participar en la codificación maestra. El mayor beneficio que se obtiene al poder identificar una enseñanza efectiva no es la capacidad de separar a los maestros efectivos de los menos efectivos. Está en el crecimiento de educadores comprometidos que se unen para examinar críticamente la práctica educativa y considerar cómo esa práctica, así como su propia enseñanza, podrían mejorar.

Mientras tanto, el trabajo realizado como parte de la subvención i3 de la AFT sigue teniendo un impacto. NYSUT utiliza los videos que codificó para capacitar a evaluadores en distritos de todo el estado. El afiliado de AFT en Albany ha reunido a equipos de maestros y administradores en cada uno de los últimos dos veranos para dominar nuevos videos codificados para usar localmente con el mismo propósito. En Rhode Island, RIFTHP continúa utilizando los videos que codificó a través de su trabajo de subvención i3 para capacitar a evaluadores en varios distritos. También ha utilizado algunos de sus videos codificados para crear un ejercicio en línea para verificar la precisión de los evaluadores.

Igual de importante, dice Callahan del RIFTHP, es la comprensión profunda de la evaluación basada en evidencia y la retroalimentación que los maestros codificadores han llevado a su trabajo diario en las escuelas. Ella dice: "Las habilidades que desarrollaron los posicionan bien para establecer un sistema justo, equitativo y significativo".