×

The Way Blog

Nov 15 2019

Escalas de Evaluación

Presentación

Este post que estás leyendo es el resumen de la ponencia que di en las III Jornadas Giele el pasado 16 de Noviembre de 2019 en Donostia.

#thewayGiele #Donostia2019 #Giele2019 (por si quieres saber más de lo que allí aconteció)

Las Jornadas tuvieron lugar en el Palacio Miramar, un entorno incomparable con unas vistas espectaculares, casi hipnóticas en ese día de lluvia intensa y mar embravecido.

Esta ponencia que tuvimos el placer de compartir con tantos compañeros dedicados a diferentes áreas de la enseñanza y la evaluación de lenguas, es el resultado, a medio camino aún, pues nos encontramos en la fase III de V, de un proyecto que se está llevando a cabo en la EOI de Molina de Segura.

En primer lugar, me presento.

PRESENTACIÓN

Mi nombre es Victoria Santa-Cruz y tengo varias facetas profesionales. Funcionaria de carrera de dos cuerpos, el cuerpo de profesores de EOI y el de Educación Secundaria. En la actualidad llevo la Jefatura del departamento de Inglés en la EOI de Molina de Segura, en Murcia. También soy la creadora de The Way Experience, www.thewayexperience.es, una web en la que ofrecemos material original de mediación lingüística y de práctica de la destreza oral desde una perspectiva innovadora, de preparación estratégica para exámenes de certificación, y un acercamiento a la mediación 100% práctico.

Y es gracias a la combinación de ambas facetas que el estudio que vengo a contaros ha tomado forma.

Tras dedicar unas 3.500 horas al diseño, selección de fuentes, elaboración, pilotaje, revisión y maquetación de tareas de mediación, se despertó mi interés por cómo se está concretando esta nueva actividad de lengua en las EEOOII de las diferentes comunidades autónomas.

Empecé a viajar por todo el territorio nacional en primavera de 2018 presentando la web y nuestro enfoque metodológico, y me propuse conocer en persona qué estaba ocurriendo en materia de mediación en cada comunidad autónoma, y lo que es más valioso, la percepción y experiencia del profesorado al respecto.

Puesto que somos nosotros, profesores y alumnos, los usuarios primeros y últimos de la evaluación, este estudio pretende ser un acercamiento a la experiencia de evaluación de estos dos agentes.

Los agentes directamente implicados en el día a día de la evaluación en mediación son, por un lado los profesores, que la aplican justo después de haber evaluado con unas plantillas diferentes la Expresión e Interacción Oral, y nuestros alumnos, que reciben esta evaluación, la cual debe ser válida, fiable, y tener un efecto de washback positivo en los alumnos (cómo percibe el alumno la experiencia en términos de motivación e interés).

Es esta experiencia del profesor al usar las escalas, y la experiencia del alumno al recibir una calificación determinada con una tabla determinada, lo que nosotros hemos puesto en el punto central de nuestro estudio.

Para comenzar nuestro estudio, en primer lugar nos planteamos unos objetivos.

Objetivos principales.

  1. Averiguar si el modelo de rúbrica/escala/tabla de evaluación en mediación favorece o perjudica la calificación del candidato, dependiendo de si es holística o analítica y del porcentaje dado al componente lingüístico
  2. Comparar la percepción del evaluador en el uso de las rúbricas/escalas/tablas de  evaluación en mediación en términos de practicidad y sencillez/complejidad
  3. Comparar los tiempos para el evaluador en el uso de las diferentes rúbricas/escalas/tablas de evaluación en mediación.
  4. Hacer una aproximación a un tipo de rúbrica/escala/tabla que se perciba más justa para la evaluación en mediación de los candidatos.
  5. Determinar si en la evaluación de la mediación en EEOOII sería posible la elaboración de rúbricas adaptadas a cada tarea de examen, al menos en las pruebas de certificación. Valoración de los tiempos de elaboración de tales tareas, y del número de tareas mínimo necesario para cada nivel.

Objetivos secundarios.

  1. Definir en la evaluación holística cómo ayudan las rúbricas a que el examinador entienda cuándo la producción mediadora del alumno es apropiada/apta para el nivel al que se presenta o no.
  2. Diseñar un modelo de rúbrica de mediación oral y otra de rúbrica de mediación escrita, para una tarea concreta de mediación oral y otra escrita. Valoración real de lo que conlleva esta labor en recursos humanos.
  3. Elaboración de uno o varios modelos estándar de plantillas de evaluación, recogiendo la experiencia de los participantes en el uso de los diferentes modelos de plantillas.

OBJETIVOS PRINCIPALES y SECUNDARIOS

Las características del estudio. Fases.

FASES DEL ESTUDIO

Recogimos muestras de Mediación Oral y Mediación escrita de niveles B2 y C1. A cada muestra le asignamos un número.

  • Mediación Oral B2: 12 muestras con calificación de APTO/NO APTO con una calificación muy cercana al punto de corte.
  • Mediación Oral C1: 18 muestras con calificación de APTO/NO APTO con una calificación muy cercana al punto de corte, excepto una, para despistar 🙂
  • Mediación Escrita B2: 5 muestras con calificación de APTO/NO APTO con una calificación muy cercana al punto de corte.
  • Mediación Escrita C1: 11 muestras con calificación de APTO/NO APTO con una calificación muy cercana al punto de corte.

 

Catorce docentes participantes, del departamento de inglés, a los cuales se les asignó un número.

Y se hizo un reparto de tareas por evaluadores en el que cada evaluador tenía que evaluar cada muestra oral o escrita con seis rúbricas diferentes, en orden de más holística a más analítica y con mayor porcentaje dedicado al componente lingüístico.

¿Qué hemos valorado? En primer lugar hemos valorado la calificación, en segundo lugar el tiempo que tarda cada evaluador en realizar la evaluación con cada escala, y en tercer lugar, hemos dado una valoración numérica a cada rúbrica según la percepción del examinador en el uso de esa escala, en comparación con las demás, dando una puntuación numérica del 1 al 10, siendo el 10 la mejor valoración respondiendo a los siguientes parámetros:

  • Simplicidad en su uso
  • Grado de subjetividad que permite al evaluador
  • Valor dado a los elementos propios de mediación

 

Conclusiones provisionales.

La gran incógnita era averiguar si las escalas con mayor componente lingüístico afectan negativamente a la calificación del candidato, en comparación con las tablas de evaluación más holísticas.

Y hemos observado que sí, afecta negativamente, hasta donde hemos llegado. En los casos en los que se ha observado se volverá a hacer la evaluación por otros dos evaluadores, para confirmar resultados.

Para ver otras conclusiones interesantes, pincha en este enlace…

CONCLUSIONES PROVISIONALES

LAS PRÓXIMAS FASES

  • Llevar a cabo la ronda de corrección tres, sumando las escalas de las comunidades que quieran sumarse al estudio.
  • Estudio y tratamiento definitivo de los resultados.
  • Elaboración de uno o varios modelos estándar de plantillas de evaluación, recogiendo la experiencia de los participantes en el uso de los diferentes modelos de plantillas.
  • Un modelo de rúbrica de mediación oral y otra de rúbrica de mediación escrita, para una tarea concreta de mediación oral y otra escrita. Valoración real de lo que conlleva esta labor en recursos humanos.

Sigue las III Jornadas GIELE en #thewayGiele #Donostia2019 #Giele2019

 

victoria@thewayexperience.es


Tags:
© 2020. The Way Experience
Design & development: Daniel Caballero