Los fines de la evaluación

La evaluación no surgió en la escuela ni para calificar conocimientos adquiridos, sino de un proceso para certificar estudios en el mercado y la evidencia de los méritos (Barbier, 1993). Para Ardoino (1980), es un instrumento de control introducido desde la producción, la administración y la contabilidad para medir la eficiencia y la productividad del trabajo con referencia a una normatividad. En Estados Unidos en los setenta, el aumento del gasto educativo indujo lograr escuelas eficaces mediante una evaluación desde las nociones del mercado y la empresa. En las universidades, se intentó estandarizar la organización del trabajo del profesorado.

Actualmente, en la evaluación existen dos antípodas, entre otras, que parten de dos visiones: 1) la extrínseca, busca la rentabilidad de la inversión del gobierno en educación, ligada a la administración empresarial, a la racionalidad instrumental y a criterios ajenos a la pedagogía para lograr mayor productividad; y 2) la intrínseca, derivada de la reflexión del proceso educativo y sus diferencias socio-culturales, diseñada con la participación del profesorado desde su saber cotidiano y que reconoce el carácter político de la docencia fructífera para el avance institucional (Silva, 2012).

Según House (1997) la evaluación es una instancia política y comparativa para, principalmente, conceder o negar recursos. Hoy la evaluación es un nuevo fantasma que recorre el mundo universitario, útil para asignar una calificación, aceptar o rechazar un libro, una tesis o un proyecto de investigación. Es el aval para ascensos laborales, ingreso a programas de posgrado o autorizar estancias sabáticas. Se aplica para otorgar financiamiento a instituciones y docentes mediante recursos extraordinarios, becas y estímulos. Así, se concluye: “Es prácticamente imposible que los académicos estemos al margen de los múltiples procesos de evaluación” (Piña, 2013, p. 4).

En el debate, investigaciones recientes sobre los efectos de la evaluación en la productividad académica, docencia, acreditación de programas e instituciones, reporta múltiples efectos no deseados, como la simulación académica, la producción a destajo e investigaciones menos profundas (Silva, 2012; Rueda 2006; Díaz, Díaz y Barrón, 2008). Documentos del gobierno mexicano como el Programa Sectorial de Educación de 2007, señalan problemas en su instrumentación. Sin embargo, la evaluación se considera necesaria para verificar la rendición de cuentas de personas e instituciones.

Respecto a la evaluación de la docencia se le reconoce como una práctica con implicaciones para la sociedad, las instituciones y los individuos. Es un recurso para mejorar los procesos educativos si se emplea para reflexionar sobre los procesos de enseñar y aprender (Rueda, Luna, García y Loredo, 2010). Y los indicadores responden al cuestionamiento sobre qué es buen docente y las funciones que debe realizar.

La discusión sobre las encuestas de opinión

Desde la política oficial la encuesta de opinión sobre el desempeño docente es un círculo virtuoso: la evaluación sirve para elevar la calidad educativa, porque permite conocer las debilidades y fortalezas de la docencia; luego se diseñan estrategias para superar carencias; el profesorado corregirá su práctica e identificará las necesidades académicas del estudiantado para que incremente su aprendizaje. En contraparte, el problema de la evaluación comienza con el por qué, el para qué y cómo hacerla. Y se polemiza el rasgo de las encuestas como mejora o sanción para el profesorado.

El primer cuestionario para evaluar a la docencia desde el estudiantado lo esbozó Herman Remmers en 1927 en la Universidad de Purdue. En 1970-1980 su aplicación voluntaria creció y a principios de los noventa se generalizó por el pago al mérito; algunas universidades entregaron al estudiado los resultados para elegir a sus docentes. Fue un instrumento acorde a la idea estadounidense de que el consumidor-alumnado evaluaría el servicio educativo. A México las encuestas llegaron a finales de los sesenta a la Universidad Iberoamericana y empezaron a expandirse en los ochenta.

Los estudios en los noventa sobre los efectos de las encuestas en Estados Unidos los compendia García (2014): son inexactos, degradantes y mal empleados; se inflan las calificaciones para obtener una evaluación benigna del estudiantado-cliente; no promueve la innovación del profesorado; el alumnado reconoce que sus respuestas no fueron totalmente ciertas; adolecen de una reflexión sistemática sobre la función docente; rara vez contribuyen a mejorar la docencia; es una política de recompensar o castigar de acuerdo a los resultados de una evaluación.

En México, los textos sobre las encuestas señalan su utilización para conceder promociones y estímulos económicos que desvirtúan la evaluación (Rueda, 2006); no hay claridad sobre qué es la docencia por eso los reactivos de los instrumentos no responden a una teoría pedagógica definida; los puntajes no reflejan las habilidades didácticas, solo miden la reputación del docente como si fuera un concurso de popularidad (Díaz et al., 2008). Morán (2003) afirma que la evaluación cuantitativa del trabajo docente intenta suprimir las apreciaciones e intereses del profesorado, porque se considera objetiva por su base en instrumentos y en la estadística. Además, descarta la complejidad y descontextualiza el proceso educativo (Santos, 1996).

García (2003) condensa algunas ventajas de las encuestas de opinión: 1) validez y confiabilidad de la medición del desempeño en diversos contextos, como lo avalan investigaciones anglosajonas comparadas con México; 2) si se subsanan las carencias detectadas, mejorará el trabajo docente; 3) la opinión del estudiantado sobre la enseñanza democratiza el proceso de enseñanza-aprendizaje; 4) el profesorado rinde cuentas de su labor a través del juicio del alumnado sobre su desempeño; 5) el uso de Internet disminuye el costo de implementación y facilita el llenado del formato.

Grosso modo se expusieron las críticas a los efectos de la encuesta de opinión en México. En referencia a la opinión del profesorado sobre la evaluación del alumnado en la UACJ que coinciden con otros estudios, se destaca que el estudiantado no es el mejor juez del desempeño por su inexperiencia y escasos elementos didáctico-pedagógicos (Silva, 2012). Respecto a la estandarización de la enseñanza, en la UACJ la Dirección de Desarrollo Académico y el Programa de Implementación del Modelo Educativo, exigen la certificación del profesorado en la pedagogía constructivista con 200 horas de curso y 2.9 o más en la encuesta de opinión estudiantil.

En suma, para el presente artículo la evaluación para el análisis de las encuestas de opinión, se define como: un instrumento de control burocrático y administrativo para estandarizar la enseñanza del profesorado con relación a un modelo didáctico y el logro de un perfil de egreso de una determinada institución. Además, la evaluación no es un instrumento aséptico, implica una filosofía, una metodología y una perspectiva política.

¿Conviene una evaluación participativa?

Hasta el momento, las encuestas de opinión se delinean sin la participación de docentes y estudiantes. Rueda et al. (2010) reportan que en las universidades en México las encuestas las diseñó el departamento de evaluación docente con endeble preparación en el área. Así se uniformaron los indicadores y el prototipo de enseñante ideal que omite la particularidad de cada institución educativa, y la heterogeneidad del profesorado. Los resultados sirven para tomar decisiones administrativas y, en la UACJ, para otorgar o negar premios económicos.

Ante la unilateralidad de la institución, Montoya, Arbesú, Contreras y Serrato (s/f) sugieren que la encuesta se puede construir integral y multidimensionalmente, desde las voces y contextos del profesorado. Plantean el impulso a comunidades que definan en colectivo el ser un buen docente en un contexto particular. Rueda et. al. (2010) agregan que se debe adaptar la encuesta a cada disciplina y situaciones de enseñanza, a las prácticas cotidianas, y sin premios y castigos. Incluir al profesorado y al estudiantado con la experiencia cotidiana para diseñar la encuesta. El fin es definir una encuesta no punitiva, como sucede en la UACJ con la exclusión del programa de estímulos, y empatarla con el modelo educativo institucional.

Antecedentes del desfase encuesta-modelo educativo

El rediseño de la encuesta de opinión a partir de los comentarios de docentes y estudiantes, se basó en la necesidad institucional de hacerla compatible con el prototipo de enseñante facilitador del conocimiento. El MEUACJ se declara un modelo de enseñanza centrado en el aprendizaje y por descubrimiento para conformar un perfil de egreso con capacidad de aprendizaje para toda la vida y susceptible de transferirse a otras situaciones de trabajo (UACJ; 2002, Pág. 12). Hasta el momento, la encuesta conserva ítems de la tecnología educativa, privilegia la técnica y la exposición sobre los aspectos cualitativos y descarta el ritmo de aprendizaje de cada educando.

Según Rueda (2003), las encuestas carecen de preguntas afines al constructivismo, como si: explora los conocimientos previos del alumnado; propicia la reflexión sobre los contenidos tratados; contrasta las implicaciones de distintos enfoques o teorías. En este sentido, en 2006 el rector de la UACJ declaró no descartar “… que el instrumento de evaluación, al cambiar el Modelo Educativo haya perdido confiabilidad para medir el desempeño del profesor en un nuevo paradigma de aprendizaje” (Silva, 2012, Pág. 192).

El llenado de las encuestas en la UACJ se convierte en el momento de la venganza, como lo enunció el profesorado, porque si el estudiantado lo evalúa con menos de 2.9, le imposibilita participar en el programa de estímulos. Así lo expresó una docente, es: “Un vigilar y castigar… y es una manera de usar a los alumnos, para que nunca se te olvide a ti que también ellos te están vigilando… afecta la autonomía” (Silva 2012, Pág. 187). Similares hallazgos de Olavarrieta, Gómez y García (2014, Pág. 12): “(…) existen alumnos que contestan las encuestas (…) para amenazar o castigar al profesor, un alumno que le dijo ‘de la calificación que me dé, depende la suya’”.

Para el estudiantado es una tarea obligatoria e innecesaria, porque no aprecia cambios en la enseñanza del profesorado; también cuestionó la pregunta sobre el dominio de la materia, porque se supone que el docente fue contratado por su capacidad. En coincidencia Olavarrieta, et al. (2014, Pág. 10): “Los profesores pueden orientar a alumnos a responder [la encuesta] de forma favorable para los docentes sin que estos realicen cambios en su práctica (…) porque evalúa aspectos obligatorios como profesor”. Por último, el estudiantado de la UACJ detecta un comportamiento afable del profesorado durante el periodo de aplicación de la encuesta.

Para agosto-diciembre de 2008, la UACJ modificó la encuesta en el contexto de la revisión de su modelo educativo y con relación a los cursos presenciales, mixtos y en línea. Se redujeron los indicadores, de 32 a 20. En la pregunta de si “presentó al inicio de clases el programa completo”, se añadió “y/o carta descriptiva” y en los cursos mixtos y en línea se modificó por “la guía didáctica”. Se especificaron el uso de medios como el DVD, la computadora y la televisión. En esencia no varió el rasgo conductista.

En el ICSA, el interés por un nuevo instrumento de evaluación de la docencia la promovió el director del instituto (2006-2012) con base a la particularidad de cada programa. En 2011 en el Consejo de Academias (del 15 de junio y del 21 de octubre) se informó que una comisión de rediseño de la encuesta había definido 157 reactivos relacionados con habilidades, actitudes y valores para lo pedagógico-curricular, lo humano-social y lo administrativo de la docencia. Se acordó que a la nueva encuesta debería llegarse por consenso y se ampliara la comisión.

En 2012 cuatro docentes del ICSA consideraron que el rediseño de la encuesta de opinión conciliara tres aspectos: 1) superar los indicadores burocráticos; 2) acercarse al modelo constructivista de la UACJ; 3) la demanda institucional de control del quehacer docente y contar con evidencias para la acreditación. Al profesorado se le invitó a participar con su opinión por correo electrónico y acudieron 15 docentes. Se organizaron cuatro grupos con 10 estudiantes por departamento: Ciencias Sociales, Ciencias Jurídicas, Ciencias Administrativas y Humanidades. La selección de los asistentes la realizó el jefe de departamento y se les garantizó la confidencialidad y el anonimato de la información recabada. Se les solicitó su permiso para grabar sus voces y aceptaron. El proceso continuó con la transcripción de los comentarios emitidos en cada grupo de enfoque y se concentraron los puntos coincidentes. Después se aplicó una prueba piloto en cuatro grupos en el curso de verano de 2012.

Las voces de docentes y estudiantes: la base de la propuesta

Los hallazgos de la consulta realizada a estudiantes y docentes del ICSA de la UACJ, no varían de las opiniones de otros estudios y otras latitudes. Prevalecen los rasgos afectivos, que la clase sea dinámica, que el profesorado domine la materia y tenga claridad expositiva, sea abierto y tolerante. Una parte del profesorado cuestionó el vínculo con el programa de estímulos.

Desde las voces del estudiantado recopiladas en los grupos de enfoque, son evidentes la afectividad y la subjetividad para evaluar, por encima de las cuestiones técnicas y didácticas del profesorado, un alumno comentó: “Me gusta que se interesen por los alumnos, no nada más decir: ‘¡eres una matrícula más!’”. O la atención en el mundo virtual: “Es una persona excelente… puedes estar [en contacto] por medio electrónico”.

En cuanto a la subjetividad en la encuesta de opinión, se reconoce el efecto negativo en el profesorado y ciertas inconveniencias para evaluar. En palabras de una estudiante: “Afectamos al maestro por una mala calificación…solamente porque nos cayó mal”; otra dijo: “Si nos cae muy bien vamos a colocar votos positivos, aunque no haga bien su trabajo”. Valorar los cursos en línea para un alumno es incongruente, porque: “Cómo evaluar a un maestro si no lo conoces… no lo voy a evaluar que lleve clases con él, sino lo que él me dio”. De la opinión se deduce que para evaluar la tarea docente es necesario convivir con él, no bastan los contenidos ni la didáctica. En contraposición a la lógica de las encuestas dos alumnas enunciaron: “La evaluación de los docentes es la que se da cara a cara”; “Al final de la clase hacer una mesa de trabajo en donde el maestro pregunte: ‘qué cambiaría de mí’… y que sea por todos un compromiso”.

El profesorado coincide, en general, con las apreciaciones del estudiantado, reconoce la subjetividad de algunas respuestas: “Ellos… se refieren a la apariencia del maestro más que a la presentación del curso… y se debe evaluar el desempeño, no la persona”. Ante el temor de verse afectados por los puntajes, un docente propuso: “[Debe] verse, estadísticamente cuales son las evaluaciones que si están pensadas”. En la subjetividad, una profesora declaró: “Me evalúan bien… porque les caí bien, no porque mi práctica sea buena”. Otra dijo: “…Por mucho que los maestros nos esforcemos para que nuestra práctica sea la mejor, no vamos a quedar bien con todos”.

Respecto a la didáctica del docente, no se encontraron variables significativas sobre las características de la enseñanza ya conocidas. Se recoge de las voces del estudiantado la idea conductista y de guía del saber: “Saber transmitir sus conocimientos (…) No son didácticos (…) tiene que estar actualizado”. También mencionaron las prácticas tradicionales, ahora tan combatidas: “Me han tocado muchos maestros que con un solo marcador y un pizarrón nos dan toda la clase”.

Por otra parte, el profesorado observó la contradicción de la encuesta con la prédica constructivista del MEUACJ: “¿Por qué evaluarnos con un instrumento tan tradicional como éste? (...) mis alumnos (...) Quieren que sea profesor y que dé mi clase: ‘yo lo quiero oír a usted. Ahí ya mataron el constructivismo’. El nexo del constructivismo con la medición y con el mejoramiento de la práctica, lo condensó un docente:

La evaluación debe impulsarse e ir de la mano del enfoque que la universidad está impulsando (…) el constructivismo. Entonces la evaluación la entiendo como un proceso de reflexión no como un producto (…) con un enfoque cualitativo, que no fuera tan numérico (…) Saliste mal en esto, te recomendamos esto… que haya un acompañamiento (…) para el real mejoramiento de la práctica docente.

Un suceso en la UACJ similar a otros espacios es la escasa o nula información al docente de los resultados de la encuesta de opinión. Así lo expresó un maestro:

En [mis] 30 años (…) en la institución nunca he visto un ejercicio de retroalimentación por parte de los directivos (…) para que esto funcione como aliciente o mejorador [sic] de nuestras prácticas docentes (…) Nomás nos dan el regaño. El profesorado se siente degradado cuando es mal evaluado, porque (…) te juzgan y te señalan (…) solamente la voz de los alumnos se escucha y que nosotros tengamos que aguantarnos y nos digan: “Lo estás haciendo mal”.

De los comentarios del profesorado se desprenden varias propuestas. La nodal es desligar la encuesta de opinión de la participación en el programa de estímulos. Según un docente: “El instrumento actual está casado con el programa de estímulos (…) no debe ser así (…) ¿qué nos interesa realmente?: ¿la educación? (...) [o] ¿un instrumento para validar un proceso en el cual el profesor va a recibir o no estímulos?”. Respecto a la sanción de excluir de la participación si no se alcanza un puntaje de 2.9 por cumplir con las exigencias de la UACJ, un maestro expuso:

Si los chavos te pusieron un 2.8 no puedes aplicar. Esa es la perversión que veo en los estímulos, porque otra cosa es lo que te pide la institución: redes académicas, que estés en publicaciones y otras actividades. Pues desatiendes tus grupos y entonces el alumno dice: “me hizo venir de oquis el maestro”. No dice: “¡ah! el maestro tuvo que asistir a una reunión o atender su función de gestión por parte de la universidad” (…) para reunir puntos en tu carpeta tienes que asistir a congresos (…) son días que descuidas a tu grupo, porque institucionalmente no puedes llevar a un profe que te cubra si la coordinación no lo autoriza (…) Porque a eso te lleva la institución: a simular.

Sobre el sentido de la encuesta se pugna porque sea cualitativa, más democrática, incluyente y “más integral (…) entre pares”; “Debemos evaluar en tres diferentes momentos (…) para conocer qué es lo que podemos mejorar o (…) cambiar de nuestra práctica docente”. Un punto más de inconformidad es pedirle al estudiantado que conteste la encuesta. Un docente ilustró la situación: “Anda un video (…) donde una maestra pide como favor (…) que no la evalúen mal (…) ¿cómo está eso que le andes pidiendo al alumno que te evalúe? Por favor”.

De los ítems se desprendieron varios cuestionamientos. De la puntualidad se dijo que ir por la computadora y el cañón a otro edificio y no poder apartarlo antes de la clase porque no se los prestan al estudiante, provoca iniciar tarde las sesiones. Cuando se opta por la puntualidad se descuida otro rubro, como expresó un docente: “Te evalúan si usas tecnología o no (…) pues sales mal, porque solamente utilizas el pizarrón y los alumnos te dicen ‘¡uy! que anticuado’, ¿no? Mejor quítenlo”. Otra docente considero a la puntualidad “meramente institucional (…) es un valor subjetivo (…) conozco muchos que no lo son [puntuales] pero son excelentes en su práctica docente”.

En cuanto a los rubros de evaluación el profesorado no enunció rasgos muy distintos al estudiantado. Se mencionó el compromiso del docente con el alumnado, la práctica, los materiales didácticos, el objetivo y el contenido de la materia y el cumplimiento de las cartas descriptivas. Pero si hubo una propuesta específica sobre un instrumento que evalúe por: “Materias en cuanto a sus características (…) prácticas (…) teóricas (…) mixtas, seminarios, y los niveles de profundidad, de utilización de recursos. Las estrategias son muy diferentes en cada una de las materias (…) y la maestría (…)” También debe considerarse si es presencial, en línea, por instituto, por programa y por asignatura, porque en palabras de tres profesores: “Ya vimos que este instrumento tiene años y no funciona”, y conviene “que definamos qué es lo que queremos que sea evaluado, [incluyendo] a los chicos”; pero es necesario “concientizar a los alumnos del papel de la evaluación en el proceso de aprendizaje.”

Con base a las voces de estudiantes y docentes más los objetivos institucionales, la Comisión elaboró la propuesta con base en: la capacidad didáctica, la promoción de habilidades con relación al modelo educativo constructivista y la reducción de los ítems. Además, como parte de la política salarial y por la demanda del profesorado, eliminar el requisito de un puntaje mínimo en la encuesta de opinión para concursar en el programa de estímulos. En este marco se sometió a deliberación la encuesta renovada.

El contenido de la propuesta

La comisión de docentes presentó al Consejo de Academias de ICSA en junio de 2012, siete puntos para justificar los cambios en la encuesta: el primero, cancelar el requisito de un puntaje mínimo de 2.9 en la encuesta para concursar en el programa de estímulos, porque desvirtúa la mejora de la práctica docente. Enseguida, se propuso convertir la evaluación docente en un diálogo cotidiano, porque el formato actual de la encuesta no representa la realidad del aula ni del proceso de enseñanza-aprendizaje.

Luego se refirió a la coherencia con el MEUACJ basado en el constructivismo y se le solicitó a la institución realizar un estudio cualitativo para recoger evidencias del mejoramiento de la enseñanza y su nexo con los índices de la encuesta. Después se sugirió adaptar las encuestas al MEUACJ y los cursos de actualización docente deben desarrollarse con la didáctica constructivista y no con el predominio de métodos expositivos; asimismo, organizar una reflexión colectiva al terminar la sesión. Por último, se planteó diseñar encuestas para cada programa que responda: a la particularidad de la disciplina, el perfil de egreso, la didáctica y el modelo pedagógico.

Hasta principios del 2015 el nuevo formato no se ha aprobado ni rechazado. El diseño de la encuesta de la comisión muestra las siguientes similitudes y diferencias con la encuesta vigente: se utilizaron las mismas escalas de cero a cuatro puntos y la cuantificación; se conservaron los puntos de la organización del curso, el proceso de enseñanza, la calificación y la construcción del ambiente educativo; se cambió el rubro aspectos positivos o negativos por “un espacio para que de manera libre, exprese comentarios adicionales que den cuenta del desempeño de su maestro o maestra”; la presentación del programa se planteó para discutir y respetar acuerdos con el estudiantado sobre contenidos, organización y criterios de evaluación. Para acercar la encuesta con el constructivismo del MEUACJ se preguntó si el profesorado propicia la reflexión y el análisis de los contenidos del curso, si diversifica su didáctica, si promueve el aprendizaje por descubrimiento; si no discrimina ni toma decisiones arbitrarias sobre el alumnado. Para que la evaluación del aprendizaje sea un proceso formativo, se inquiere si el profesorado destaca aciertos y mejoras, si lo incluye en determinar los criterios para evaluar, y se desarrolla la auto-evaluación y co-evaluación.

Sobre la aplicación de la prueba piloto de la encuesta, en comparación con la encuesta vigente, los resultados numéricos indican escasa variación del puntaje. En promedio el profesorado encuestado disminuyó 0.1325 puntos; la más alta diferencia alcanzó 0.46 puntos y la mejora obtuvo 0.22. Desde la perspectiva cuantitativa, puede concluirse que el problema no son los indicadores; en parte porque los ítems no son una alternativa a la evaluación burocrática. Igual vigila y verifica el cumplimiento de actividades. El profesorado que conoce los indicadores busca cumplirlos para no quedar fuera del programa de estímulos. En consecuencia, una interpretación es que la encuesta sigue siendo afín al conductismo y lejana del constructivismo ecléctico de la UACJ.

En referencia al cambio de comentarios por aspectos positivos o negativos, tampoco hay contrastes significativos. La subjetividad del estudiantado permanece. En los resultados de la encuesta de la docente que perdió 0.46 puntos se registraron observaciones desde “explica bien, sabe mucho respecto a la materia, es muy dedicada, contesta dudas y preguntas, una clase muy interesante”. En oposición, se opinó que “juzga a los alumnos, se sale un poco de tema, es impuntual, no tiene tolerancia, exámenes algo confusos”. Sobre el docente que sacó el menor puntaje 2.9 y 2.88, en la encuesta actual y la propuesta respectivamente, dijeron: “Se preocupa por enseñar bien; sabe mucho respecto a la materia”; y se le pidió: “que sea más flexible”.

En síntesis, las encuestas cuantitativas o cualitativas no pueden erradicar la subjetividad. Otro indicio en la UACJ es la amplia brecha entre la teoría constructivista y la práctica. Es notoria la relación entre el buen trato, la flexibilidad y la apertura para evaluar y un puntaje alto para el profesorado. En cambio, cuando el estudiantado lo califica como estricto el puntaje disminuye. Por tanto, la propuesta de la comisión no es distinta de otras experiencias con las habilidades genéricas del profesorado por igual a todas las disciplinas, nivel de enseñanza o contexto. (Glassik, Taylor y Maeroff, 2003).

CONCLUSIONES

REFERENCIAS BIBLIOGRÁFICAS