INTRODUCCIÓN

Este artículo se enmarca en un proyecto de investigación en desarrollo desde el año 2019 en la Universidad Estatal Península de Santa Elena (UPSE), ubicada en Ecuador, con la denominación de Observatorio de la Evaluación del Aprendizaje (OBSEVAL), el cual está registrado en la institución con el código 91870000.0000.385425, dentro del modelo que luego de ser emitido el decreto 732, responde al Sistema Nacional Descentralizado de Planificación Participativa (SNDPP, 2020). Su aprobación se respalda en la Ley No. 110 R.O (Suplemento) 1998-07-22, mediante el oficio 055-INCYT-2021emitido por el Consejo Superior Universitario (OCS) válido para los Proyectos de Investigación de la Universidad Estatal Península de Santa Elena, 2021) de acuerdo con su estatuto.

OBSEVAL tiene antecedentes investigativos (Hernández et al., 2019) y tiene por objetivo, perfeccionar la evaluación del aprendizaje desarrollada en la UPSE a partir del estudio sistemático de los procesos de enseñanza-aprendizaje y la evaluación en particular, con el fin de identificar falencias y logros, para retroalimentar a los actores y poder tomar decisiones educativas en función de las mejoras requeridas.

Como se sabe, la pandemia del COVID-19 ha impactado en el sector educativo a escala  mundial y también en el ecuatoriano, lo que propulsó una transición imprevista y urgente de la modalidad presencial acostumbrada en la docencia a otra de tipo virtual o remota (García-Peñalvo, 2020; Grande-de-Prado et al., 2021; Pardo & Cobo, 2020; Portillo et al., 2020).

Por tales razones en la UPSE fue necesario desarrollar varias medidas y modificaciones para desarrollar el proceso docente, bajo la implementación de una normativa transitoria para el desarrollo de las actividades académicas en las condiciones de la pandemia del COVID-19 (CES, 2020). Esto llevó a establecer adaptaciones curriculares y el rediseño de programas docentes (sílabos). También se desarrollaron numerosas capacitaciones por parte del vicerrectorado académico y OBSEVAL, para preparar de forma acelerada a los docentes y enfrentar con éxito las nuevas exigencias metodológicas y tecnológicas y desplegar de forma efectivo del proceso de enseñanza-aprendizaje en tales condiciones de virtualidad.

Obviamente, estas condiciones y hechos exigió un cambio de mentalidad en profesores y estudiantes, los que han tenido que desarrollar procesos adaptativos de tipo  psicológico, metodológico y comunicacional; establecer nuevas formas de planificar las clases en formas sincrónica y asincrónica, desarrollar el estudio autónomo, de introducir otras dinámicas de trabajo, de incorporar nuevas formas de enseñar, de aprender y de evaluar los aprendizajes, poniendo en acción sus habilidades en el manejo de distintas plataformas (Moodle, Zoom, Teams Teacher), de recursos digitales y objetos virtuales de aprendizajes (OVA), sin que gran parte del profesorado y muchos estudiantes, tuvieran suficientes experiencias previas de su uso, ni todas las destrezas necesarias en tales escenarios (Arce-Peralta, 2020).

A esta desafiante realidad educativa, se agregaron otros factores como consecuencia de la pandemia relacionados a la salud y lo socioeconómico, que han reforzado el impacto desestabilizante en la docencia y en los estados emocionales de sus actores, que ha sido referido por los organismos internacionales (CEPAL-UNESCO, 2020) y en publicaciones recientes, generando una especia de “tormenta perfecta”(García-Peñalvo, 2020, p.21) con efectos descritos también en publicaciones ecuatorianas (Gnecco et al., 2020; Naranjo et al., 2020).

Se comprende que todo este cúmulo de realidades y experiencias vividas, también en la UPSE, se convirtieran en razón para proyectar un estudio que permitiera conocer cómo estaba desarrollándose el proceso de enseñanza-aprendizaje en tales circunstancias de virtualidad y de pandemia, para entonces hacer los reajustes y adecuaciones necesarias.

Así, en el año 2020, en plena etapa de pandemia y por consenso del equipo de trabajo, se comenzó una investigación que, en primera fase, inicia un estudio partiendo del diseño, de la validación y la aplicación de un instrumento de medición en forma de cuestionario, para recoger las percepciones de sus principales actores (los docentes y los estudiantes).

Se sabe que la aplicación de algunos instrumentos de medición ha tenido aprobación y gran utilidad al permitir mediante el análisis de las propiedades psicométricas y evaluar las cualidades de los procesos educativos y de sus protagonistas: sus manifestaciones psicológicas, sus capacidades mentales, estados de ánimo, sus habilidades, actitudes, sus percepciones y opiniones. En tal dirección, se han podido encontrar experiencias y estudios (Cabero-Almenara & Llorente-Cejudo, 2013; Hickman et al., 2019; Reyes & Cruz, 2020) que han demostrado la posibilidad de estudiar realidades psicoeducativas complejas, permitiendo la realización de análisis estadísticos respectivos centrados en diferentes aspectos y dimensiones valorables.

Antes de aplicar masivamente estos instrumentos, se sugiere su validación previa, para garantizar que estos por su concepción teórica y su proyección práctica, sean válidos y fiables, lo que les hará además ser viables y funcionales. Esto asegura que la información obtenida sea la que realmente se desea obtener, haciendo una recisión y descarte de los errores que pueden ser rectificados (López Fernández et al., 2019; Soriano, 2015).

De acuerdo con Galindo (2020), la validez de un instrumento puede estar determinada por al menos tres tipos: de contenido, de constructo y de criterio. El primero adquiere una importancia particular en la fase del diseño de los instrumentos de investigación, en las acciones de estudio, en los aspectos a abordarse y en los resultados que se presentan, lo que permite conocer si un instrumento recoge de manera adecuada todas las partes de las que puede estar formada la variable que se pretende medir. Según otras fuentes (Urrutia Egaña et al., 2014), este tipo puede obtenerse de tres formas fundamentales:  mediante la validez de las respuestas, la validez racional y la validez dada por jueces.

Precisamente, en este trabajo se reconoció como valiosa la validación mediante juicio de expertos (jueces), como un método empírico que permite validar un instrumento mediante “una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos cualificados y que pueden dar información, evidencia, juicios y sus valoraciones” (Escobar-Pérez & Cuervo-Martínez, 2008, p.29).

La decisión de proceder por este método de validación ha estado fundamentada en buena medida por otras experiencias previas de implementación que han sido desarrolladas por otros autores recientemente, en contextos educativos y en las condiciones de virtualidad o remotas, lo que añade mayor confianza en su viabilidad y sus aportes (Galicia Alarcón et al., 2017; Ponce et al., 2020).

Siguiendo a Escurra (1988), es conveniente contar con 10 jueces, donde al menos entre 8 de ellos exista un acuerdo o coincidencia para que un ítem sea considerado como válido a la vez que, se reconocerá como adecuado un valor mayor de 0.80 como criterio mínimo de aceptación.

 

METODOLOGÍA Y MÉTODOS

 La investigación se desarrolló mediante un enfoque cuantitativo, con el propósito de medir la validez y la confiabilidad de un instrumento que fue empleado para valorar el desarrollo del proceso enseñanza aprendizaje virtual en la Universidad Estatal Península de Santa Elena (UPSE), como parte de las acciones del proyecto OBSEVAL.

La validación se desarrolló a través de cinco etapas básicas: 1. La revisión bibliográfica y sustentación teórica del instrumento; 2. Creación de una versión preliminar de este; 3. Validación del instrumento propuesto; 4. Aplicación del instrumento a modo de pilotaje y 5. Ajuste para la versión final del instrumento.

Etapa 1: Revisión bibliográfica y sustentación teórica del instrumento

Se revisaron experiencias y propuestas teóricas e instrumentales válidas y confiables que han sido aplicadas en estudios educativos y de evaluación presenciales y en la virtualidad (Expósito & Marsollier, 2020; Hernández et al., 2019; Villarroel et al., 2018, 2020).

Mediante un análisis-síntesis de las fuentes y por contrastación, se identificaron los conceptos, categorías, dimensiones y nodos de valor teórico y procedimental que ayudan a concebir tanto el diseño del instrumento como los aspectos que serán medidos desde una visión sistémica y organizada. Así, se elaboró un constructo donde se tuvo en cuenta la concordancia y la coincidencia teórica de los distintos autores y fuentes estudiadas, para sustentar la elaboración sustentada del instrumento y sus ítems constituyentes.

Se asumió que las dimensiones son las áreas o facetas que permiten analizar y describir de forma adecuada un aspecto específico o una variable compleja, que aparece como parte del contenido de los ítems. Su especificación consiste en dar una definición real de la misma, que permite acercarnos un poco más al plano empírico concreto para observar y medir aspectos, conductas y procesos determinados (Medina, 2015).

Mientras que los nodos, llevados al campo de los procesos cognitivos, de la investigación y el educativo, pueden considerarse como los núcleos, eslabones o aspectos específicos donde confluyen, convergen y conectan diferentes aspectos que están relacionados al proceso de enseñanza-aprendizaje (Infante et al., 2021).

Etapa 2: Creación de la versión preliminar del instrumento

El instrumento elaborado contó con 18 ítems, que fueron agrupados en dimensiones que fueron establecidas con fundamentos relativos a su validez racional a partir de la revisión de la bibliografía. Se digitalizó y se les hizo llegar a los jueces a modo de primera versión, a través del correo electrónico, acompañado además de una ficha para la evaluación en base a cuatro criterios: suficiencia, claridad, coherencia y relevancia.

Se les solicitó a estos, una revisión detallada de cada ítem considerando y valorando los atributos y los criterios que garantizaran y evidenciaran la pertinencia de cada uno de acuerdo con los objetivos de la investigación y los contenidos que se pretendían medir en cada caso. Cada criterio fue evaluado por medio de una escala de cuatro niveles: no cumple con el criterio, de bajo nivel, de moderado nivel y de alto nivel.

En su primera versión el instrumento estuvo constituido por un cuestionario de 18 ítems que fueron ordenados por dimensiones que se detalla en la tabla 1.

 

Tabla No. 1. Dimensiones del instrumento

 

Etapa 3: Validación del instrumento propuesto

Para la validación del instrumento se contó con un grupo de expertos que estuvo formado por 10 jueces de cinco países del continente americano: México, Cuba, Ecuador, Perú y Chile, que se desempeñan profesionalmente en áreas amplias y especializadas de la educación superior que están relacionadas al tema; estos evaluaron los ítems y sus cualidades. En la tabla 2 se puede observar otras características y datos del grupo de jueces participantes.

 

Tabla No. 2. Datos Generales de los Jueces Expertos

 

Los resultados obtenidos de las observaciones y valoraciones que fueron hechas por los diez expertos se procesaron para obtener el coeficiente de validez de contenido a partir de aplicar la V de Aiken a los ítems, a los criterios y al instrumento en sí.

Etapa 4: Aplicación piloto del instrumento

Posterior a la valoración de los expertos, se aplicó el instrumento a un grupo piloto para la obtención de la confiabilidad, con el propósito de ajustar pertinentemente los ítems en la nueva propuesta. La muestra tomada fue 67 docentes de todas las facultades y 1819 estudiantes de diferentes niveles enmarcados entre el primero y el octavo semestre de sus carreras en la Universidad Estatal Península de Santa Elena. La participación de estos fue voluntaria y anónima; los datos obtenidos y colectados fueron de uso exclusivo y se guardó la confidencialidad durante todo el proceso del estudio.

Para la elaboración y la aplicación del instrumento se utilizó la aplicación Google Forms; para tabular los resultados se empleó la herramienta Microsoft Excel y para procesar los datos se usó el software estadístico SPSS versión 25.

La confiabilidad fue determinada mediante el cálculo y medición de la consistencia interna del instrumento, lo que hace referencia o expresa el nivel en que los ítems del instrumento se correlacionan entre sí. Tomando en cuenta que fue utilizada una escala politómica, la consistencia interna se calculó por medio del Coeficiente Alpha de Cronbach. Siguiendo a Palella y Martins (2012), se asumió que la confiabilidad es la ausencia de error aleatorio en un instrumento de recolección de datos.

Etapa 5: Ajuste de la versión final del instrumento

 

RESULTADOS Y DISCUSIÓN

El proceso de evaluación realizado por los jueces arrojó algunas observaciones relativas a la redacción de los ítems. A partir de estas y para obtener la pertinencia necesaria, se realizaron correcciones en la estructura de estos en verbos y palabras que permitió una mejor claridad en la lectura y comprensión por parte de los docentes y estudiantes.

Los resultados obtenidos del procesamiento estadístico cuantitativo de las respuestas de los jueces sobre el instrumento, superó notablemente la media general con un valor de 3,93, considerándose satisfactoria al tener un valor muy cercano al máximo posible (4); destacaron los valores obtenidos que están asociados a los criterios de relevancia (3,95) y de coherencia (3,94), seguidos de los obtenidos de la suficiencia (3,92) y de la claridad (3,91), lo cual se refleja en la tabla 3 por criterio y por las individuales de cada ítem.

Tabla No. 3. Resultado del análisis por expertos – Medias

                       

El valor del coeficiente de validez obtenido a partir de la aplicación de V de Aiken (Aiken, 1985) fue de 0,98, quedando este por encima del mínimo establecido para el cuestionario (0,80), con valores significativos en los criterios de suficiencia (0,97), de claridad (0,97), coherencia (0,98) y relevancia (0,98), reforzados por el hecho de ser muy parecidos y altos. Los 18 ítems también estuvieron por encima de los valores mínimos, lo que permitió considerar como válidos a todos, hecho que se confirma en la tabla 4

Tabla No. 4. Resultado del análisis por expertos – V de Aiken

                                   

 

CONCLUSIONES

Se comprobó que el instrumento, elaborado y analizado, posee la suficiente validez y confiabilidad para su aplicación en la investigación desarrollada por OBSEVAL sobre el proceso de enseñanza aprendizaje efectuado en la modalidad virtual en la Universidad Estatal Península de Santa Elena.

La agrupación y la organización de los 18 ítems en las dimensiones establecidas según los aspectos específicos en cuestión, permitió efectuar un procesamiento y un análisis sistematizado que los conecta a partir de los fundamentos de la curriculares y didácticos, válidos para sus diferentes componentes, como son los recursos y medios tecnológicos, objetos virtuales de aprendizajes, las técnicas  y las preguntas evaluativas, así como las relaciones e impactos de estos en los actores del proceso y en sus estados emocionales, entre otros.

El cálculo de los coeficientes de Cronbach y de Aiken dieron valores notablemente altos: 0,86 y 0,98 respectivamente, que respaldan suficientemente la consistencia interna y la validez del instrumento aplicado, denotando una fuerte relación entre los diferentes ítems. Esto constituye una evidencia que refuerza la idea y la posibilidad de realizar las valoraciones sobre los procesos de enseñanza y la evaluación de los aprendizajes logrados desde una perspectiva amplia, dimensionada, sistémica, integral y multifactorial

La participación de 10 expertos de cinco países en la validación del instrumento permitió tomar valoraciones desde diferentes perspectivas, experiencias, culturas y amplias áreas disciplinares, imprimiéndole un valor adicional agregado.

 

REFERENCIAS BIBLIOGRÁFICAS

Aiken, L. (2003). Test psicológicos y evaluación. Pearson Education.

Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 4(1), 131–142.

Cabero-Almenara, J. y Llorente-Cejudo, M.C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). Revista de Tecnología de Información y Comunicación En Educación, 7(2), 11–22.

Arce-Peralta, F. (2020). La transición del paradigma educativo hacia nuevos escenarios: COVID-19. CienciAmérica, 9(2), 115–119. http://dx.doi.org/10.33210/ca.v9i2.285

CEPAL-UNESCO. (2020). La educación en tiempos de la pandemia de COVID-19. CEPAL-UNESCO

Escobar-Pérez, J., & Cuervo-Martínez, A. (2008). Validez de Contenido y Juicio de Expertos: Una aproximación a su utilización. Avances de Medición, 6, 27–36.

Escurra, L. M. (1988). Cuantificación de la validez de contenido por criterio de jueces. Revista De Psicología, 6(1.2), 103–111.

Expósito, C., & Marsollier, R. (2020). Virtualidad y educación en tiempos de COVID-19. Un estudio empírico en Argentina. Humanismo y Educación, 22(39), 1–22. https://doi.org/https://doi.org/10.17081/eduhum.22.39.4214

Galicia Alarcón, L. A., Balderrama Trápaga, J. A., & Edel Navarro, R. (2017). Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura (Guadalajara, Jal.), 9(2), 42-53.

Galindo, H. (2020). Una guía básica sobre la metodología cuantitativa en los trabajos académicos. Editorial Área de Innovación y Desarrollo, S. L.

García-Peñalvo, F. J. (2020). Evaluación online: la tormenta perfecta. Ensinar A Distância. https://repositorio.grial.eu/bitstream/grial/2007/1/Tormenta.pdf

Gnecco, M., Gutiérrez, O., & Nuñez, R. (2020). Evaluar, y en la virtualidad Algunas lecciones aprendidas. 40 Jornadas Nacionales de Administración Financiera, 139–192.

Grande-de-Prado, M., García-Peñalvo, F. J., Corell-Almuzara, A., & Abella-García, V. (2021). Evaluación en Educación Superior ante la pandemia de la CoVId-19. Campus Virtuales, 10(1), 49–58.

Hernández, M., Villarroel, V., & Zambrano, J. (2019). Dimensiones e indicadores para la metaevaluación de los aprendizajes: Reflexión y propuesta al campo teórico de la evaluación en educación superior. Revista Cubana de Educación Superior, 39 (2). http://scielo.sld.cu/pdf/rces/v39n2/0257-4314-rces-39-02-e3.pdf

Hickman, H., Alarcón, M., Méndez, S., Cepeda, M. L., & Aguirre, L. A. (2019). Propiedades psicométricas de un instrumento para medir prácticas docentes. Enseñanza e Investigación en Psicología, 1(1), 75–86.

Infante, A., Infante, J. & Gallardo, J. (2021). Los mapas cognitivos difusos y su aplicación en la investigación de las Ciencias Sociales: Estudio de sus principales problemáticas. Education in the Knowledge Society, 22, e23907. https://doi.org/10.14201/eks.26380

López Fernández, R., Avello Martínez, R., Palmero Urquiza, D. E., Sánchez Gálvez, S., & Quintana Álvarez, M. (2019). Validación de instrumentos como garantía de la credibilidad en las investigaciones científicas. Revista Cubana de Medicina Militar, 48.

Medina, N. F. (2015). Las variables complejas en investigaciones pedagógica-Complex variables in pedagogical research. Revista de Investigación Apuntes Universitarios, 5(2), 9–18. https://doi.org/https://doi.org/10.17162/au.v0i2.244

Naranjo, M.J., Morales, I. A., & Ron, R. E.  (2020). Efectos de la pandemia en la familia y la sociedad ecuatoriana. RES NON VERBA REVISTA CIENTÍFICA, 10(2), 115–135. https://doi.org/10.21855/resnonverba.v10i2.417

Normativa transitoria para el desarrollo de actividades académicas en las instituciones de Educación Superior debido al estado de pandemia del COVID-19., 21 (2020).

Palella, S., & Martins, F. (2012). Metodología de Investigación cuantitativa (3ra ed.). Fondo Editorial de la Universidad Pedagógica Experimental Libertador.

Pardo, H., & Cobo, C. (2020). Expandir la universidad más allá de la enseñanza remota de emergencia. Ideas hacia un modelo híbrido post-pandemia. Outliers School. (Outliers School (ed.)). Outliers School.

Ponce, I., Juárez, L., & Tobón, S. (2020). Construcción y validación de un instrumento para evaluar el abordaje de la sociedad del conocimiento en docentes. Apuntes Universitarios, 10(1), 40–65.

Portillo, S. M., Castellanos, L. I., Reynoso, O. U., & Gavotto, O. I. (2020). Enseñanza remota de emergencia ante la pandemia Covid-19 en Educación Media Superior y Educación Superior. Propósitos y Representaciones, 8 (SPE3) (559).

Resolución de aprobación de los Proyectos de Investigación de la Universidad Estatal Península de Santa Elena., 10 (2021).

Reyes, V., & Cruz, C. E. (2020). Propiedades psicométricas de un instrumento sobre emociones de estudiantes universitarios en relación con la reprobación. Revista de Educación y Desarrollo, 54, 69–78.

SNDPP. (2020). Secretaría Técnica del Sistema Nacional Descentralizado de Planificación Participativa. “Planifica Ecuador”. Gobierno de La República Del Ecuador. https://www.planificacion.gob.ec/

Soriano, A. M. (2015). Diseño y validación de instrumentos de medición. Diá-Logos Universidad Don Bosco, 14(19–40).

Urrutia Egaña, M., Barrios Araya, S., Gutiérrez Núñez, M., & Mayorga Camus, M. (2014). Métodos óptimos para determinar validez de contenido. Educación Médica Superior, 28(3), 547-558.

Villarroel, V. & Bruna, D. (2020). Guía docente para enseñar y evaluar aprendizajes de manera auténtica y en modalidad online, frente a situaciones de emergencia (COVID-19).https://www.fernandosenior.com/wp-content/uploads/2020/04/orientaciones-evaluación-aprendizaje-ONLINE-COVID-19..pdf

 

Datos del (los) autor (es)

¹Licenciado en Ciencias de la Educación Mención Informática Educativa. Magister en Docencia Universitaria. Docente Investigador Carrera de Educación Básica, Facultad Ciencias de la Educación e Idiomas. Universidad Estatal Península de Santa Elena. ID ORCID: https://orcid.org/0000-0001-6812-7380

²Doctor en Ciencias Pedagógicas Formación académica y científica. Máster en Enseñanza de las Ciencias en la Educación Superior Mención Química. Director del Centro de Investigación e Innovación Educativa CIIE de la Facultad Ciencias de la Educación e Idiomas. Director del Proyecto de Investigación OBSEVAL. Docente Investigador Carrera Educación Inicial Universidad Estatal Península de Santa Elena. ID ORCID: https://orcid.org/0000-0002-4501-0689

³Licenciado en Ciencias de la Educación Mención Educación Básica. Magister en Docencia Universitaria. Magister en Literatura Infantil y Juvenil. Director de la Carrera de Educación Básica. Docente Investigador. Universidad Estatal Península de Santa Elena. ID ORCID: https://orcid.org/0000-0003-2457-5848

⁴Licenciada en Ciencias de la Educación – Especialización Ingles. Magister en Gerencia de Innovaciones Educativas. Decana Facultad Ciencias de la Educación e Idiomas. Docente Investigadora. Universidad Estatal Península de Santa Elena. ID ORCID: https://orcid.org/0000-0002-9993-2881

 

Recibido: 28 de junio 2021
Evaluado: 28 de agosto de 2021
Aceptado para su publicación:  24 de septiembre de 2021