Revista Atenas. ISSN: 1682-2749. Nro. 62 (2024) enero-diciembre págs.[1 - 13] https://atenas.umcc.cu

Validación de contenido de una rúbrica para evaluar proyectos socioformativos
Content validation of a rubric to evaluate socioformative projects
Validação de conteúdo de uma rubrica para avaliar projetos sócio-formativos

Artículo de investigación
Recibido: 30/09/2024    Evaluado: 31/10/2024     Aceptado: 25/11/2024

Enna Ladrón de Guevara Bazarte
Universidad Cristóbal Colón, México
Centro Universitario CIFE, México
https://orcid.org/0000-0003-4833-0204
enna.bazarte@gmail.com     

Luis Gibran Juárez Hernández
Centro Universitario CIFE, México
Universidad Autónoma de Chihuahua, México
https://orcid.org/0000-0003-0658-6818
luisgibrancife@gmail.com

¿Cómo citar el artículo?
Ladrón de Guevara-Bazarte, E. & Juárez-Hernández, L. G. (2024) Validación de contenido de una rúbrica para evaluar proyectos socioformativos. Atenas, nro. 62, e11221, 1-13.

Resumen

Objetivo: Analizar la validez de contenido de una rúbrica, con la finalidad de evaluar proyectos socioformativos (PS) en los que los estudiantes resolverán problemáticas de su contexto real. Métodos: Se partió de una rúbrica que se compone de ocho ítems: resultados de aprendizaje, problema del contexto, producto central, actividades pertinentes y participativas, interdisciplinariedad, organización de los alumnos, evaluación formativa y recursos. Para su validación se efectuó un juicio cualitativo-cuantitativo por parte de 11 expertos. Resultados: Se validaron siete de los ocho ítems en los criterios analizados (pertinencia y redacción). Sin embargo, el ítem resultados de aprendizaje no fue validado en pertinencia ni en redacción, por lo tanto, fue sujeto de mejoras a partir de los comentarios de los jueces expertos. Conclusiones: Se presenta una rúbrica con validez de contenido para evaluar los PS.

Palabras clave: Proyectos socioformativos, evaluación, juicio de expertos, competencias, validación de instrumentos.

Abstract    

Objective: Analyze the content validity of a rubric, with the purpose of evaluating socio-formative projects (PS) in which students will solve problems in their real context. Methods: The starting point was a rubric that is made up of eight items: learning outcomes, context problem, central product, relevant and participatory activities, interdisciplinarity, student organization, formative evaluation and resources. For validation, a qualitative-quantitative judgment was carried out by 11 experts. Results: Seven of the eight items were validated in the analyzed criteria (relevance and writing). However, the learning results item was not validated in terms of relevance or writing, therefore, it was subject to improvement based on the comments of the expert judges. Conclusions: A rubric with content validity is presented to evaluate the PS.

Resumo
Objetivo: Analisar a validade de conteúdo de uma rubrica, com o objetivo de avaliar projetos socioformativos (PS) nos quais os alunos resolverão problemas em seu contexto real. Métodos: O ponto de partida foi uma rubrica composta por oito itens: resultados de aprendizagem, problema de contexto, produto central, atividades relevantes e participativas, interdisciplinaridade, organização estudantil, avaliação formativa e recursos. Para validação, foi realizado julgamento quali-quantitativo por 11 especialistas. Resultados: Sete dos oito itens foram validados nos critérios analisados (relevância e redação). Contudo, o item resultados de aprendizagem não foi validado em termos de relevância ou redação, portanto, foi passível de melhorias a partir dos comentários dos juízes especialistas. Conclusões: É apresentada uma rubrica com validade de conteúdo para avaliar a PS.

Palavras-chave: Projetos sócio-formativos, avaliação, parecer especializado, competências, validação de instrumentos.

Introducción

La socioformación es un enfoque educativo surgido en Latinoamérica, que busca promover la formación integral en los estudiantes a partir de la promoción de solución de problemáticas del entorno, a través del trabajo colaborativo, considerando un proyecto ético de vida, el emprendimiento y la metacognición; cuenta con diversas acciones colaborativas en las que se busca que los estudiantes gestionen su propio conocimiento en un entorno de inclusión, aportando a la sostenibilidad ambiental, transformando con ello sus propias condiciones de vida (Juárez-Hernández et al., 2019; Tobón et al., 2018; Valdez et al., 2021). También se destaca que este modelo difiere del constructivismo, socioconstructivismo y conectivismo, ya que se enfoca en desarrollar competencias transversales centradas en promover el aprendizaje a través de la resolución de problemas del contexto, potenciando el desarrollo social sostenible, por medio de la cooperación con organizaciones sociales y de negocios a través de proyectos inter y transdisciplinarios (Tobón & Lozano-Salmorán, 2024).

Para la UNESCO (2022), el futuro requiere de planes de estudio y prácticas pedagógicas que contribuyan a formar alumnos con competencias para reconocer y resolver problemas, lo que les permitirá identificar el mundo cambiante en el que habitan, tomando un rol activo como ciudadanos globales. Es por ello que una de las prácticas pedagógicas que responden a las características de la socioformación son los proyectos socioformativos (PS), que de acuerdo con Tobón (2012) son un conjunto de estrategias que tienen como propósito la resolución de un problema real del contexto. Entre las muchas ventajas de los PS, es su aplicación para la enseñanza de cualquier disciplina; en ellos, los estudiantes participan en la detección y resolución de problemas de su entorno y con ello, contribuyen a crear mejores condiciones de vida desde renovadas estrategias didácticas de la enseñanza de las humanidades (Valdez et al., 2021; Fajardo & Hernández, 2022). Existen numerosas experiencias en la implementación de PS, en las que se ha podido evidenciar cómo se articula la investigación como parte de los procesos enseñanza-aprendizaje, al mismo tiempo que se forman personas capaces de resolver problemáticas de su contexto en ejercicios que van más allá de lo disciplinar (Esteban-Rivera et al., 2022).

Es importante destacar que la evaluación de los proyectos se hace a partir de evidencias, por lo que se recomienda que se utilicen rúbricas, herramientas que especifican una serie de aspectos y criterios para evaluar de manera grupal o individual, contenidos, trabajos, proyectos y facilitan el desarrollo de competencias en los estudiantes, ya que se brindan con anticipación estimulando las buenas prácticas de aprendizaje (Martínez et al., 2022). Por su parte, los actores educativos deben conceptualizar y aplicar procesos de evaluación claros, sistematizados e integrales para apoyar en el progreso de las personas, dejando de lado la idea de evaluar únicamente para calificar (Duque-Romero & Guatapi, 2022).

La evaluación socioformativa considera diversos aspectos y características del estudiante, como sus gustos, cultura, etnia, necesidades, entre otros, así como del contexto, mismos que se pueden valorar a través de indicadores, niveles de desempeño y descriptores que facilitan la labor de quien evalúa; además de considerar aspectos metodológicos para la sistematización y posterior aplicación de estos instrumentos a través de la auto, hetero y coevaluación, así como los 5 niveles de desempeño de la taxonomía socioformativa: preformal, receptivo, resolutivo, autónomo y estratégico (Bermeo, 2021; Tobón, 2010; Tobón et al., 2021). A este respecto, aunque existen instrumentos para la evaluación de los PS, estos son escasos o no han sido validados.

En este sentido, para ello existe un instrumento el cual se denomina “Rúbrica para Proyectos Socioformativos” diseñada por Tobón (2019). Consta de ocho ítems que evalúan: resultados de aprendizaje, problema del contexto, producto central, actividades pertinentes y participativas, interdisciplinariedad, organización de los alumnos, evaluación formativa, así como los recursos. Este instrumento existe, pero no había sido validado, por lo que se considera fundamental contar con su validación y que de esta manera el instrumento permita a un docente que trabaja proyectos de esta naturaleza, evaluar de manera clara, objetiva y pertinente.

Metodología y métodos

Tipo de estudio
Se efectuó un estudio instrumental, el cual involucra la construcción de un instrumento de evaluación y análisis de sus propiedades psicométricas (Montero & León, 2002).
Primera etapa
Instrumento: La Rúbrica para autoevaluar un proyecto socioformativo en educación superior fue diseñada por Tobón (2019) y tiene como propósito evaluar la implementación de Proyectos Socioformativos (PS) que serán desarrollados por alumnos de nivel universitario, con la finalidad de determinar si cumplen con los criterios requeridos para generar una experiencia vivencial que contribuya a la formación integral del estudiante. Se estructura por ocho indicadores, que son evaluados mediante cinco niveles de logro: estratégico (nivel muy alto), autónomo (nivel medio alto), resolutivo (medio), receptivo (bajo) y preformal (muy bajo). El instrumento fue diseñado por Tobón (2019), pero no había sido validado. En la Tabla 1 se describen los indicadores.

Tabla 1. Indicadores de la rúbrica

Fuente: Tobón (2019).

Segunda etapa
Juicio de expertos: El juicio de expertos es un proceso a través del cual el investigador comparte el instrumento con personas especialistas en el área y que son reconocidos por otros como expertos calificados (Juárez-Hernández & Tobón, 2018; Yusoff, 2019). El estudio de validación del instrumento se hizo con el apoyo de 11 docentes pertenecientes a 5 universidades, y todos ellos poseen experiencia en el área educativa, así como en los proyectos formativos. La selección de expertos se consideró mediante aspectos referentes al objetivo del instrumento, grado académico, experiencia en el diseño y validación de instrumentos (Ford, 2018; Juárez-Hernández & Tobón, 2018; Yusoff, 2019) siendo específicamente que contaran con experiencia en investigación, grado de maestría, así como experiencia en el diseño y validación de instrumentos de evaluación. En la Tabla 2 se indican los datos sociodemográficos de los jueces expertos.

 Tabla 2. Datos sociodemográficos de los jueces expertos.

Fuente: Elaboración propia.

 Los expertos realizaron el juicio desde un enfoque cuantitativo y cualitativo (Juárez-Hernández & Tobón, 2018), con base en la escala de jueces expertos (CIFE, 2019). Como parte de la evaluación cualitativa, se incluyó al final de cada ítem, un espacio para que los expertos redactaran sugerencias para la mejora de estos o de sus niveles de desempeño. En la parte cuantitativa, los jueces evaluaron la pertinencia y la redacción. El análisis de la información cualitativa se realizó conforme al coeficiente de validez de contenido (V de Aiken) con un intervalo de confianza al 90%, considerando un valor mínimo de aceptación de 0.75 en el coeficiente y en el límite inferior del intervalo de confianza superior a 0.50 (Penfield & Giacobbi, 2004; Bulger & Housner, 2007). Los ítems con valores inferiores a lo que se refiere, fueron considerados para su rediseño o mejora, conforme a las recomendaciones de los expertos (González-Salas et al., 2022; Monge-Rogel et al., 2022)

Resultados y discusión  

A partir del juicio realizado por los expertos se encontró que siete de los ocho ítems mostraron validez de contenido (V de Aiken>0.75; VI>0.50) en los criterios analizados, como se puede observar en la Tabla 2.
 

Tabla 2. Resultados de evaluación de jueces.

Fuente: Elaboración propia.

Por tratarse de una evaluación cuantitativa y cualitativa, los jueces expertos emitieron también observaciones en torno a los ítems. Especialmente en el ítem 1 las observaciones hicieron alusión a que no existe homogeneidad entre los conceptos manejados en cada descriptor; además, hacen alusión al aspecto de la redacción, indicando que no es del todo clara con la descripción de los elementos considerados como elementos de aprendizaje, ya que en algunos se hace una mezcla entre ello y los objetivos de aprendizaje, por ejemplo, en los niveles muy bajo y bajo se habla de objetivos, y en el resto de los resultados. Otra experta recomendó ubicar los descriptores a partir de los niveles de los procesos cognitivos de Bloom. En la Tabla 3 se puede observar el ítem 1 como se encontraba de origen; en la segunda columna se enuncian las observaciones de los expertos 1, 2 y 3, y finalmente se muestra la versión final del ítem en la que se replantea la pregunta, al igual que los descriptores en sus cinco niveles de desempeño.

Tabla 3. Observaciones y recomendaciones emitidas por los expertos.

Fuente: Elaboración propia.

Como se ha mencionado previamente, es de suma relevancia contar con instrumentos específicos que permitan al educador no sólo evaluar resultados, sino hacer una introspección en torno sus propias competencias docentes, promoviendo la mejora educativa, detectando en sí mismo áreas de oportunidad en su práctica académica, involucrando a la vez a la institución educativa desde el enfoque de la socioformación (Magdaleno et al., 2021).

Para evaluar los PS existe el instrumento “Rúbrica para autoevaluar un proyecto socioformativo en educación superior” (Tobón, 2019), el cual está compuesto por un total de ocho ítems, cada uno con cinco descriptores de desempeño, sin embargo, se destaca que el instrumento no ha sido validado, por lo que el objetivo del presente fue efectuar una validación de su contenido.

Todo esto es fundamental, ya que, si bien se considera que el instrumento integra los elementos característicos del constructo a evaluar, es fundamental la demostración de que estos elementos representan efectivamente el constructo, lo cual se logra con el análisis de las propiedades psicométricas del instrumento (Haynes et al., 1995; Yusoff, 2019). Por lo anterior, se analizó la validez de contenido.

En lo que se refiere a la validez de contenido, esta es definida como la calidad y precisión de un instrumento de investigación, vinculado con la obtención de evidencias válidas, y está relacionada con el hecho de que los ítems seleccionados sean adecuados para reflejar el contenido de un dominio (Juárez-Hernández & Tobón, 2018; Yusoff, 2019). El procedimiento a emplear para validar el contenido de un instrumento es el juicio de expertos (Cabero-Almenara & Llorente-Cejudo, 2013; Yusoff, 2019). Para tal fin, en el presente se consideraron varios aspectos para el juicio de expertos como el tipo de juicio que fue cuali-cuantitativo, selección de jueces y análisis de los resultados (Juárez-Hernández & Tobón, 2018; Yusoff, 2019).

En este orden, acorde al índice empleado se puede indicar que 7 de los 8 ítems fueron validados en los términos analizados (pertinencia y redacción) (V de Aiken >0.75; VI >0.50). Si bien la mayoría de los ítems fueron validados, se especifica que el ítem 1 que abordaba originalmente los resultados de aprendizaje, no fue validado, por lo que para su mejora se analizó la evaluación cualitativa por parte de los jueces expertos.

A este respecto, a partir de las recomendaciones de los jueces expertos, se replanteó el ítem 1 (Tabla 3), comenzando por la pregunta, pues únicamente hacía referencia a los resultados de aprendizaje, sin embargo, ya entrando a los descriptores, se incluían los objetivos de aprendizaje. Así, en el replanteamiento se consideró ser más explícitos retomando los resultados de aprendizaje, a partir de los objetivos planteados en el proyecto: “¿En qué nivel se describen los resultados de aprendizaje esperados en el estudiante, tomando en cuenta los objetivos planteados al inicio del proyecto y las características de un proyecto socioformativo (ética, emprendedurismo, trabajo colaborativo, resolución de problemáticas del entorno profesional y social)?”. Por tratarse del primer ítem, se consideró enunciar cada uno de los elementos que conforman la integralidad de un PF y se incluyeron entre paréntesis.

Por su parte, cada uno de los niveles de desempeño del ítem 1 fue rediseñado, aunque manteniendo la lógica de los mismos niveles que el resto de los ítems, se modificó la redacción en todos ellos a partir de la recomendación de uno de los expertos, quien sugería tomar en cuenta los niveles cognitivos diseñados por Bloom (Do Carmo & Vairo, 2010): conocimiento, comprensión, aplicación, análisis, síntesis, evaluación y creación. Ese mismo orden fue considerado en cada nivel, y se retomaron los verbos más comunes delimitando dichos niveles, lo que permitirá que quien evalúe, tenga certeza más puntual del nivel en que se logró lo requerido en el ítem (Tabla 3).
Otra sugerencia en el ítem 1, aunque resulta general para toda la rúbrica, fue realizada por el juez experto 7, quien indicó que sería interesante contar con las instrucciones que se brindan a los profesores para responder la rúbrica, ya que ello permitiría conocer el contexto de las preguntas. Las instrucciones de la rúbrica original solamente incluyen como instrucciones el siguiente texto: “Seleccione el nivel que más se aproxime a su planeación haciendo clic en el círculo correspondiente. Para seleccionar un nivel, debe cumplir con todo lo anterior”. En su rediseño, se consideró más especificidad indicando un contexto previo en torno a lo que fue el PS realizado, tomando en cuenta el aspecto de la formación integral. Posteriormente, se explicó el número de ítems y lo que evalúan, y se mencionan los niveles de desempeño (Tabla 4).

Tabla 4. Instrucciones del instrumento.

Conclusiones

Los PS son cada vez más, una estrategia actual e innovadora que responde a las necesidades educativas actuales es por ello que contar con instrumentos válidos resulta indispensable para garantizar el logro de los objetivos planteados, así como su medición, aspecto que contribuirá a mejorar el desempeño de los estudiantes, así como sus aprendizajes.

Referencias bibliográficas

Bermeo, F. (2021). Aplicación de proyectos socioformativos dentro del aula: experiencia docente en la asignatura de Estadística Descriptiva. Runas, Journal of Education & Culture, 2(3). https://runas.religacion.com/index.php/about/article/view/42/44

Bulger, S. M. & Housner, L. D. (2007). Modified Delphi investigation of exercise science in physical education teacher education. Journal of Teaching in Physical Education, 26(1), 57-80. https://doi.org/10.1123/jtpe.26.1.57

Cabero-Almenara, J. & Llorente-Cejudo, M.C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). Revista de Tecnología de Información y Comunicación en Educación, 7 (2), 11-22. http://tecnologiaedu.us.es/tecnoedu/images/stories/jca107.pdf

CIFE (2019). Escala Jueces Expertos (plantilla). Centro Universitario CIFE: México. https://docs.google.com/forms/d/e/1FAIpQLScWn-tYKAVPlr2EFBq723JYZWMNabLmukc-ReaOWp0tUc0IzA/viewform

Do Carmo, A.P. & Vairo, R. (2010). Taxonomía de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Gestão & Produção, 17 (2), 421-431. https://www.scielo.br/j/gp/a/bRkFgcJqbGCDp3HjQqFdqBm#

Duque-Romero, M.V. & Guatapi Olivares, H.E. (2022). Cartografía conceptual de la evaluación en la Educación Superior en el modelo socioformativo. Mendive, 20(3), 1036-1050. https://mendive.upr.edu.cu/index.php/MendiveUPR/article/view/2751

Esteban-Rivera, E.R., Rojas-Cotrina, A.R., Callupe-Becerra, S.F. & Chávez-Albornoz, J.B. (2022). Desarrollo de proyectos formativos en confinamiento social: Estudio de caso en la universidad. Atenas, 2(58), 80-94. https://atenas.umcc.cu/index.php/atenas/article/view/12

Fajardo, E. & Hernández, F. (2022). La formación integral universitaria desde el contexto de las humanidades y su aporte al aprendizaje experiencial para el servicio. Revista Humanidades, 12(2). https://doi.org/10.15517/h.v12i2.51289

Ford, C. (2018). Effective practice instructional strategies: Design of an instrument to assess teachers’ perception of implementation. Studies in Educational Evaluation, 56(0), 154-163. https://doi.org/10.1016/j.stueduc.2017.12.004

González-Salas, I.C., Juárez-Hernández, L.G. & Gámez-Mier, C.H. (2022). Adaptación y validación de un instrumento para evaluar los estereotipos negativos de la vejez. Investigación en Educación Médica, 11(42), 65-77. https://doi.org/10.22201/fm.20075057e.2022.42.21412

Haynes, S.N., Richard, D.C.S. & Kubany, E.S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7 (3), 238–247. https://doi.org/10.1037/1040-3590.7.3.238

Juárez-Hernández, L.G. & Tobón, S. (2018). Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Revista Espacios, 39 (53), 23-30. https://www.revistaespacios.com/cited2017/cited2017-23.html

Juárez-Hernández, L.G., Tobón, S., Salas-Razo, G., Jerónimo-Cano, A.E. & Martínez-Valdés, M.G. (2019). Desarrollo sostenible: educación y sociedad. M+A. Revista Electrónica de Medioambiente, 20(1), 54-71.  https://www.ucm.es/data/cont/media/www/pag-129712/Art.3_M+A_

Magdaleno, L., Dino-Morales, L.I. & Davis, L. (2021), Diseño y validación de un instrumento para evaluar la práctica profesional docente desde la socioformación. Atenas, 2 (54), 85-99. https://atenas.umcc.cu/index.php/atenas/article/view/73

Martínez, E.L., Bellido, A., Félix, E.D. & Rivas, C.E.G. (2022). Elaboración y validación de una rúbrica para medir competencias de comunicación escrita. Universidad Y Sociedad, 14 (S5), 490–505. https://rus.ucf.edu.cu/index.php/rus/article/view/3317

Monge-Rogel, R., Durán-González, G., Panes-Martínez, M. & Juárez-Hernández, L. G. (2022). Design of an instrument to assess students’ perception of learning objects in statistics. Education and Information Technologies, 27(7), 9523-9539. https://doi.org/10.1007/s10639-022-11011-w

Montero, I. & León, O. (2002). Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de Psicología Clínica y de la salud, 2 (30), 503-508. https://www.redalyc.org/pdf/337/33720308.pdf

Penfield, R. & Giacobbi, R. (2004). Applying a score confidence interval to Aiken’s item content-relevance index. Measurement in Physical Education and Exercise Science, 8 (4), 213–225. https://doi.org/10.1207/s15327841mpee0804_3

Tobón, S. (2010). Formación integral y competencias: pensamiento complejo currículo, didáctica y evaluación (3ª ed). Ecoe.

Tobón, S. (2012). Los proyectos formativos y la transversalidad del currículo. México: Centro Universitario CIFE. https://issuu.com/cife/docs/e-book_proyectos_formativos_5.0

Tobón, S., Martínez, J.E., Valdez, E. & Quiriz, T. (2018). Prácticas pedagógicas: Análisis mediante la cartografía conceptual. Revista Espacios, 39 (53), 31. https://www.revistaespacios.com/cited2017/cited2017-31.pdf

Tobón, S. (2019). Rúbrica de proyectos formativos. CIFE.

Tobón, S., Juárez-Hernández, L.G., Herrera-Meza, S.R. & Núñez, C. (2021). Pedagogical practices: Design and validation of SOCME-10 rubric in teachers who have recently entered basic education. Psicología Educativa. Revista de los Psicólogos de la Educación, 27(2), 155-165. https://dialnet.unirioja.es/servlet/articulo?codigo=7242030

Tobón, S., Lozano-Salmorán, E.F. (2024). Socioformative pedagogical practices and academic performance in students: Mediation of socioemotional skills. Heliyon, 10(15). https://doi.org/10.1016/j.heliyon.2024.e34898

UNESCO (2022). Reimaginar juntos nuestros futuros: un nuevo contrato social para la educación.unesdoc.unesco.org/in/rest/annotationSVC/DownloadWatermarkedAttachment/attach_import_8c07703c-8338-4584-b2d8-5a0e9c1be018?_=379381spa.pdf&to=11&from=1

Valdez, E., Tobón, S., Luna-Nemecio, J., Pimienta-Priento, J.H. & Juárez-Hernández, L.G. (2021). Sustainaibility and education: solving problems based on mathematics from socioformative approach. Revista Universidad y Sociedad, 13(6), 134-143. https://rus.ucf.edu.cu/index.php/rus/article/view/2374

Yusoff, M.S.B. (2019). ABC of content validation and content validity index calculation. Education in medicine journal, 11(2), 49-54. https://doi.org/10.21315/eimj2019.11.2.6. 
 

Contribución autoral
Enna Ladrón de Guevara Bazarte. Conceptualización, curación de datos, investigación, metodología, recogida de datos, administración del proyecto, redacción del borrador original, redacción, revisión y edición.
Luis Gibran Juárez Hernández. Curación de datos, análisis formal, supervisión, validación, visualización, redacción, revisión y edición.

Declaración de conflictos de interés:
Loa autores declaran que no existen conflicto de intereses.

Atenas Nro. 62 (2024) ISSN: 1682-2749

https://atenas.umcc.cu