Acceso usuarios
Nadya González Romero, Mario Fernando Gutiérrez Romero, Juliana Angélica Molina Ríos, Tatiana Mesa Hoyos, Olga Alicia Carbonell
El presente artículo reporta el proceso de diseño y validación del instrumento de evaluación de la calidad narrativa (ecan), cuyo objetivo es permitir la valoración de relatos ficticios producidos de manera oral y espontánea. La fase de diseño implicó la identificación de los criterios de evaluación, su operacionalización y ponderación. Una prueba piloto y un proceso de evaluación de intercodificadores permitieron su ajuste. Posteriormente, se llevó a cabo un proceso de validación empírica, en un corpus de 184 relatos producidos por 66 madres colombianas a través del Attachment Script Assessment. El análisis estadístico —como los coeficientes de alpha de Cronbach e interclase, chi cuadrado, las pruebas de Kaiser-Meyer-Olkin y de esfericidad de Bartlett, y un análisis de conglomerado bietápico— mostró que el instrumento alcanza una alta consistencia interna, una confiabilidad intercodificadores muy significativa y una validez de contenido significativa. También mostró que, con el entrenamiento adecuado, el ecan permite una evaluación de los relatos sin sesgos y errores, lo que implica que su uso es confiable y necesario para indagar sobre la calidad del discurso narrativo en contextos diversos.
This article reports the design and validation of the narrative quality assessment instrument (ecan, in Spanish), whose objective is to allow the valuation of fictional recounts that are produced orally and spontaneously. The phase of design involved the identification of the evaluation criteria, their operationalization and weighting. A pilot test and an interrater evaluation process allowed for its adjustment. Later, an empirical validation process was carried out on a corpus of 184 recounts produced by 66 Colombian mothers. Statistical analyzes, such as Cronbach alpha and inter-class coefficients, Chi Square, Kaiser-Meyer-Olkin (kmo) tests, Bartlett’s sphericity and a two-stage conglomerate analysis; revealed a high internal consistency, a very significant interrater reliability and a significant content validity. The analyses also showed that by using an adequate training, the ecan allows for an evaluation of the recounts without biases and errors, which makes the instrument not only reliable but also necessary to inquire about the quality of narrative discourse in diverse contexts.
Cet article rend compte du processus de conception et de validation de l'instrument d'évaluation de la qualité narrative (ecan), dont l'objectif est de permettre l'évaluation de récits fictifs produits oralement et spontanément. La phase de conception a impliqué l'identification des critères d'évaluation, leur opérationnalisation et leur pondération. Un test pilote et un processus d'évaluation de l’accord des différents évaluateurs ont permis son ajustement. Par la suite, un processus de validation empirique a été mené, dans un corpus de 184 récits produits par 66 mères colombiennes à travers le Attachment Script Assessment. Des analyses statistiques - telles que le coefficient alpha de Cronbach et le coefficient de corrélation interclasse, le chi carré, le test Kaiser-Meyer-Olkin (kmo), le test de sphéricité de Bartlett et une analyse de cluster en deux étapesont montré que l'instrument atteint une cohérence interne élevée, une fiabilité des différents évaluateurs et une validité de contenu très significatives. Il en ressort également qu'avec une formation adéquate, l'ecan permet une évaluation des récits sans biais ni erreurs, ce qui implique que son utilisation est fiable et nécessaire pour rechercher à propos de la qualité du discours narratif dans différents contextes.
