Richard Shavelson
Un asunto critico de la evaluación educativa es si esta última debiera basarse en evidencia estandarizada (sumativa, a menudo cuantitativa) o contextualizada (formative, a menudo cualitativa). El autor de este artículo aconseja a los lectores cuidarse de las falsas dicotomías. El meollo del asunto no es si la evaluación debiera ser estandarizada o contextualizada, sino más bien si la evidencia recuperada responde rigurosamente a las preguntas de política y/o de prácticas que guían la evaluación. Las preguntas que se formulan, a su vez, dirigen los diseños de evaluación que pueden ser estandarizados (sumativos), contextualizados (formativos) o ambos. Tres preguntas generales conducen la investigación y la evaluación: 1) Descriptiva - ¿qué está pasando? 2) Causal, ¿hay un efecto sistemático? 3) De procesos o mecanismos: Por qué o cómo pasa lo que está pasando. Dependiendo de la naturaleza de las preguntas, se puede recopilar información sumativa o formativa. Igualmente importantes son las políticas, los métodos e instrumentos de medición y los diseños al conducir las evaluaciones. Ignorarlas es asumir fuertes riesgos. Ejemplos concretos obtenidos de contextos políticos, estadísticos y de medición muestran como estos supuestos o falsas percepciones pueden fortalecer o cambiar los resultados de la evaluación.
A critical issue in educational evaluation is whether evaluations should focus on standardized (summative, often quantitative) or contextualized (formative or often qualitative) evidence. The author of this article advises readers to beware of false dichotomies. The big issue is not whether evaluations should be “standardized” or “contextualized” but rather whether the evidence collected rigorously addresses the policy and/or practice questions driving the evaluation. The questions asked, in turn, lead to evaluation designs which may be standardized (summative), contextualized (formative) or both. Three general questions drive research and evaluation: (1) Descriptive—What’s Happening? (2) Causal—Is there a systematic effect? and (3) Process or mechanism—Why or how is it happening? Depending on the nature of the question, summative and/or formative data might be collected. Equally important are politics, measurement methods and modeling in conducting evaluations. Ignore these matters at your peril. Concrete examples show how assumptions and misperceptions can upend or change the outcomes of evaluation; they are drawn from political, measurement and statistical modeling contexts.
Uma questão crítica da avaliação educacional é se esta deve ser baseada em evidências padronizadas (sumativa, muitas vezes quantitativa) ou contextualizada (formativa, muitas vezes qualitativa). O autor deste artigo aconselha os leitores a cuidar de falsas dicotomias. O cerne da questão não é se a avaliação deve ser padronizada ou contextualizada, mas sim se a evidência recuperada responde rigorosamente às questões políticas e/ou práticas que orientam a avaliação. As perguntas formuladas, por sua vez, direcionam os desenhos de avaliação que podem ser padronizados (sumativos), contextualizados (formativos) ou ambos. Três questões gerais orientam pesquisa e avaliação: 1) Descritivo - o que está acontecendo? 2) Causal, existe um efeito sistemático? 3) Processos ou mecanismos: Por que ou como acontece o que está acontecendo? Dependendo da natureza das perguntas, informações somativas ou formativas podem ser coletadas. Igualmente importantes são as políticas, métodos e instrumentos de medição e projetos durante a realização de avaliações. Ignorá-los é assumir fortes riscos. Exemplos concretos obtidos a partir de contextos políticos, estatísticos e de medição mostram como essas suposições ou falsas percepções podem fortalecer ou alterar os resultados da avaliação.