Acceso usuarios
Matthew Truwit
, Emanuele Bardelli, Matthew Ronfeldt
La mayoría de las investigaciones de evaluación no logran anticipar adecuadamente las consecuencias no deseadas, permitiendo implícitamente la posibilidad de repercusiones negativas siempre que queden fuera del alcance de la política analizada. Sin embargo, simular cómo iniciativas prometedoras podrían ampliarse a nivel de política educativa ofrece tanto a los investigadores como a los responsables de políticas una vía para no solo investigar, sino también abordar de manera preventiva dichos efectos secundarios perniciosos. En este estudio presentamos un ejemplo ilustrativo de este tipo de investigación evaluativa prospectiva, generando escenarios hipotéticos de la implementación estatal de una iniciativa algorítmica de formación docente que, según investigaciones previas, ha mostrado efectos positivos en la mejora de la calidad de las prácticas profesionales de los futuros docentes. Al comparar estos escenarios de implementación plausibles con los registros históricos de prácticas profesionales que los programas realmente realizaron, podemos no solo identificar las inequidades no deseadas pero previsibles que esta iniciativa introduciría si se adoptara a gran escala, sino también realizar ajustes algorítmicos proactivos que eviten su aparición sin disminuir los impactos positivos previstos, todo ello antes de causar daño en el mundo real.
A maior parte das pesquisas de avaliação não consegue antecipar adequadamente as consequências não intencionais, permitindo implicitamente a possibilidade de repercussões negativas desde que estejam fora do escopo da política analisada. No entanto, simular como iniciativas promissoras poderiam ser ampliadas para o nível de política educacional oferece tanto a pesquisadores quanto a formuladores de políticas uma maneira de não apenas investigar, mas também abordar preventivamente esses possíveis efeitos colaterais nocivos. Este estudo apresenta um exemplo ilustrativo desse tipo de pesquisa avaliativa prospectiva, gerando cenários hipotéticos da implementação em todo o estado de uma iniciativa algorítmica de formação de professores que, em pesquisas anteriores, demonstrou efeitos positivos na melhoria da qualidade dos estágios de formação inicial docente. Ao comparar esses cenários plausíveis de implementação com os registros históricos dos estágios que os programas realmente realizaram, conseguimos não apenas identificar as desigualdades não intencionais, mas previsíveis, que essa iniciativa introduziria se fosse adotada em larga escala, como também fazer ajustes algorítmicos proativos que evitem sua ocorrência sem reduzir os impactos positivos pretendidos — tudo isso antes de causar danos no mundo real.
Most evaluation research fails to adequately anticipate unintended consequences, thereby implicitly permitting the possibility of negative repercussions so long as they fall out of the purview of the policy under study. Simulating how otherwise promising initiatives might scale into educational policy, however, offers both researchers and policymakers a way to not only investigate but also preemptively address any such possible, pernicious side effects. We provide an illustrative example of this kind of forward-thinking evaluation research by generating hypothetical scenarios of the statewide implementation of an algorithmic teacher education initiative shown in prior research to have positive intended effects on improving the quality of preservice teachers’ clinical placements. By comparing these plausible implementation scenarios against the historical record of clinical placements that programs actually made, we are able to not only uncover the unintended but anticipated inequities that this initiative would likely introduce if adopted at scale but also proactively make algorithmic adjustments that prevent their occurrence without diminishing any intended positive impacts, all before causing real-world harm.
