Acceso usuarios
[1]
;
Germán Ortiz, Mariana
[2]
;
Tabares Soto, Reinel
[3]
Santiago, Chile
Santiago, Chile
Colombia
Este artículo analiza las distintas métricas de equidad estadística utilizadas para medir el desempeño de los modelos de inteligencia artificial (IA) y propone criterios para su aplicación según el contexto y las implicancias jurídicas involucradas. En particular, el trabajo examina cómo estas métricas pueden contribuir a garantizar el derecho a la igualdad y no discriminación en sistemas algorítmicos implementados por el Estado. La contribución central de este trabajo radica en la construcción de un marco analítico que permite seleccionar métricas de equidad estadística (fairness) según la finalidad del sistema automatizado, la naturaleza del proyecto y los derechos en juego. Por ejemplo, en el ámbito penal, donde está en riesgo la libertad individual, se enfatiza la necesidad de minimizar falsos positivos, mientras que en algoritmos destinados a proteger a víctimas de violencia de género se prioriza reducir falsos negativos. En contextos como la contratación pública, se evalúa la equidad grupal mediante métricas como el impacto dispar o la paridad demográfica, y en sectores como la fiscalización tributaria o el diagnóstico médico, se privilegian la precisión predictiva y la eficiencia. A partir de un enfoque interdisciplinario, el artículo propone una mirada sociotécnica que integra perspectivas técnicas y jurídicas. Se destaca la necesidad de evitar la “trampa del formalismo”, consistente en que la equidad se reduce a métricas abstractas sin considerar el contexto social y político. Finalmente, se subraya que la adopción de métricas adecuadas no solo permite detectar y mitigar sesgos algorítmicos, sino también contribuir a la implementación de sistemas de IA más justos y transparentes, alineados con principios fundamentales de igualdad y no discriminación.
Neste artigo, analisam-se as diferentes métricas estatísticas de equidade utilizadas para medir o desempenho de modelos de inteligência artificial (IA) e se propõem critérios para sua aplicação de acordo com o contexto e com as implicações legais envolvidas. Em particular, examina-se como essas métricas podem contribuir para garantir o direito à igualdade e à não discriminação nos sistemas algorítmicos implementados pelo Estado. A contribuição central deste trabalho reside na construção de um quadro analítico que permita a seleção de métricas de equidade estatística (fairness) de acordo com a finalidade do sistema automatizado, com a natureza do projeto e com os direitos envolvidos. Por exemplo, na esfera criminal, em que a liberdade individual está em risco, enfatiza-se a necessidade de minimizar os falsos positivos, enquanto os algoritmos voltados para a proteção das vítimas de violência de gênero priorizam a redução dos falsos negativos. Em contextos como a contratação pública, avalia-se a equidade do grupo usando métricas como impacto díspar ou paridade demográfica, e em setores como auditoria fiscal ou diagnóstico médico, priorizam-se a precisão preditiva e a eficiência. A partir de uma abordagem interdisciplinar, o artigo propõe uma perspectiva sociotécnica que integra perspectivas técnicas e jurídicas. Destaca-se a necessidade de evitar a “armadilha do formalismo”, que consiste em reduzir a equidade a métricas abstratas sem considerar o contexto social e político. Por fim, ressalta-se que a adoção de métricas adequadas não apenas permite detectar e mitigar vieses algorítmicos, mas também contribui para a implementação de sistemas de IA mais justos e transparentes, alinhados aos princípios fundamentais de igualdade e de não discriminação.
This article examines the different statistical fairness metrics used to evaluate the performance of artificial intelligence (AI) models and proposes criteria for selecting them based on context and legal implications. It focuses in particular on how these metrics can help safeguard the right to equality and non-discrimination in algorithmic systems implemented by the state. Its core contribution is the development of an analytical framework for choosing fairness metrics according to the purpose of the automated system, the nature of the project, and the rights at stake. For example, in the criminal justice system—where individual liberty is at risk—the emphasis is on minimizing false positives. In contrast, for algorithms designed to protect victims of gender-based violence, the priority is to reduce false negatives. In areas like public procurement, group fairness is assessed using metrics such as disparate impact or demographic parity. In sectors like tax enforcement or medical diagnostics, the focus is on predictive accuracy and efficiency. Taking an interdisciplinary approach, the article puts forward a sociotechnical perspective that brings together technical and legal insights. It highlights the need to avoid the “formalism trap,” where fairness is reduced to abstract metrics without accounting for the broader social and political context. Finally, it argues that selecting appropriate metrics not only helps identify and mitigate algorithmic bias but also contributes to building AI systems that are fairer and more transparent, and that align with fundamental principles of equality and non-discrimination.
