Intervención, supervisión y control humano en las decisiones automatizadas

Michelle Azuaje Pirela; Alberto Coddou; Pablo Contreras Vásquez; Pablo Viollier Bonvin

Intervención, supervisión y control humano en las decisiones automatizadas

Azuaje Pirela, Michelle Carolina ^[1] ; Coddou Mc Manus, Alberto ^[2] ; Contreras Vásquez, Pablo ; Viollier Bonvin, Pablo
1. [1] Universidad Alberto Hurtado
  
  Universidad Alberto Hurtado
  
  Santiago, Chile
2. [2] Pontificia Universidad Católica de Chile
  
  Pontificia Universidad Católica de Chile
  
  Santiago, Chile
Localización: Derecho PUCP: Revista de la Facultad de Derecho, ISSN 0251-3420, ISSN-e 2305-2546, Nº. 95, 2025 (Ejemplar dedicado a: La Corrupción como Fenómeno Global), págs. 189-226
Idioma: español
DOI: 10.18800/derechopucp.202502.006
Títulos paralelos:
- Human Intervention, Oversight and Control in Automated Decision-Making
Enlaces
- Texto completo (pdf)
Resumen
- español
  En este artículo se describe y analiza la supervisión y el control humano en el contexto de las decisiones automatizadas en Chile y la Unión Europea. Particularmente, se examinan normas sobre medidas de control y supervisión humana adoptadas (o en vías de adopción) en los ámbitos: protección de datos personales, regulación de la inteligencia artificial y trabajo en plataformas. Asimismo, se exploran las distintas justificaciones para la intervención humana en dichas áreas, así como las limitaciones y desafíos para su implementación.
- English
  This article describes and analyzes human oversight and control in the context of automated decisions in Chile and the European Union. It examines regulations on human oversight and control measures adopted(or in the process of being adopted) in the areas of personal data protection, regulation of artificial intelligence and platform work. The analysis explores the different justifications for human intervention in these areas, as well as the limitations and challenges to their implementation.
Referencias bibliográficas
- Abraha, H. (2023). Regulating algorithmic employment decisions throughdata protection law. European Labour Law Journal, 14(2), 172-191. https://doi.org/10.1177/20319525231167317
- Adams-Prassl, J., Abraha, H., Kelly-Lyth, A., Silberman, M. ‘Six’, & Rakshita, S.(2023). Regulating algorithmic management: A blueprint....
- Acemoglu, D., & Johnson, S. (2023). Power and progress: Our thousand-year struggle over technology and prosperity. Hachette UK.
- Agencia Española de Protección de Datos. (2024). Evaluación de la intervención humana en las decisiones automatizadas. https://www.aepd.es/prensa-y-comunicacion/blog/evaluacion-de-la-intervencion-humana-en-las-decisiones-automatizadas
- Agudo, U., Liberal, K. G., Arrese, M., & Matute, H. (2024). The impact ofAI errors in a human-in-the-loop process. Cognitive Research,...
- Aloisi, A., Rainone, S., & Countouris, N. (2023). An unfinished task?: Matching the Platform Work Directive with the EU and international....
- Ashwini, K. P. (2024). Informe de la Relatora Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia y formas...
- Atria, F. (2016). La forma del derecho. Madrid: Marcial Pons, Ediciones Jurídicas y Sociales.
- Barona Vilar, S. (2023). Dataización de la justicia (Algoritmos, Inteligencia Artificial y Justicia, ¿el comienzo de una gran amistad?). Revista...
- Barrio Andrés, M. (2024). Capítulo I. Objeto, ámbito de aplicación y sentido del Reglamento Europeo de Inteligencia Artificial. En Moisés...
- Beck, J., & Burri, T. (2024). From ‘Human Control’ in International Law to ‘Human Oversight’ in the New EU Act on Artificial Intelligence....
- Botero Arcila, B. (2024). AI liability in Europe: How does it complement risk regulation and deal with the problem of human oversight? Computer...
- Bradford, A. (2019). The Brussels Effect: How the European Union Rules the World. Nueva York: Oxford Academic. https://doi.org/10.1093/oso/9780190088583.001.0001
- Breidbach, C. (2024). Responsible algorithmic decision-making. Organizational Dynamics, 53(2). https://doi.org/10.1016/j.orgdyn.2024.101031
- Citron, D. K., & Pasquale, F. (2014). The scored society: Due process for automated predictions. Washington Law Review, 89(1). https://digitalcommons.law.uw.edu/wlr/vol89/iss1/2
- Coddou Mc Manus, A., & Padilla Parga, R. (2024). Discriminación algorítmica en los procesos automatizados de reclutamiento y selección...
- Comisión Europea, Dirección General de Redes de Comunicación, Contenido y Tecnologías. (2019). Directrices éticas para una IA fiable. Oficina...
- Connor, K. (2004). Functionalism and Artificial Intelligence. Episteme, 15(1).
- Consejo Superior Laboral. (2024). Evaluación implementación de la Ley 21.431, que modifica el Código del Trabajo, regulando el contrato de...
- Contreras, P. (2022). La protección de datos personales de trabajadores de empresas de plataformas digitales de servicios y la regulación...
- Dowding, K., & Taylor, B. R. (2024). Algorithmic Decision-Making, Agency Costs, and Institution-Based Trust. Philosophy & Technology,...
- European Data Protection Board. (2024). Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the...
- Faúndez-Ugalde, A., & Mellado-Silva, R. (2023). Uso de automatización de procesos robóticos por administraciones tributarias e impacto...
- Gaudeul, A., Arrigoni, O., Charisi, V., Escobar-Planas, M., & Hupont Torres, I. (2024). Understanding the Impact of Human Oversight on...
- Google. (2024). Perspectives on Issues in AI Governance. https://ai.google/static/documents/perspectives-on-issues-in-ai-governance.pdf
- Grupo de trabajo sobre protección de datos del artículo 19 (WP19). (2017). Directrices sobre decisiones individualizadas automatizadas y elaboración...
- Hacker, P. (2023). The European AI liability directives–Critique of a half-hearted approach and lessons for the future. Computer Law &...
- Hoff, K., & Bashir, M. (2015). Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust. Human Factors: The...
- Jiménez López, J. (2024). El Reglamento de Inteligencia Artificial y el Reglamento de protección de datos. En L. Cotino Hueso y P. Simón Castellanos...
- Kaminski, M. (2019). The Right to Explanation, Explained. Berkeley Technology Law Journal, 34(1). https://dx.doi.org/10.2139/ssrn.3196985
- Kellogg, K., Valentine, M., & Christin, A. (2020). Algorithms at Work: The New Contested Terrain of Control. The Academy of Management...
- Klimas, T., & Vaiciukaite, J. (2008). The Law of Recitals in European Community Legislation. ILSA Journal of International & Comparative...
- Laux, J. (2024). Institutionalised distrust and human oversight of artificial intelligence: towards a democratic design of AI governance under...
- Lazcoz Moratinos, G., & Castillo Parrilla, J. A. (2020). Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección...
- Lazcoz Moratinos, G. (2024). La vigilancia o supervisión humana en el artículo 14 del Reglamento de inteligencia artificial: ¿Un mero requisito...
- Ledford, H. (2019). Millions Affected by Racial Bias In Health-Care Algorithm. Nature, 574(7780), 608-609.
- Le Moli, G. (2022). AI vs Human Dignity: When Human Underperformance is Legally Required. Rethinking Capitalism, (4). https://geopolitique.eu/en/articles/ai-vs-human-dignity-when-human-underperformance-is-legally-required/
- López-Tarruella Martínez, A. (2024a). El futuro Reglamento de Inteligencia Artificial y las relaciones con terceros Estados. Revista Electrónica...
- López-Tarruella Martínez, A. (2024b). Derecho a presentar una reclamación y derecho a una explicación. Vías de recurso para los particulares...
- López, C., Davidoff, A., Luco, F., Humeres, M., & Correa, T. (2024). Users’ Experiences of Algorithm-Mediated Public Services: Folk Theories,...
- Matsumi, H., & Solove, D. J. (2023). The Prediction Society: Algorithms and the Problems of Forecasting the Future. Illinois Law Review,...
- Maxwell, W. (2023). Meaningful Human Control to Detect Algorithmic Errors. Artificial Intelligence Law: Between Sectoral Rules and Comprehensive...
- Medina, M. (2022). El derecho a conocer los algoritmos utilizados en la toma de decisiones. Aproximación desde la perspectiva del derecho...
- Míguez Macho, L., & Torres Carlos, M. (2024). Capítulo II. Sistemas prohibidos y sistemas de alto riesgo. En Moisés Barrio Andrés (dir.),...
- Obregón Fernández, A., & Guillermo Lazcoz Moratinos, G. (2021). La supervisión humana de los sistemas de inteligencia artificial de alto...
- Ossandón Cerda, F. (2021). Inteligencia Artificial en las Administraciones Tributarias: Oportunidades y Desafíos. Revista De Estudios Tributarios,...
- Palma Ortigosa, A. (2019). Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos. https://laadministracionaldia.inap.es/noticia.asp?id=1509629
- Ponce del Castillo, A., & Naranjo, D. (2022). Regulating algorithmic management. An assessment of the EC’s draft Directive on improving...
- Ponce Solé, J. (2019). Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido...
- Ponce Solé, J. (2024). Límites jurídicos de la toma de decisiones discrecionales automatizadas mediante inteligencia artificial: Racionalidad,...
- Radtke, T. (2025). Human Oversight under the AI Act and its interplay with Art. 22 GDPR. En B. Raue, A. von Ungern-Sternberg, L. K. Kumkar...
- Ranchordas, S. (2021). Empathy in the digital administrative state. Duke Law Journal, 71, 1341-1389. https://scholarship.law.duke.edu/dlj/vol71/iss6/4
- Rainone, S., & Aloisi, A. (2024). The EU Platform Work Directive: what’s new, what’s missing, what’s next? [ETUI Research Paper]. Policy...
- Robbins, S. (2023). The many meanings of meaningful human control. AI Ethics, 4, 1377-1388. https://doi.org/10.1007/s43681-023-00320-6
- Todolí Sígnes, A. (2024). La regulación de la inteligencia artificial en la Directiva de trabajo en plataformas digitales. LABOS Revista De...
- Veale, M., & Edwards, L. (2018). Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated...
- Viollier, P., & Fischer, E. (2023). La intervención humana como resguardo ante la toma automatizada de decisiones: implicancias éticas...
- Wachter, S., Mittelstadt, B., & Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General...
- Wachter, S. (2022). The theory of artificial immutability: Protecting algorithmic groups under anti-discrimination law. Tulane Law Review,...
- Wieczorek, K. (2021). The Conscience of a Machine? Artificial Intelligence and the Problem of Moral Responsibility. ER(R)GO. Teoria-Literatura-Kultura,...
- Jurisprudencia, normas y otros documentos legales
- Directiva (UE) 2024/2831 del Parlamento Europeo y del Consejo de 23 de octubre de 2024 relativa a la mejora de las condiciones laborales en...
- Directrices Éticas para una IA fiable (Grupo independiente de expertos de alto nivel sobre IA, 8 de abril de 2019). https://digital-strategy.ec.europa.eu/es/library/ethics-guidelines-trustworthy-ai
- Dun & Bradstreet, Sentencia C-203/22 (TJUE, 27 de febrero de 2025).
- Ley N.° 21.719, que regula la protección y el tratamiento de datos personales y crea la Agencia de Protección de Datos Personales (Ministerio...
- Ley N.° 21.431, que modifica el Código del Trabajo regulando el contrato de trabajadores de empresas de plataformas digitales de servicios...
- Proyecto de Ley que Regula los Sistemas de Inteligencia Artificial (Boletín N.° 16821-19, Refundido con: 15869-19) (Cámara de Diputados [Chile],...
- Reglamento (UE) 2016/679, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre...
- Reglamento (UE) 2024/1689, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican múltiples...
- Schufa, Sentencia C-634/21 (TJUE, 7 de diciembre de 2023).
- Sentencia C/09/550982 / HA ZA 18-388 (Corte del Distrito de La Haya [Países Bajos], 5 de febrero de 2020).