Auditoria i control dels sistemes d’intel·ligència artificial d’alt risc al sector públic

• Autores: Josep Cañabate Pérez
• Localización: Revista catalana de dret públic, ISSN 1885-5709, ISSN-e 1885-8252, Nº. 71, 2025 (Ejemplar dedicado a: L'impacte del Reglament europeu d'intel·ligència artificial al sector públic,)
• Idioma: catalán
• DOI: 10.58992/rcdp.i71.2025.4506
• Enlaces
  • Texto completo
• Resumen

  • Aquest article analitza els mecanismes d’auditoria i control dels sistemes d’intel·ligència artificial (IA) al sector públic en el marc del Reglament europeu d’IA (RIA). S’hi exposen instruments com el sistema de gestió de la qualitat, les avaluacions de conformitat i la vigilància postcomercialització, especialment en relació amb els sistemes d’alt risc utilitzats per les administracions públiques. A la segona part del text s’aborden els conceptes d’auditoria algorítmica i de governança de la IA, amb una atenció especial a la norma ISO/IEC 42001:2023, que estableix els requisits per implementar un sistema de gestió de la IA alineat amb principis ètics i normatius. L’estudi defensa una auditoria tecnosocial, transversal i independent com a eina essencial per garantir la rendició de comptes, la protecció dels drets fonamentals, el respecte als valors ètics i democràtics i una visió humanocèntrica del desenvolupament i ús de la IA.

• Referencias bibliográficas
  • Agencia Española de Protección de Datos (AEPD). (2021). Requisitos para auditorías de tratamientos que incluyan IA.
  • Alamillo Domingo, Ignacio. (2024). Sujetos y agentes en evaluaciones de conformidad (organismos notificados). Dins Lorenzo Cotino Hueso i...
  • Álvarez García, Vicente. (2017). La confirmación por parte de la jurisprudencia del Tribunal de Justicia de la Unión Europea de la capacidad...
  • Álvarez García, Vicente. (2020). Las normas técnicas armonizadas (Una peculiar fuente del Derecho europeo). Iustel.
  • Álvarez García, Vicente. (2023). Los instrumentos normativos reguladores de las especificaciones técnicas en la Unión Europea: un breve ensayo...
  • Álvarez García, Vicente, i Tahiri Moreno, Jesús. (2023). La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora...
  • Álvarez García, Vicente. (2024). La aplicación de las normas armonizadas y de las especificaciones comunes en el ámbito de la inteligencia...
  • Barrachina Navarro, Gal·la, i Boix Palop, Andrés. (2024). La aplicabilidad del Reglamento europeo de inteligencia artificial al ámbito de...
  • Binns, Reuben. (2018). Algorithmic Accountability and Public Reason. Philosophy & Technology, 31, 543-556. https://doi.org/10.1007/s13347-017-0263-5
  • Blanchard, Alexander, Thomas, Christopher, i Taddeo, Mariarosaria. (2025). Ethical governance of artificial intelligence for defence: Normative...
  • Boix Palop, Andrés. (2020). Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a...
  • Bradford, Anu. (2023). Digital empires: The global battle to regulate technology. Oxford University Press.
  • Brown, Shea, Davidovic, Jovana, i Hasan, Ali. (2021). The algorithm audit: Scoring the algorithms that score us. Big Data & Society, 8(1)....
  • Carlón Ruiz, Matilde. (2024). Las administraciones públicas ante la inteligencia artificial. Tirant lo Blanch.
  • CEN-CENELEC JTC 21, Task Group Inclusiveness. (2025). Artificial Intelligence standardisation. Inclusiveness newsletter, 10.
  • Cerrillo i Martínez, Agustí. (2019). Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en...
  • Cerrillo i Martínez, Agustí. (2020a). ¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos? European Review...
  • Cerrillo i Martínez, Agustí. (2020b). El impacto de la inteligencia artificial en las Administraciones públicas: estado de la cuestión y una...
  • Cerrillo i Martínez, Agustí. (2024). Retos y oportunidades de la regulación española de la inteligencia artificial. Dins Agustí Cerrillo i...
  • Cotino Hueso, Lorenzo. (2023). Los usos de la inteligencia artificial en el sector público, su variable impacto y categorización jurídica....
  • Darnaculleta i Gardella, Maria Mercè. (2005). Autorregulación y derecho público: la autorregulación regulada. Marcial Pons.
  • Delle Cave, Gianluigi. (2024). L’amministrazione algorítmica dal punto de vista del controlo: revisori digitali e audit pubblici “a valle”...
  • Durante, Massimo, i Floridi, Luciano. (2022). A legal principles-based framework for AI liability regulation. Dins Jakob Mökander i Marta...
  • Eticas. (2022). Auditoría externa del sistema VioGén. Fundación Ana Bella.
  • Eticas. (2021). Guía de auditoría algorítmica.
  • Galdon Clavell, Gemma. (2023). AI Audit. Checklist for AI Auditing. EDPB.
  • Information Systems Audit and Control Association (ISACA). (2018). COBIT 2019 framework: Introduction and methodology.
  • Mantelero, Alessandro. (2022). Beyond data. Human rights, ethical and social impact assessment in AI. Springer.
  • Mantelero, Alessandro. (2024). El Reglamento de inteligencia artificial: la respuesta del legislador europeo a los retos de la inteligencia...
  • Martínez Garay, Lucía, Boix Palop, Andrés, Briz Redón, Álvaro, Flores Giménez, Fernando, García Ortiz, Andrea, Molina Sánchez, Mireia, Montes...
  • Matias, J. Nathan. (2023). Humans and algorithms work together – so study them together. Nature, 617, 248-251. https://doi.org/10.1038/d41586-023-01521-z
  • Metaxa, Danaë, Park, Joon Sung, Robertson, Ronald E., Karahalios, Karrie, Wilson, Christo, Hancock, Jeff, i Sandvig, Christian. (2021). Auditing...
  • Mökander, Jakob, Axente, Maria, Casorali, Federico, i Floridi, Luciano. (2021). Conformity assessments and post-market monitoring: A guide...
  • National Institute of Standards and Technology (NIST). (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100...
  • Novelli, Claudio, Taddeo, Mariarosaria, i Floridi, Luciano. (2024). Accountability in artificial intelligence: What it is and how it works....
  • Palma Ortigosa, Adrián. (2019). Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos. Revista...
  • Palma Ortigosa, Adrián. (2024a). La evaluación de la conformidad en el diseño y producción de sistemas basados en IA en el contexto del “Nuevo...
  • Palma Ortigosa, Adrián. (2024b). La detección de sesgos algorítmicos como base para tratar datos personales de categoría especial en el reglamento...
  • Pasquale, Frank. (2015). The black box society: The secret algorithms that control money and information. Harvard University Press.
  • Ponce Solé, Juli. (2022). Reserva de humanidad y supervisión humana de la inteligencia artificial. El Cronista del Estado Social y Democrático...
  • Ponce Solé, Juli. (2024). El Reglamento de Inteligencia Artificial de la Unión Europea de 2024, el derecho a una buena administración digital...
  • Presno Linera, Miguel Ángel. (2023). Derechos fundamentales e inteligencia artificial. Marcial Pons.
  • Raji, Inioluwa Deborah, Smart, Andrew, White, Rebecca N., Mitchell, Margaret, Gebru, Timnit, Hutchinson, Ben, Smith-Loud, Jamila, Theron,...
  • Raji, Inioluwa Deborah, Xu, Peggy, Honigsberg, Collen, i Ho, Daniel. (2022). Outsider oversight: Designing a third party audit ecosystem for...
  • Secretary JTC 21. (2025, 23 de maig). Successful JTC 21 plenary in Stavanger 2025 AI standardization forward. JTC 21 Artificial Intelligence,...
  • Soler Garrido, Josep, de Nigris, Sarah, Sánchez, Ignacio, Evas, Tatjana, André, Antoine-Alexandre, i Boulangé, Thierry. (2024). Harmonised...
  • Soler Garrido, Josep, Fano Yela, Delia, Panigutti, Celia, Junklewitz, Henrik, Hanon, Ronan i Evas, Tajnana. (2023). Analysis of preliminary...
  • Soriano Arnanz, Alba. (2023). Creating non-discriminatory Artificial Intelligence systems: Balancing the tensions between code granularity...
  • The Institute of Internal Auditors (IIA). (2016). Standard 2110 – Governance. Implementation guide.
  • The Institute of Internal Auditors (IIA). (2024). The IIA’s artificial intelligence auditing framework.
  • Theodorou, Andres, i Dignum, Virginia. (2020). Towards ethical and socio-legal governance. AI. Nature Machine Intelligence, 2, 10-12. https://doi.org/10.1038/s42256-019-0136-y
  • Yasar, Kinza, Kirvan, Paul, i Gillis, Alexander S. (2025, 13 d’agost). What is governance, risk and compliance (GRC)? TechTarget.
  • Zinda, Nathaniel. (2022). Ethics auditing framework for trustworthy AI: lessons from the IT Audit Literature. Dins Jakob Mökander i Marta...