Los organismos públicos ya están utilizando sistemas automatizados basados en inteligencia artificial, es una realidad. Las nuevas tecnologías están cada vez más presentes en procesos de tomas de decisiones que antes se realizaban de forma analógica.
Así, se asignan recursos y partidas presupuestarias a diferentes administraciones impulsadas por IA, se digitaliza el empleo y la educación a través de herramientas de evaluación y algoritmos de coincidencia. En la justicia y otros ámbitos, ocurre lo propio, los algoritmos de evaluación de riesgos y los predictivos se utilizan para analizar situaciones y fijar sentencias, por ejemplo.
Por esta razón, los investigadores y formuladores de políticas debaten cuándo y dónde los sistemas de decisión automatizados son apropiados en áreas especialmente sensibles. Para responder estos interrogantes y darle un marco a la cuestión, es que la AI Now Institute de la New York University publicó el informe: Algorithmic impact assessments: a practical framework for public agency accountability.
En un terreno exploratorio relativo a la administración pública, los expertos se plantean cómo evaluar los impactos a corto y largo plazo de estos sistemas, a qué intereses atienden, y si son lo suficientemente sofisticados como para lidiar con contextos sociales e históricos complejos.
Estas preguntas son esenciales, y el desarrollo de respuestas sólidas, identifican los autores, se ha visto obstaculizado en parte por la falta de información y acceso al funcionamiento de dichos sistemas de “cajas negras“: herramientas de software opacas que funcionan fuera del alcance del escrutinio y la rendición de cuentas.
El informe reconoce que los propios gobiernos están luchando por evaluar cómo se usan estos sistemas, si producen impactos dispares y cómo hacer que rindan cuentas, aunque actualmente, pocas naciones regulaciones sobre divulgación de información sobre los sistemas de IA que tienen o están planeando usar. La urgencia de esta preocupación es la razón por la cual AI Now Institute recomienda el fin del uso de sistemas no auditados de “caja negra” por parte de los gobiernos.
El marco de Evaluación de Impacto Algorítmico de 5 claves propuesto en este informe está diseñado para apoyar a las comunidades afectadas a medida que buscan evaluar los reclamos hechos sobre estos sistemas.
El paso a la automatización no tiene por qué impedir que los gobiernos sostengan la equidad, la justicia y la lucha contra la discriminación o la privación de derechos, sostienen los autores.
Reisman, D; Schultz, J; Crawford, K & Whittaker, M. Algorithmic impact assessments: a practical framework for public agency accountability. AI NOW. 2018.