Expertos alertan sobre amenazas a garantías civiles en algoritmos policiales y penitenciarios.

Valencia se sacude con un estudio revelador sobre la falta de transparencia y posibles sesgos en herramientas policiales y penitenciarias Expertos en Derecho, Matemáticas y Estadística de la Universitat de València UV y la Politècnica de València UPV han analizado tres sistemas que funcionan con Inteligencia Artificial IA o algoritmos y han descubierto que podrían estar pisando los derechos fundamentales de los ciudadanos y escondiendo discriminaciones hacia colectivos vulnerables.

La alarma se enciende con VioGén, un instrumento de la policía española que evalúa el riesgo de revictimización de mujeres maltratadas; RisCanvi, usada por el sistema de cárceles catalán para tomar decisiones sobre el régimen y el tratamiento, y VeriPol, una herramienta de IA de la policía española que detecta denuncias falsas de robo a través del análisis de patrones de lenguaje natural.

El estudio, dirigido por la profesora de Derecho Penal de la UV Lucía Martínez Garay, destapa deficiencias generales en el cumplimiento de las normas de protección de datos y en la transparencia de estos sistemas. La situación es desigual: RisCanvi es la más transparente y Veripol, la más opaca. Además, advierten que será necesario un esfuerzo extra cuando el Reglamento europeo sobre Inteligencia Artificial RIA entre en vigor, especialmente en lo que respecta a la evaluación de sus efectos sobre los derechos fundamentales.

Pero eso no es todo. El informe también señala que es difícil estudiar sistemáticamente los posibles sesgos o discriminaciones debido a la falta de datos e información públicamente accesibles. Sin embargo, el estudio sugiere que algunos colectivos podrían estar en desventaja: VioGén parece ser menos eficaz a la hora de proteger a mujeres víctimas de origen no español y RisCanvi podría ser más severo con personas con problemas de salud mental, adicciones o una situación socioeconómica desfavorable.

Hasta dónde es legítimo usar información sensible El informe cuestiona la legitimidad y proporcionalidad de usar información personal muy sensible para estimar riesgos de reincidencia que apoyen decisiones restrictivas de derechos. Además, los expertos señalan que la capacidad predictiva de estas herramientas es desigual y dudan de su eficacia a la hora de detectar casos de riesgo alto.

En definitiva, este estudio deja al descubierto importantes carencias en herramientas que se suponen objetivas y justas. Podrían estar poniendo en peligro nuestros derechos fundamentales Es hora de poner el foco en la transparencia y la rendición de cuentas