Por Pablo Corso para RP. En octubre del año pasado, un estudio de la revista Science advirtió que uno de los sistemas informáticos más usados para asignar cuidados de salud en los hospitales estadounidenses discriminaba a los pacientes negros. Cuando dos personas de distinto color tenían las mismas necesidades, el algoritmo priorizaba a los blancos. La revelación surgió gracias al trabajo de Ziad Obermeyer, un investigador de la Universidad de California. Cuando su equipo estudió las estadísticas que recibían de los centros de atención, encontró que quienes se auto-identificaban como negros recibían una calificación de riesgo más baja que los blancos, lo que repercutía en una menor chance de asistencia.
El reporte trajo más conclusiones impactantes. Aunque las personas negras solían estar en peores condiciones (con mayor prevalencia de diabetes, anemia y fallas en los riñones), se les asignaban cuidados por un promedio de 1.800 dólares menos. “Este acceso reducido se debe a los efectos del racismo sistémico, que oscila entre la desconfianza al sistema de salud y la discriminación racial directa de los proveedores de servicios”, concluyó la revista Nature. El corolario eran evidente: para recibir la misma cantidad y calidad de ayuda que los blancos, los negros tenían que estar más enfermos.
La injusticia en los algoritmos tiene antecedentes. En junio de 2015 un usuario de Google Photos descubrió que el programa etiquetaba a sus amigos negros como gorilas: la inteligencia artificial (IA) era incapaz de distinguir una tez oscura de otra. A principios de 2018, una investigación de la Universidad de Darmouth confirmó el sesgo racista de Compas, el sistema que usan los jueces estadounidenses para apoyar sus decisiones. El software desaconsejaba la libertad de los negros -a quienes además perjudicaba con falsos positivos, pronosticando más reincidencias que las reales- con mayor frecuencia que la de los blancos, a quienes beneficiaba con falsos negativos.
“Si la estadística dice que la mayoría de los acusados de un crimen son personas negras, el sistema asume que es más probable que los culpables sean negros”, explicó a este cronista Viviana Cotik, docente e investigadora del Departamento de Computación de la UBA. En Argentina empezó a comprobarse cómo la masificación de estos sistemas también podía romper barreras éticas, como cuando Juan Manuel Urtubey anunció que la gobernación salteña usaría técnicas de IA para detectar qué niñas estaban “predestinadas” a quedar embarazadas. En vez de centrarse en la educación sexual, el modelo replicaba prejuicios como asociar el embarazo a la pobreza, o la promiscuidad a determinadas etnias y lugares.
Caja negra
¿Qué pasa cuando el sesgo de los algoritmos cae en manos de las fuerzas de seguridad? A grandes rasgos, hay dos tipos de herramientas, explicó en julio el sitio Technology Review. Las que se basan en la ubicación trazan algoritmos de acuerdo a las relaciones entre lugares, eventos y tasas de crimen históricas para predecir dónde y cuándo es más probable que vuelvan a suceder: un pronóstico climático del crimen. Otras aplicaciones tienen en cuenta las características personales (edad, género, estado civil, antecedentes) para predecir quién tiene mayor chance de delinquir: el principio en que se basan Compas y el software salteño.
Lejos de repensar las consecuencias del uso masivo de estos sistemas, los distintos gobiernos los están fortaleciendo. Cuando estallaron las protestas por el asesinato de George Floyd, algunos decidieron redoblar el uso de algoritmos predictivos. “Bajo el clima actual, debemos combatir el crimen de forma diferente”, escribió a sus subordinados el comisionado del Departamento de Policía de Nueva York, Dermot Shea. “Lo haremos con menos detenciones callejeras -exponiéndolos a menores peligros y responsabilidades- y un mejor uso de los datos, la inteligencia y toda la tecnología a nuestra disposición. Esto significa redoblar los esfuerzos de vigilancia de precisión”. Varios expertos sugieren que el foco debería estar precisamente sobre ese concepto. “El racismo siempre se trató de predecir, de hacer que ciertos grupos raciales parezcan predispuestos a hacer cosas malas y por lo tanto, de justificar que se los controle”, advirtió Dorothy Roberts, especialista en leyes y derechos sociales de la Universidad de Pensilvania.
Pajarito blanco
En estos días, la alerta creciente por el racismo tecnológico se extendió a las redes. Distintos usuarios fueron revelando que, cuando en un mismo tuit se postean fotos de una persona blanca y otra negra, la previsualización de Twitter suele priorizar a la primera. Así lo demostró Tony Arcieri, un programador y especialista en criptomonedas que publicó fotos de Barack Obama y Mitch McConnell, el líder de la mayoría republicana en el Senado (foto). Sin importar el orden ni la disposición de las imágenes, y aún alterándolas para descartar otras causas, el preview siempre mostraba al político blanco.
El descubrimiento se volvió tendencia cuando los usuarios empezaron a repetir la prueba con perros (Twitter prefería a los labradores blancos por sobre los negros), dibujos animados (la red elegía a Lenny y no a su amigo y compañero Carl, de Los Simpsons) y cualquier otra imagen que confirmara su hipótesis.En busca de frenar la viralización -y el lapidamiento público- la oficial de comunicaciones de la empresa, Liz Kelley, aseguró que no habían encontrado evidencia de sesgos raciales en sus evaluaciones internas. “Está claro que tenemos que hacer más análisis”, se sinceró. En esa línea de corrección política, el director de tecnología Parag Agrawal reconoció que la plataforma necesita “mejoras continuas” y que estaba “ansioso por aprender” de la experiencia.
En un sentido técnico, la solución es sencilla: resetear los algoritmos con una variable nueva. ¿Pero cuál es esa variable? “¿Cómo trabajás sobre el sesgo y la injusticia inherentes a la sociedad?”, pregunta Obermeyer. En una segunda mirada, los problemas técnicos no son estrictamente técnicos. Falta diversidad entre los diseñadores de algoritmos y capacitación sobre el contexto histórico y social en su trabajo, plantea Ruha Benjamin, socióloga de Princeton. “No podemos confiar en que las personas que actualmente diseñan estos sistemas puedan anticipar o mitigar completamente los daños asociados a la automatización”. Más directo, el científico computacional Rayid Ghani se queja de “estos algoritmos llamados seres humanos, que son realmente sesgados. Los testeamos y sabemos que son horribles, pero los seguimos usando para tomar decisiones realmente importantes todos los días”.