Los algoritmos de las computadoras ayudan a generar prejuicios en los sistema de salud de EE.UU
Las personas pueden ser parciales, incluso sin darse cuenta, pero los programas de computadora no deberían tener ningún motivo para discriminar a los pacientes negros al predecir sus necesidades de atención médica. ¿Verdad?
Incorrecto, sugiere una nueva investigación.
Los científicos que estudian un algoritmo ampliamente utilizado, típico del tipo que usan las aseguradoras de salud para tomar decisiones cruciales de atención para millones de personas, han descubierto evidencia significativa de sesgo racial a la hora de predecir los riesgos para la salud de los pacientes negros.
La hija de Tania Alvarado, de 13 años, ya no sonríe mucho.
Los hallazgos, descritos el jueves en la revista Science, tienen implicaciones de largo alcance para la salud y el bienestar de los estadounidenses a medida que dependemos cada vez más de las computadoras para convertir los datos sin procesar en información útil. Los resultados también apuntan a la raíz del problema, y no es el programa de computadora.
“No deberíamos culpar al algoritmo”, dijo el líder del estudio, Dr. Ziad Obermeyer, investigador de aprendizaje automático y salud en UC Berkeley. “Deberíamos culparnos a nosotros mismos, porque el algoritmo sólo está aprendiendo de los datos que le damos”.
Un algoritmo es un conjunto de instrucciones que describen cómo realizar una determinada tarea. Una receta para brownies es un algoritmo. También lo es la lista de vueltas para conducir hacia la fiesta de tu amigo.
El difunto Uwe Reinhardt, en un último libro póstumo, explica todo lo que necesita saber sobre nuestro disfuncional sistema de salud.
Un algoritmo informático no es diferente, excepto que está escrito en código en lugar de palabras. Hoy en día, se utilizan para orientar anuncios en línea, reconocer caras y encontrar patrones en conjuntos de datos a gran escala, con la esperanza de convertir el mundo en un lugar más eficiente, comprensible (y para las empresas, más rentable).
Pero si bien los algoritmos se han vuelto más potentes y ubicuos, se ha acumulado evidencia de que reflejan e incluso amplifican los prejuicios y el racismo del mundo real.
Se descubrió que un algoritmo utilizado para determinar las penas de prisión es racialmente parcial, prediciendo incorrectamente un mayor riesgo de reincidencia para los acusados negros y un menor riesgo para los acusados blancos. Se ha demostrado que el software de reconocimiento facial tiene sesgos tanto de raza como de género, identificando con precisión el género de una persona sólo entre los blancos. Se ha encontrado que el algoritmo publicitario de Google muestra empleos de altos ingresos a los hombres con mucha más frecuencia que a las mujeres.
Las personas en otros países ricos encuentran que los deducibles del seguro de salud de los estadounidenses son difíciles de entender.
Obermeyer dijo que fue casi por accidente que él y sus colegas tropezaron con el sesgo alojado en el algoritmo de atención médica que estaban estudiando.
El algoritmo se usa para identificar a enfermos con afecciones de salud que pueden provocar complicaciones más graves y mayores costos en el futuro. Un gran hospital académico lo había comprado para ayudar a identificar a los pacientes que eran candidatos para un programa de coordinación de atención, que brinda acceso a servicios como citas médicas aceleradas y un equipo de enfermeras que pueden hacer visitas a domicilio o reabastecer recetas.
“Es como un programa VIP para las personas que realmente necesitan ayuda adicional con su salud”, dijo Obermeyer.
El objetivo es cuidar a estos pacientes antes de que su condición empeore. Eso no sólo los mantiene más saludables a largo plazo, sino que también sostiene los costos bajos para el sistema de salud.
Este tipo de algoritmos a menudo son patentados, “lo que dificulta que los investigadores independientes los diseccionen”, escribieron los autores del estudio. Pero en este caso, el sistema de salud lo proporcionó voluntariamente, junto con datos que permitirían a los investigadores ver si el algoritmo predecía con precisión las necesidades de los pacientes.
Los investigadores notaron algo extraño: los pacientes negros a los que se les había asignado la misma puntuación de alto riesgo que los pacientes blancos tenían muchas más probabilidades de ver que su salud se deteriorara durante el año siguiente.
“En un nivel de riesgo dado como lo ve el algoritmo, los pacientes negros terminaron mucho más enfermos que los pacientes blancos”, dijo Obermeyer.
Esto no tenía sentido, dijo, por lo que los científicos se centraron en la discrepancia. Analizaron los datos de salud de 6.079 pacientes negros y 43.539 pacientes blancos y se dieron cuenta de que el algoritmo estaba haciendo exactamente lo que se les había pedido que hicieran.
El problema era que las personas que lo diseñaron le habían pedido que hiciera algo incorrecto.
El sistema evaluó a los pacientes en función de los costos de salud en los que incurrieron, asumiendo que si sus costos eran altos, era porque sus necesidades eran altas. Pero la suposición de que los altos costos eran un indicador de una gran necesidad resultó ser errónea, dijo Obermeyer, porque los pacientes negros generalmente obtienen menos dinero en atención médica, un promedio de $1.801 menos por año, que los pacientes blancos, incluso cuando están igualmente mal.
Eso significaba que el algoritmo estaba alejando incorrectamente a algunos pacientes negros del programa de coordinación de la atención médica.
Los científicos se dieron cuenta que la disparidad racial podría causar que el porcentaje de pacientes negros inscritos en el programa de atención especializada saltara de 17.7% a 46.5%.
Una vez identificado el problema, una suposición humana defectuosa, los científicos comenzaron a solucionarlo. Desarrollaron un modelo alternativo que se centró en los “costos evitables”, como las visitas de emergencia y las hospitalizaciones. Otro modelo se centró en la salud, medido por el número de brotes de afecciones crónicas durante el año.
Los investigadores compartieron su descubrimiento con el fabricante del algoritmo, que luego analizó su conjunto de datos nacional de casi 3.7 millones de pacientes asegurados comercialmente, confirmando los resultados. Juntos, experimentaron con un modelo que combinaba la predicción de salud con la predicción de costos, reduciendo en última instancia el sesgo en un 84%.
La Dra. Karen Joynt Maddox, cardióloga e investigadora de políticas de salud en la Universidad de Washington de St. Louis, elogió el trabajo como “una forma reflexiva de ver este problema emergente realmente importante”.
“Cada vez confiamos más en estos algoritmos y estos modelos de predicción de caja negra para decirnos qué hacer, cómo comportarse, cómo tratar a los pacientes, cómo dirigir las intervenciones”, dijo Joynt Maddox, quien no participó en el estudio. “Es inquietante, en cierto modo, pensar si estos modelos que simplemente damos por sentado y que estamos utilizando están perjudicando sistemáticamente a grupos particulares”.
La falla en este caso no fue con el algoritmo en sí, sino con las suposiciones hechas al diseñarlo, agregó rápidamente.
Obermeyer dijo que optaron por no seleccionar a la compañía que creó el algoritmo o el sistema de salud que lo utilizó. Señaló que esperaban enfatizar el papel de todo un grupo de algoritmos de predicción de riesgos que, según las estimaciones de la industria, se utilizan para evaluar aproximadamente 200 millones de personas al año.
Algunas personas han reaccionado a los descubrimientos de sesgos algorítmicos sugiriendo que se eliminen por completo los algoritmos, pero estos no son el problema, dijo Sendhil Mullainathan, científico conductual de la Universidad de Chicago y autor principal del estudio.
De hecho, cuando se estudian y abordan adecuadamente, pueden ser parte de la solución.
“Reflejan los prejuicios en los datos que son nuestros prejuicios”, dijo Mullainathan. “Ahora, si puedes descubrir cómo solucionarlo... el potencial que tiene para desviarnos es realmente fuerte”.
Un mejor algoritmo puede ayudar a diagnosticar y tratar los efectos de las disparidades raciales en la atención, pero no puede “curar” el sesgo en la raíz del problema: el hecho de que se gasta menos dinero en atención a pacientes negros, en promedio, que en pacientes blancos, dijo Ruha Benjamin, socióloga de la Universidad de Princeton que no participó en el estudio.
“Los pacientes negros no ‘cuestan menos’, por mucho que se les valore en menor grado”, escribió en un comentario que acompaña al estudio.
Hay cada vez más pruebas de que el sesgo racial juega un papel importante en la limitación del acceso de los pacientes negros a una atención de calidad. Por ejemplo, un estudio encontró que los pacientes negros con cáncer de pulmón en etapa temprana tienen menos probabilidades de recibir tratamiento quirúrgico y terminan muriendo antes que los blancos.
“A medida que los investigadores se basan en este análisis, es importante que el sesgo de los algoritmos no eclipse el contexto discriminatorio que hace que las herramientas automatizadas sean tan importantes en primer lugar”, escribió. “Si los individuos y las instituciones valoraran más a los negros, no ‘costarían menos’ y, por lo tanto, esta herramienta podría funcionar de manera similar para todos”.
Según los investigadores, solucionar las fuentes de disparidad del mundo real presenta un desafío más profundo y mucho más complicado.
En última instancia, dijo Obermeyer, “es mucho más fácil corregir el sesgo en los algoritmos que en los humanos”.
Para leer esta nota en inglés haga clic aquí
Suscríbase al Kiosco Digital
Encuentre noticias sobre su comunidad, entretenimiento, eventos locales y todo lo que desea saber del mundo del deporte y de sus equipos preferidos.
Ocasionalmente, puede recibir contenido promocional del Los Angeles Times en Español.
