Skip to main content

En los últimos años, el uso de los LLM (Large Language Model) en salud ha ganado considerable importancia en todos los ámbitos. Como vimos en nuestra nota anterior, la salud y la medicina no se han quedado atrás. En esta segunda entrega, exploraremos los riesgos específicos para los sistemas de salud y la sociedad en general. Veremos también algunas preocupaciones sobre ética en salud que rodean el uso de esta tecnología.

Los LLM en salud

Dedicamos esta nota a analizar los riesgos de los LLM para los sistemas de salud y el cumplimiento con requisitos regulatorios y legales. Como señala en su guía la Organización Mundial de la Salud (OMS), son aspectos que debemos tomar en cuenta por la naturaleza de la materia en que se puede aplicar beneficiosamente la inteligencia artificial (IA).

El derecho a la salud

En su observación número 14, la Organización de las Naciones Unidas se refiere al derecho al disfrute del más alto nivel posible de salud (artículo 12): “El derecho a la salud no debe entenderse como un derecho a estar sano. El derecho a la salud entraña libertades y derechos. Entre las libertades figura el derecho a controlar su salud y su cuerpo, con inclusión de la libertad sexual y genésica, y el derecho a no padecer injerencias, como el derecho a no ser sometido a torturas ni a tratamientos y experimentos médicos no consensuales”.

De este principio se deriva que el derecho a la salud debe estar velado en todos sus aspectos por organismos internacionales. De ahí surge la preocupación por parte de la OMS para emitir en su guía los posibles riesgos en que entraña el uso de los LLM.

Tomando como referencia la guía de la OMS para el uso de la inteligencia artificial en materia médica, en el texto anterior nos referimos a:

  • Las definiciones clave
  • Los principios para el uso de la IA en salud y medicina
  • Los riesgos del uso de los LLM en el diagnóstico y cuidados clínicos

Los principales riesgos señalados en la guía se pueden resumir así:

  1. Sistemas de salud. Incluye la sobreestimación de beneficios y subestimación de riesgos, la accesibilidad y asequibilidad limitadas, los sesgos sistémicos y los riesgos de ciberseguridad.
  2. Cumplimiento con requisitos legales y regulatorios, especialmente en términos de protección de datos y derechos humanos.
  3. Preocupaciones y riesgos sociales. Entre ellos, la concentración de poder en grandes empresas tecnológicas y los impactos ambientales negativos. Es muy importante también el riesgo de violencia de género que estas tecnologías facilitan.

Nos concentraremos en estos tres puntos para entender su alcance. Estaremos atentos a la visión de la OMS, que funciona como brújula en el uso ético de la IA en materia de salud.

Riesgos para los sistemas de salud

La guía señala que los sistemas sanitarios se basan en seis pilares: prestación de servicios, personal sanitario, sistemas de información sanitaria, acceso a los medicamentos esenciales, financiación, y liderazgo y gobernanza.

El uso de los LLM puede afectar directa o indirectamente estos pilares, por lo que debemos observar detenidamente los siguientes puntos de interés:

  1. Sobrevaloración de beneficios y subestimación de riesgos: La tendencia a exagerar la capacidad de la IA, especialmente de los LLM, puede resultar en la adopción de productos y/o servicios no probados.

Esto plantea riesgos significativos para los sistemas de salud. Las decisiones basadas en información inexacta pueden afectar negativamente la atención médica y desviar recursos de intervenciones comprobadas.

  • Accesibilidad y asequibilidad: El acceso equitativo a los LLM puede verse obstaculizado por la brecha digital y la disponibilidad sólo a través de tarifas o suscripciones. Esto afecta tanto a países de bajos ingresos como a individuos y gobiernos locales en entornos de bajos recursos en países de ingresos altos.

Además, la limitación del funcionamiento de la mayoría de los LLM en idiomas específicos plantea desafíos adicionales para la diversidad lingüística.

  • Sesgos sistémicos: Cuando se trata de conjuntos de datos, la tecnología de IA muestra una tendencia a tener sesgos desde su alimentación. Esto puede resultar en discriminación en el acceso a servicios de salud, afectando grupos minoritarios y desfavorecidos.

Los sesgos presentados pueden amplificarse a medida que los LLM se vuelven más grandes y complejos. Esto impacta negativamente la equidad en la prestación de servicios de salud.

  • Impacto en el empleo en salud: Los riesgos que considera la OMS no solo tienen que ver con los resultados que arrojen los LLM. También tienen injerencia sobre cómo se percibe a los trabajadores del sector salud.

Si bien se espera que los LLM mitiguen la escasez de trabajadores de la salud, existe la preocupación de que afecten negativamente algunos empleos existentes.

La automatización de ciertas tareas puede generar pérdida de empleo y requerir ajustes significativos por parte de los trabajadores de la salud. Además, la carga mental y psicológica en quienes revisan contenido generado por los LLM también debe abordarse.

Si bien se espera que los LLM mitiguen la escasez de trabajadores de la salud, existe la preocupación de que afecten negativamente algunos empleos existentes.

  • Riesgos de ciberseguridad: Con la creciente dependencia en la IA, los riesgos en esta materia son más prominentes. Los ataques maliciosos podrían comprometer la integridad de los datos utilizados para entrenar los algoritmos, afectando su rendimiento y recomendaciones.

Hoy más que nunca, la falta de protección de datos sensibles se presenta como una preocupación clave a nivel global.

Cumplimiento con requisitos regulatorios y legales

Debido al uso generalizado de los LLM en salud, se han hecho esfuerzos para promulgar leyes que regulen su uso. Sin embargo, no ha habido un enfoque en la protección de datos ni en crear normas internacionales de derechos humanos.

Tal como se desarrollan y ponen actualmente en el mercado, estos modelos de IA caen en el incumplimiento de leyes de protección de datos. Así ha sucedido con el Reglamento General de Protección de Datos de la Unión Europea.

Este reglamento es importante porque marca una referencia frente a la protección de varios derechos, como el de la toma automatizada de decisiones. Este debe ser uno de los raseros utilizados para encaminar el desarrollo de los LLM.

Tomando en cuenta estos parámetros, la guía de la OMS hace énfasis en el tema de la protección de datos. Por esa razón, haremos un breve análisis de este punto.

Violaciones a la protección de datos. Ya quedó señalado que los LLM violan las leyes de protección de datos. Esto ocurre especialmente por la recopilación no consensuada de información, la falta de transparencia, y violaciones al derecho a tomar decisiones éticas automatizadas.

Estas violaciones están relacionadas con la manera en que fueron entrenados los LLM, e inciden en cómo los utilizan los usuarios finales. Por esa razón, debe existir la figura de un oficial de cumplimiento encargado de verificar la gestión de los datos recopilados por la IA.

Ya existen antecedentes de demandas ante la Unión Europea (UE). En 2023, un Estado miembro alegó que un LLM infringía sistemáticamente el Reglamento General de Protección de Datos de la UE. Específicamente, se acusó a OpenAI, propietaria de ChatGPT, de estas violaciones.

Preocupaciones y riesgos sociales de los LLM en salud

El impacto más amplio de los LLM en la sociedad va más allá de la salud. Se teme que estos modelos refuercen el poder de unas pocas grandes empresas tecnológicas. También, que generen impactos ambientales negativos debido a su consumo de energía y agua.

Algo que llama la atención es que las grandes empresas tecnológicas están definiendo el rumbo y la prioridad de las investigaciones en fases iniciales. Como resultado de este dominio, las investigaciones se vuelven un nicho de inversión privada, dejando de lado a la pública para intervenir en estos temas.

En el campo de la salud y medicina, las empresas que desarrollan IA no tienen especialidad ni antecedentes en la creación de productos y servicios sanitarios. Esto se traduce en falta de sensibilidad a los requisitos de los sistemas sanitarios, los proveedores de servicios de salud y, por supuesto, los pacientes.

Un riesgo asociado a lo anterior es que no es posible garantizar la calidad de los servicios, diagnósticos y/o resultados que ofrecen los LLM. Es obvio que su sensibilidad puede mejorar con el tiempo. Aun así, se corre el riesgo de que su experiencia no sea suficiente para ofrecer la calidad requerida.

Otras preocupaciones que se han hecho notorias son la discriminación y violencia de género basada en tecnología. Aun estando en el siglo 21, vemos que este fenómeno sigue prevaleciendo de manera global en todo tipo de sociedades.

Otras de las preocupaciones que se han hecho notorias son la discriminación y violencia de género basada en tecnología. Aun estando en el siglo 21, vemos que este fenómeno sigue prevaleciendo de manera global en todo tipo de sociedades.

Huella de carbono e hídrica de los LLM. El impacto ambiental que tienen las empresas tecnológicas que desarrollan la IA es brutal. Por ejemplo, el entrenamiento de un LLM consume lo equivalente al consumo anual de 300 hogares estadounidenses.

Según la OMS, el cambio climático es un problema sanitario global que se debe atender urgentemente. La guía estima que, entre 2030 y 2050, el cambio climático causará unas 250,000 muertes adicionales al año por malnutrición, paludismo, diarrea y estrés térmico.

La huella hídrica es significativa. Por ejemplo, una de las primeras empresas que fueron creadas para entrenar un LLM consumió 700,000 litros de agua dulce. Una breve conversación de 20-50 preguntas y respuestas con un LLM consume el equivalente a una botella de 500 ml. En el momento en que nos encontramos frente a la crisis de agua, estos datos suponen una preocupación muy grande para Estados y sociedades.

A medida que abrazamos la revolución de la inteligencia artificial en la salud, es imperativo abordar estos desafíos y riesgos éticos de manera proactiva.

Las empresas deben garantizar transparencia, equidad y responsabilidad en el desarrollo y uso de los LLM. Esto es fundamental para preservar la integridad de los sistemas de salud y proteger los derechos fundamentales de los individuos.

Y las empresas de tecnología deben asumir su responsabilidad. Parte de sus esfuerzos deben enfocarse en hacer que sus avances tengan un impacto positivo en el medio ambiente y reduzcan su huella de carbono.

Si no se realiza nada de esto, el uso de la tecnología conllevará una paradoja: por un lado, una empresa busca el progreso humano, mientras que por el otro provoca la eliminación de los recursos que nos mantienen vivos.

Agustín De Luca es abogado, administrador y músico. Reside en Ciudad de México y actualmente es director general de ICO: Inteligencia Creativa, agencia de marketing de contenidos que atiende a clientes internacionales como AstraZeneca.

Facebook Comments

Agustín De Luca

Author Agustín De Luca

More posts by Agustín De Luca