La inteligencia artificial en salud exige algo más que tecnología: seguridad, ética y responsabilidad para llegar a la clínica

La inteligencia artificial avanza con rapidez en el ámbito sanitario, pero su aplicación efectiva plantea interrogantes de fondo que van más allá de la tecnología. Cómo garantizar la seguridad de los sistemas, cómo repartir responsabilidades, qué papel debe mantener el criterio clínico humano o cómo gestionar datos especialmente sensibles fueron algunas de las cuestiones que centraron la jornada “IA en salud: regulación, ética y responsabilidad. Un diálogo entre juristas y especialistas”, celebrada el viernes 24 de abril en el Parc Científic de la Universitat de València (PCUV).

La sesión se enmarcó en el proyecto Prometeo 2023 de la Generalitat Valenciana “Los datos como bien patrimonial: uso y protección en el mercado único digital” (CIPROM/2022/67), y reunió en el Parc Científic UV a especialistas de distintos ámbitos para abordar, desde una perspectiva multidisciplinar, los retos que acompañan al uso de la inteligencia artificial en salud.

Este tipo de iniciativas se inscriben en la apuesta del Parc Científic UV por el impulso de la inteligencia artificial como tecnología estratégica, tanto desde el apoyo a startups deep tech a través de la incubadora IATecUV como mediante la generación de conocimiento y análisis del tejido empresarial innovador, como recoge el informe EmpresIA.

Regulación y responsabilidad en sistemas de alto riesgo

La jornada se abrió con la intervención de María Lubomira Kubica, profesora de Derecho Civil e investigadora Ramón y Cajal en la Universidad Nacional de Educación a Distancia (UNED), quien situó el debate en el marco del Reglamento europeo de Inteligencia Artificial (AI Act). La investigadora cuestionó una idea extendida: considerar la IA sanitaria como una tecnología más dentro del sistema. Por el contrario, recordó que puede influir directamente en diagnósticos, decisiones terapéuticas, priorización de pacientes o interpretación de imágenes médicas, lo que implica que un error algorítmico puede traducirse en daños reales.

“La IA en salud no es una tecnología cualquiera: sus errores pueden traducirse en daños reales, lo que exige un modelo de responsabilidad compartida entre desarrolladores, centros sanitarios y profesionales”

Este contexto obliga a replantear la responsabilidad. Ya no basta con señalar al fabricante: la responsabilidad se distribuye entre quien diseña el sistema, quien lo despliega en un hospital y quien lo utiliza en la práctica clínica. Este desplazamiento introduce retos relevantes: ¿están preparados los centros sanitarios para asumir estas obligaciones? ¿Cómo se garantiza que el personal sanitario tenga la formación necesaria para interactuar con estos sistemas?

Entre las obligaciones señaladas destacan la supervisión humana efectiva, la verificación de la calidad de los datos de entrada, la transparencia frente a pacientes y usuarios, y el registro del funcionamiento del sistema. Estas exigencias desmontan otra idea habitual: que la seguridad depende únicamente del diseño técnico. En realidad, también depende del contexto de uso, de la organización y del comportamiento humano.

Kubica advirtió además sobre los riesgos de ciertas propuestas de simplificación normativa en Europa, que podrían reducir exigencias en aspectos clave como la supervisión, la trazabilidad o la gobernanza de datos, generando vacíos regulatorios en un ámbito especialmente sensible.

Ética e innovación responsable: datos, transparencia y límites

A continuación, Luz M. Martínez Velencoso, catedrática de Derecho Civil de la Universitat de València, centró su intervención en los principios éticos que deben guiar el desarrollo de la inteligencia artificial en salud. Frente a la idea de que la regulación es suficiente, defendió la necesidad de integrar el enfoque de ethics by design desde el inicio.

La ponente puso el foco en uno de los aspectos más delicados: el uso de datos personales en salud. La disponibilidad de grandes volúmenes de datos de alta calidad es clave para el desarrollo de sistemas de IA, pero plantea interrogantes sobre privacidad, minimización y reutilización de la información. ¿Cómo garantizar la protección de datos en contextos de investigación científica? ¿Qué límites deben establecerse en el uso secundario de datos clínicos?

También abordó la cuestión de la transparencia y la supervisión. En sistemas complejos, no siempre es evidente qué nivel de explicabilidad es suficiente para auditar su funcionamiento. Esta tensión entre transparencia y protección de la propiedad intelectual se convierte en uno de los debates centrales.

Asimismo, insistió en preservar el componente humano en la relación asistencial. En un contexto de creciente automatización, el riesgo no es solo técnico, sino también relacional: cómo evitar que la tecnología desplace la interacción entre profesional y paciente.

IA y salud mental: entre la oportunidad y el riesgo

La intervención de Roger Muñoz Navarro, profesor titular del Departamento de Personalidad, Evaluación y Tratamientos Psicológicos de la Universitat de València, trasladó el debate a la salud mental, un ámbito donde la inteligencia artificial puede tener un impacto directo y especialmente sensible.

El investigador recordó que “más de 1.000 millones de personas viven con problemas de salud mental”, lo que evidencia la magnitud del reto asistencial y la necesidad de ampliar servicios y mejorar el acceso a la atención.

“Más de 1.000 millones de personas viven con problemas de salud mental, lo que sitúa a la inteligencia artificial como una herramienta clave para ampliar el acceso a terapias y mejorar la atención”

En este contexto, la inteligencia artificial se presenta como una herramienta con gran potencial para mejorar el acceso a terapias, especialmente en atención primaria. Sistemas de evaluación continua, algoritmos capaces de detectar patrones de riesgo o herramientas de seguimiento en tiempo real pueden contribuir a una atención más personalizada y eficiente.

Sin embargo, estas posibilidades conviven con riesgos significativos. La utilización de algoritmos para detectar estados emocionales o generar alertas —por ejemplo, ante posibles conductas suicidas— plantea preguntas críticas: ¿hasta qué punto son fiables estos sistemas? ¿Cómo se gestionan los falsos positivos o negativos? ¿Qué implicaciones tiene automatizar decisiones en un ámbito tan sensible?

Además, el uso de datos psicológicos introduce una capa adicional de complejidad. Se trata de información altamente personal, cuya interpretación depende del contexto y del criterio clínico. El reto, por tanto, es integrar estas herramientas como apoyo, evitando tanto la dependencia excesiva como la sustitución del juicio profesional.

Gobernanza del dato y seguridad: del modelo al sistema real

La jornada se cerró con la intervención de José Vicente Riera López, investigador del Instituto Universitario de Tecnologías de la Información y las Comunicaciones (IRTIC) de la Universitat de València, quien abordó uno de los puntos más críticos: cómo garantizar la confianza en sistemas que operan en entornos clínicos reales.

Riera cuestionó la idea de que la precisión técnica sea suficiente para validar un sistema. “La precisión offline no es suficiente”, afirmó, subrayando que el verdadero reto está en cómo se comporta la IA en condiciones reales, con variabilidad en los datos, diferencias entre centros y situaciones complejas.

 “La precisión técnica no basta: sin gobernanza del dato, trazabilidad y diseño orientado a la seguridad, no es posible una implantación confiable de la IA en la práctica clínica” 

En este sentido, explicó que el riesgo no reside únicamente en la predicción, sino en “la interacción entre dato, modelo, proceso y personas”. Esto implica analizar toda la cadena de valor: desde la captura de datos —donde pueden aparecer sesgos de origen o problemas de representatividad— hasta la validación, la integración clínica y la monitorización en producción.

Entre los aspectos más delicados, destacó la gobernanza del dato: quién accede, con qué base legal, con qué calidad y con qué trazabilidad. También subrayó la importancia del linaje de los datos —saber de dónde proceden y cómo han sido transformados— y del versionado de modelos y conjuntos de datos.

La trazabilidad se presentó como un elemento clave: la capacidad de reconstruir qué mostró el sistema, con qué versión, con qué nivel de confianza y en qué contexto. Sin esta información, no es posible auditar, mejorar ni atribuir responsabilidades.

“No hay cumplimiento si se diseña solo al final: la regulación, la ética y la seguridad deben integrarse desde el origen en el desarrollo de sistemas de inteligencia artificial en salud”

Riera insistió además en la necesidad de diseñar sistemas robustos, capaces de comportarse de forma segura cuando fallan, con mecanismos de inhibición ante la incertidumbre y validación en entornos reales. También señaló la importancia de la monitorización continua, el control de cambios y la formación de usuarios.

En este contexto, dejó abiertas preguntas fundamentales: ¿cómo definir el daño cuando la IA actúa como apoyo y no como decisor? ¿qué nivel de transparencia es suficiente para auditar sistemas complejos? ¿cómo gestionar sistemas que evolucionan continuamente sin perder control sobre sus riesgos?

La jornada, moderada por María Francisca Abad García, profesora de Derecho Civil de la Universitat de València, concluyó con un coloquio abierto entre ponentes y asistentes, seguido de un espacio de networking.

El encuentro puso de relieve que el desarrollo de la inteligencia artificial en salud no depende únicamente del avance tecnológico, sino de su integración en marcos sólidos desde el punto de vista jurídico, ético y organizativo. En este escenario, el Parc Científic UV refuerza su papel como entorno de conexión entre investigación, empresa e innovación, impulsando soluciones que combinan avance tecnológico y responsabilidad en un ámbito de especial sensibilidad.

 Descarga la publicación: Informe EmpresIA