Cada vez me preocupa más cómo contamos la IA. La tarea de los periodistas es crucial para que la sociedad tenga información real y completa sobre la IA: lo que significan sus avances pero también quiénes están detrás de sus hilos, qué piensan y cómo está siendo configurada.
Mi investigación sobre SERMAS GPT ha revelado cómo la inteligencia artificial puede infiltrarse en servicios públicos sin controles adecuados. Examinar su creación, sus sesgos y sus contratos se convierte en un ejercicio urgente para el periodismo de investigación: una hoja de ruta para exigir transparencia y responsabilidad en la era de la IA. Aquí cuento un poco mejor cómo fue ese proceso.
Cuando el servicio público de Salud de Madrid instaló una herramienta de inteligencia artificial llamada SERMAS GPT en los ordenadores de todos los médicos de atención primaria de la región, hubo comunicado de prensa, pero no aprobación de un comité médico, ni formación a los profesionales que tenían que usarla, ni mucho menos el código abierto que se decía tener. Y ahí estaba, operativa en un botón de la interfaz que utilizan todos los médicos de primaria de Madrid, lista para recoger los datos de la historia clínica de los pacientes, procesar información sensible y ofrecer consejo médico.
En 2023 me propuse investigar cómo podía haberse desplegado un sistema así con tan poco escrutinio público. Durante semanas hablé con médicos, eticistas, investigadores en IA y expertos en contratación pública; revisé expedientes oficiales y presenté solicitudes de información al gobierno regional.
Lo que emergió fue la historia de una IA introducida sin supervisión, y uno de los casos en los que el sector privado cuela su AI en administraciones públicas. SERMAS GPT se había desarrollado sin la participación de un solo profesional de la salud y nunca había sido validada por un comité médico.
Los expertos que entrevisté identificaron sesgos racistas y sexistas en sus resultados y explicaron los riesgos que estos sesgos planteaban en un entorno clínico. Aunque las autoridades afirmaban que el sistema era de código abierto, nunca facilitaron acceso a su repositorio. La investigación confirmó que SERMAS GPT no era una aplicación como se hacía entender, sino un conjunto de llamadas a la API del modelo GPT-4 de OpenAI, alojado en los servidores Azure de Microsoft. No era distinto que hablar con ChatGPT.
Cuando me puse a buscar la documentación, encontré que tampoco había contrato como tal. El sistema había sido implementado por Fundación29, una organización poco conocida que, junto con Microsoft, firmó un simple acuerdo con el gobierno regional —un acuerdo que no describía tareas, ni imponía obligaciones formales ni mecanismos de rendición de cuentas a las empresas implicadas. Juristas consultados lo describieron como “un experimento tipo sandbox”, aunque ninguno pudo justificar que se implementara en un servicio público de salud sin un expediente administrativo. La junta directiva de Fundación29 incluía ejecutivos de Microsoft y empleados a tiempo completo de empresas biotecnológicas y farmacéuticas, lo que planteaba dudas adicionales sobre posibles conflictos de interés.
El aspecto de la protección de datos en SERMAS GPT tampoco estaba en orden. Nuestra investigación reveló importantes fallos en las medidas destinadas a salvaguardar la información médica y personal —fallos que podrían exponer los datos más sensibles de los pacientes.
Los hallazgos se publicaron en tres reportajes de investigación en Newtral [1, 2 y 3] y llegaron finalmente a la Asamblea de Madrid, donde diputados de la oposición pidieron explicaciones al gobierno.
El caso de SERMAS GPT demuestra que la fiscalización de la IA no es opcional: es una condición para proteger los derechos de los ciudadanos y garantizar que la innovación no erosione la confianza en lo público. La metodología de esta investigación —analizar el origen técnico, legal y ético de estas herramientas— demostró el valor de un escrutinio sistemático y puede convertirse en un estándar de accountability periodístico para auditar la inteligencia artificial allí donde se aplique.
Archivo:
Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico
Cómo es el acuerdo de Madrid con Microsoft y Fundación 29 para que sus médicos usen su IA
Qué pasa con la protección de datos en Sermas GPT, la IA generativa de Madrid para enfermedades raras
