Sermas GPT, la IA de los médicos en Madrid, y el protocolo que no responsabiliza a nadie

sermas gpt contrato

Cuando publicamos el primer artículo en Newtral sobre Sermas GPT, donde revelamos que a 6 meses de su implementación no había pasado por un comité de ética médica, seguían surgiendo preguntas para las que aún no encontrábamos respuesta.

Concretamente, sobre el tipo de acuerdo o contrato que habían firmado la Comunidad de Madrid (CAM), la Fundación 29 y Microsoft para implementarlo. La CAM respondió con un documento a la petición de información que había hecho el entonces diputado de Mas Madrid en la Asamblea de Madrid: un protocolo de declaración de intenciones.

¿Qué significa un protocolo? ¿Tiene la misma fuerza que un convenio o un contrato con la administración pública? Hablé con expertos en contratación pública que lo analizaron y nos explicaron que esta declaración de intenciones no compromete a las partes a nada ni fija obligaciones ni derechos. También nos preguntamos por la Fundación 29: cofundada por un directivo de Microsoft, y dirigida por otro más, en su junta hay representantes de farmacéuticas y empresas de biotecnología. Su financiación proviene de farmacéuticas. Toda la información la publicamos en este segundo reportaje sobre Sermas GPT.

[Archivo]

Sermas GPT: Un ChatGPT para detectar enfermedades raras en Madrid

sermas gpt madrid enfermedades raras

Hace 6 meses la Comunidad de Madrid y Microsoft anunciaron un acuerdo para que los médicos de atención primaria de 425 centros utilicen una herramienta con IA, un ChatGPT, para detectar enfermedades raras, llamada Sermas DPT. La noticia me llamó la atención por un artículo donde Manuel Ángel Méndez hablaba sobre todo del malestar de los médicos, que se enteraban por la prensa de esto, en contraste con otras publicaciones que se limitaban a repetir frases de la nota de prensa del gobierno y Microsoft.

Empecé a preguntar hace meses sobre Sermas GPT, y encontré varias cosas:

Esta herramienta se integró en el sistema informático de salud casi inmediatamente pero hoy aún hoy 6 meses despúes no ha pasado la validación de un comité médico. Los expertos han encontrado fallos: arroja resultados sexistas y racistas. Los médicos sólo han recibido un instructivo para saber cómo meter los datos.

Tampoco es realmente una app, sino un conjunto de APIs conectadas a GPT-4 en los servidores Azure de Microsoft. Es decir, es como hablar con ChatGPT para preguntarle por el diagnóstico de enfermedades raras tras darle unos síntomas. Microsoft mismo ha asegurado en un estudio que ChatGPT no ha pasado por un entrenamiento médico específico, la información que tiene es la que ha recopilado de internet.

No hay un código abierto, a pesar que desde la administración nos han dicho que así es, y faltan respuestas a muchas preguntas. Hablé con la administración, con la empresa responsable del software y con los médicos para pedirlas. Este es el primer artículo que escribí sobre Sermas GPT: Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico.

[Archivo]

Measles: When it’s rich countries that don’t get immunized

This entry is part of some findings in the exercises for the MOOC
Data visualization for storytelling and discovery. 

 

In the last few years there’s been some raising numbers in the spreading of viral illnesses that are completely avoidable by vaccines. Measles is one of them and I’ve downloaded the dataset of the World Bank for the last years to analize that information by country and by groups of them. The last data is from 2015. 

Measles is a highly contagious infectious disease caused by a virus, and it can lead to complications including pneumonia and encephalitis. In 2016, there were 89,780 measles deaths globally – marking the first year measles deaths have fallen below 100,000 per year.

The World Health Organization has recommended that to achieve herd immunity, more than 95 % of the community must be vaccinated. As a result of widespread vaccination, the disease was declared eliminated from the Americas in 2016. It, however, occurred again in 2017 and 2018 in this region. 

Studies have shown that if an unvaccinated minority (around 5-10%) remains small, herd immunity can still be effective. A problem arises when the minority begins to grow.

A view to the world map

Graph: Measles world map

The world map shows the countries in a sequencial colour scale where in the vivid red shows the areas where the percentage of children immunized runs under 85 %. In the orangish medium tone we can see those countries where this ratio sits between 85-95 % which is not enough to prevent spreading of measles. Only those countries with more than 95 % of the children vaccinated are safe from measles, they are the lightest hue in the map. 

Most of the lowest numbers of countries where children are protected against measles are in Africa, with many in Oceania as well. But also a continent with traditionally good healthcare policies as Europe is not completely safe

Ukraine, Bosnia, Serbia and Macedonia are under 85 %, and countries as France, United Kingdom, Ireland, Italy, The Netherlands, Denmark, Croatia, Slovenia, Switzerland, Finland, Estonia, Latvia, Lituania, Belarus, Moldovia, Romania and Bulgaria stay behind the 95 % of vaccination. In Europe, eighteen countries — Austria, Belgium, Iceland, Luxembourg, the Netherlands, Spain and Sweden among them — reported more cases of measles during the first half of 2017 than during the same period in 2016, according to the European Centre for Disease Prevention and Control. 

Also rich countries in America, such as United States and Canada don’t get a 95 % of immunization. 

The distribution shows a median of 92, which falls apart from the recommendation of the WHO for 3 points. There’s a definite outlier with only 20 % of vaccinated children, South Sudan. It’s a new country that has suffered ethnic violence and has been in a civil war since 2013, and is acknowledged to have some of the worst health indicators in the world. 

Equatorial Guinea is the next outlier, with 27 % of vaccination, and in spite of being one of sub-Saharan Africa’s largest oil producers the wealth is distributed extremely unevenly. The country’s authoritarian government is cited as having one of the worst human rights records in the world. Less than half of the population has access to clean drinking water and that 20 % of children die before reaching the age of five.

Countries – Measles & health expenditure per capita

Graph: Measles & health expenditure per capita

If we consider the variable of health expenditure per capita in USD we can explore some interesting cases. There’s an outlier also in this case: San Marino. Health expenditure media of all countries is USD 1,005 per capita. San Marino spends 3,243 USD in public health, almost 3 times more than the media and still has very low numbers of immunized population against measles. It does not seem to be a problem of money. 

The correlation between public expenditure on health and vaccination is interesting because it shows that most of the countries above the levels of immunizations recommended by the WHO don’t necessary spend higher levels on public health. Tanzania, with the lowest amount, only 37 USD reaches a 99 % immunization, and there’s a similar correlation in other countries: Russia, Mexico, Turkey, Vietnam, Georgia, Latvia, Poland, El Salvador, Rwanda, Seychelles, Nauru, and others that stay below the mean and still make the WHO achievement of immunization. 

Cuba is perhaps the most cited example of efficiency in health public policies, and in this case can be it too: with only 817 USD got 99 % of it’s population immunized. As I said before, it’s really compelling that rich countries with higher levels of GDP and also higher health expenditure per person as Canada, the United States, Denmark or France don’t get a 95% of immunization. 

Exploring regions

Graph: Measles & health expenditure per capita per regions 

Click on the graph to open interactive scatterplot

 

In a scatterplot that shows groups of countries or continents there are other observations that we can remark or take as a clue for further research. The mean of the whole world in these variables is 1001,66 USD on health expenditure per capita, and a 84 % of children vaccinated. So we can see that there’s still work to do in this area, cause it’s 11 points below of what WHO recommends. 

South Asia and Sub-Sahara Africa are the less immunized groups of countries. Fragile and conflicted affected situations states, low income, and heavily indebted poor, and least developed countries as per UN cualification, are those in which we can see a strong correlation with less percentage of children vaccinated. 

No continent is completely enough immunized, though Europe and Central Asia have the closest percentages to 95 %, without reaching it. The OECD members have a 94.48 %. The countries that reach the measles vaccination goal of the WHO have only one group in common: they are all upper middle income countries.

These explorations are the first observations and are intended to bring up some clues on to keep doing research. More variables should be considered in a big study like this, as well as getting into the particular economic, demographic and social situation in each country. An interesting variable could be to try to track somehow the anti-vaccines groups in some countries or states and their influence in media or social networks. I couldn’t find this kind of data but I guess that education and information should be an interesting variable to take into account here. 

Other findings in this series:

Body mass index: not (only) a matter of income

Exploring datasets: Bikes in Madrid and education expenditure in Argentina

Mujeres y negros en ciencia: opina DeGrasse Tyson

«Sé que las fuerzas de la sociedad que previenen a negros y mujeres de ser científicos son reales porque tuve que sobrevivirlas para estar hoy aquí. Así que antes de empezar a hablar de diferencias genéticas, hay que encontrar un sistema en el que las oportunidades sean iguales.»

– Neil DeGrasse Tyson, astrofísico norteamericano y presentador de Cosmos: A Space-Time Odyssey, la serie de TV secuela de aquella que fuera escrita y presentada por Carl Sagan.

El ruido y la señal, según Nate Silver

The noise and the signal Somos seres privilegiados por nuestro cerebro, pero vivimos en un universo inmensamente poblado de señales y ruidos, y no llegamos a abarcarlos todos. Sin embargo, en nuestra vida diaria nos vemos obligados a tomar decisiones, aun sin toda la información relevante. La información es sabiduría cuando se pone en contexto, pero ¿cómo hacerlo? ¿Cómo descartar la señal del ruido? Después del 9/11 parecía increíble que no se hubiera previsto ese atentado. También parecía imposible que nadie se hubiera dado cuenta de la burbuja que explotó en Enron. Todo se ve obvio después, porque ya sabemos cuál es esa señal entre el ruido, pero ¿cómo aprender a descubrirla antes de que sea demasiado tarde?

El Teorema de Bayes puede ser de mucha utilidad aquí y también empezar a pensar en predicciones. Las predicciones normalmente nos cuestan (yo odio cuando en alguna entrevista alguien me pregunta por cosas como «el futuro de internet»). Y nos cuestan, dice Silver, por la misma razón que es importante usarlas: porque es donde la realidad objetiva y la subjetiva se cruzan.

Coincido con la visión de Silver y su recomendación bayesiana porque como periodistas sabemos que los sesgos proliferan, que no existe la objetividad, que siempre partimos de algún pensamiento o creencia. Tenemos que trabajar para reducir los sesgos, pero decir que no tienes ninguno es una señal de que tienes muchos.

«Distinguir la señal del ruido requiere de los dos: conocimiento científico y autoconocimiento: la serenidad de aceptar lo que no podemos predecir, el coraje de predecir lo que podamos y la sabiduría de reconocer la diferencia.»