Acceso usuarios
Adéla Kotatkova
Objetivos: Este estudio tiene como objetivo evaluar la capacidad de tres chatbots de inteligencia artificial (IA) —ChatGPT, Gemini y Copilot— para descifrar siglas médicas polisémicas en catalán, analizando su eficacia en función del contexto. El objetivo es determinar hasta qué punto estas herramientas pueden ayudar a desambiguar las siglas para mejorar la comprensión de textos médicos por parte de profesionales sanitarios, de la comunicación y pacientes.
Metodología: Se seleccionaron 60 siglas médicas con alta polisemia. A cada sigla se le asignaron cuatro contextos diferentes: sin contexto, contexto médico genérico, una frase real y un párrafo breve. Se midió la proporción de aciertos de cada IA en cada contexto mediante un cálculo de potencia estadística. Los resultados se analizaron utilizando pruebas no paramétricas, con el objetivo de comparar la precisión entre las tres IA.
Resultados: Los resultados obtenidos muestran una gran variabilidad en la capacidad de los chatbots para reconocer e interpretar las siglas médicas en catalán en función del contexto. Los sistemas presentan mejor eficiencia a medida que aumenta la información contextual, especialmente cuando las siglas aparecen en frases o párrafos reales. ChatGPT obtiene los mejores resultados, con una desambiguación más precisa en contextos naturales. Este estudio demuestra el potencial de las herramientas de inteligencia artificial para mejorar la comprensión de las siglas médicas por parte de pacientes y profesionales, una necesidad clave en un lenguaje médico catalán aún poco desarrollado.
Goals: This study aims to assess the ability of three artificial intelligence (AI) chatbots—ChatGPT, Gemini, and Copilot—to decode polysemous medical acronyms in Catalan, analysing their effectiveness depending on the level of contextual information. The objective is to determine the extent to which these tools can assist in disambiguating acronyms to improve the comprehension of medical texts by healthcare professionals, communicators, and patients.
Methodology: A total of 60 highly polysemous medical acronyms were selected. Each acronym was presented within four different levels of context: no context, general medical context, a real sentence, and a brief paragraph. The accuracy rate of each AI system was measured across all contexts using statistical power analysis. The results were analysed using non-parametric tests to compare the precision of the three AI tools.
Results: The findings reveal significant variability in the chatbots’ ability to recognize and interpret medical acronyms in Catalan depending on the context. Performance improved as more contextual information was provided, especially when acronyms appeared within real sentences or paragraphs. ChatGPT achieved the highest overall accuracy, offering more precise disambiguation in natural contexts. The study highlights the potential of AI tools to enhance the understanding of medical acronyms among both patients and professionals—an increasingly important need in the context of Catalan medical language, which remains underdeveloped
Objectius Aquest estudi té com a objectiu avaluar la capacitat de tres xatbots d’intel·ligència artificial (IA) — ChatGPT, Gemini i Copilot— per desxifrar sigles mèdiques polisèmiques en català, tot analitzant la seva eficàcia en funció del context. L’objectiu és determinar fins a quin punt aquestes eines poden ajudar a desambiguar les sigles per millorar la comprensió de textos mèdics per a professionals sanitaris, de comunicació i pacients.
Metodologia Es van seleccionar 60 sigles mèdiques amb alta polisèmia. A cada sigla se li van assignar quatre contextos diferents: sense context, context mèdic genèric, una frase real i un paràgraf breu. Es va mesurar la proporció d’encerts de cada IA en cada context, mitjançant un càlcul de potència estadística. Els resultats es van analitzar utilitzant proves no paramètriques, amb l’objectiu de comparar la precisió entre les tres IA.
Resultats Els resultats obtinguts mostren una gran variabilitat en la capacitat dels xatbots per reconèixer i interpretar les sigles mèdiques en català en funció del context. Els sistemes presenten millor eficiència a mesura que augmenta la informació contextual, especialment quan les sigles apareixen en frases o paràgrafs reals. ChatGPT obté els millors resultats, amb una desambiguació més precisa en contextos naturals. Aquest estudi demostra el potencial de les eines d›intel·ligència artificial per millorar la comprensió de les sigles mèdiques per a pacients i professionals, una necessitat clau en un llenguatge mèdic català encara poc desenvolupat.
