Acceso usuarios
Danielle Pompeu Noronha Pontes, João de Melo Maricato
Objetivo. Este estudio tiene como objetivo investigar la aplicación del análisis de sentimientos para diferenciar entre cuentas automatizadas (bots) y usuarios humanos en la difusión de publicaciones científicas sobre COVID-19 en la red social X. Para ello, la investigación compara la eficacia de las herramientas de Modelos de Lenguaje de Gran Escala (LLMs), específicamente ChatGPT 3.5 y Gemini 1.5 Flash, en la clasificación de los sentimientos expresados en publicaciones sobre un artículo científico. El estudio busca comprender las diferencias de rendimiento entre estas herramientas, evaluar su eficacia en la clasificación de polaridades y identificar patrones de sentimientos que mejor distingan a los bots de los usuarios humanos en el contexto de la divulgación científica. Método. Este estudio comienza con la recopilación de una muestra de publicaciones en X que mencionaron la publicación analizada. Los posts fueron recolectados utilizando Python 3.12 y la biblioteca Beautiful Soup 4.12 en el entorno de Google Colab, lo que resultó en un conjunto de 9.792 publicaciones y 5.601 perfiles únicos. En una segunda etapa, estos perfiles fueron comparados con un conjunto de datos previamente clasificado como bot o humano. Para mejorar la confiabilidad de la clasificación, posteriormente se realizó una reclasificación manual de 41 cuentas que habían realizado más de cuatro publicaciones (tercera etapa), identificando 20 como bots y 21 como humanas. Estas cuentas generaron un total de 3.493 publicaciones, que fueron sometidas a análisis de sentimientos (cuarta etapa) utilizando las herramientas ChatGPT 3.5 y Gemini 1.5 Flash. La clasificación siguió un prompt estandarizado para categorizar los sentimientos como positivos, negativos o neutros, aplicándose en lotes de 100 publicaciones debido a las limitaciones de tokens de las herramientas. En la quinta etapa, 315 de las publicaciones analizadas fue clasificada manualmente para su validación. Resultados. El análisis de 3.493 publicaciones sobre el artículo científico en X reveló una predominancia de sentimientos negativos (92,3%), con posts neutros (6,2%) y positivos (0,6%), siendo estos últimos menos frecuentes (0,9% no fueron identificados). Las herramientas de inteligencia artificial ChatGPT 3.5 y Gemini 1.5 Flash mostraron desempeños similares al clasificar sentimientos negativos, pero surgieron divergencias en 315 publicaciones, con ChatGPT alcanzando un 85% de precisión en posts que Gemini no logró clasificar. Los bots presentaron una mayor variabilidad emocional y fueron más críticos en relación con la difusión científica, mientras que las publicaciones humanas tendieron a ser más neutras y consistentes, destacando diferencias relevantes para la detección de bots. Conclusiones. El análisis de sentimientos realizado por ChatGPT y Gemini destaca la capacidad de estas herramientas para clasificar publicaciones en redes sociales relacionadas con artículos científicos, revelando patrones distintos entre bots y cuentas humanas. Los bots tienden a generar contenidos más polarizados y predominantemente negativos, mientras que los humanos presentan una mayor diversidad de sentimientos, con un equilibrio entre publicaciones negativas, neutras y algunas positivas. Aunque ChatGPT demostró ser más eficaz en escenarios con pocos datos contextuales o metadatos para evaluar correctamente la polaridad emocional de un texto, el estudio sugiere que es necesaria un análisis más exhaustivo para refinar las herramientas y profundizar en la comprensión de las interacciones entre cuentas humanas y automatizadas.
