Newswise — ANAHEIM, California. (9 de noviembre de 2023) - Los modelos de lenguaje de inteligencia artificial como ChatGPT se utilizan cada vez más en muchas profesiones diferentes, y la medicina no es una excepción. En un nuevo estudio que se presentará en la Reunión Científica Anual del Colegio Americano de Alergia, Asma e Inmunología (ACAAI) de este año en Anaheim (California), se pidió a ChatGPT que valorara diez mitos comunes sobre las alergias, y juzgó su exactitud correctamente el 91 % de las veces.
“Buscamos en las bases de datos de PubMed y Google Scholar para identificar todos los artículos sobre mitos comunes sobre las alergias entre 2000 y 2023”, dice Ricardo Estrada-Mendizabal, MD, miembro de ACAAI y autor principal del estudio. “Nuestro objetivo era evaluar la precisión de ChatGPT para identificar correctamente los mitos comunes sobre las alergias. Sabemos que los pacientes con alergias y asma están constantemente expuestos a información errónea en Internet. Pensamos que el surgimiento de modelos de lenguaje públicos podría representar una amenaza mayor para la difusión de información errónea, especialmente porque ChatGPT no puede proporcionar referencias”.
Se seleccionaron diez mitos y se ingresaron en ChatGPT 4.0 con la consigna de indicar “verdadero o falso”. Las respuestas de ChatGPT fueron calificadas por 24 alergistas en una escala Likert del 1 al 4 (1 = inexacta [100 % falsa], 2 = algo inexacta [>30 % falsa], 3 = algo precisa [<10 % falsa], 4 = precisa [100 % verdadera]). Finalmente, se preguntó a los alergistas su probabilidad de utilizar ChatGPT para educar al paciente con una escala Likert del 1 al 5 (1 = nada probable y 5 = muy probable). En general, ChatGPT dio una respuesta precisa o algo precisa en el 91 % de los casos, y una respuesta inexacta o algo inexacta en el 9 % de los casos.
El Dr. Estrada-Mendizábal dijo: “La respuesta a si una prueba de alergia positiva indica una alergia clínica fue la respuesta más precisa (96 % de precisión), mientras que la respuesta a si los animales hipoalergénicos eran mejores para las personas con asma y alergias fue la más inexacta (respuesta un 17 % inexacta y un 21 % algo inexacta). Dieciocho alergistas (el 75 %) estaban dispuestos (probable o muy probable) a utilizar ChatGPT en el futuro para educar a los pacientes”.
Los autores del artículo científico dicen que se necesitan más estudios para interpretar la validez de ChatGPT para brindar información médica precisa.
Título del resumen: Estimado ChatGPT, ¿debería adquirir un perro hipoalergénico?: precisión de ChatGPT con los mitos comunes sobre las alergias
Presentador: Ricardo Estrada-Mendizábal, MD
Para obtener más información sobre las alergias y el asma, o para localizar un alergista en su área, visite AllergyandAsthmaRelief.org. La Reunión Científica Anual del ACAAI es del 9 al 13 de noviembre. Para más noticias e investigaciones de la Reunión Científica del ACAAI, visite nuestra sala de prensa y siga la conversación en X/Twitter #ACAAI23.
Acerca del ACAAI
El Colegio Americano de Alergia, Asma e Inmunología (ACAAI) es una organización médica profesional de más de 6000 alergistas-inmunólogos y profesionales paramédicos, con sede en Arlington Heights, Ill. El Colegio fue fundado en 1942 y fomenta una cultura de colaboración y simpatía, en la que sus miembros trabajan juntos y con otros para alcanzar los objetivos comunes de atención al paciente, educación, promoción e investigación. Los alergistas del ACAAI son médicos certificados por la junta, capacitados para diagnosticar alergias y asma, administrar inmunoterapia y brindar a los pacientes los mejores resultados de tratamiento. Para obtener más información y encontrar alivio, visite AllergyandAsthmaRelief.org. Síganos en Facebook, Pinterest, Instagram y Twitter/X.
D015 (A037) DEAR CHATGPT, SHOULD I GET A HYPOALLERGENIC DOG?: ACCURACY OF CHATGPT FOR COMMON ALLERGY MYTHS R. Estrada-Mendizabal*1, G. Cojuc-Konigsberg2, E. Labib3, C. de la Cruz-de la Cruz4, A. Gonzalez-Estrada3, L. Cuervo-Pardo5, R. Zwiener6, A. Canel-Paredes4, 1. San Luis Potosi, Mexico; 2. Mexico City, Mexico; 3. Scottsdale, AZ; 4. Monterrey, Nuevo Leon, Mexico; 5. Gainesville, FL; 6. Caba, Argentina.
Introduction: Artificial language models such as chat generative pre-trained transformers (ChatGPT) are expected to change clinical practice. We aim to assess the accuracy of ChatGPT in correctly identifying common allergy myths.
Methods: We searched the PubMed and Google Scholar databases to identify all articles on common allergy myths between 2000-2023. Ten myths were selected by convenience and entered into ChatGPT 4.0 by two sub-investigators independently with the prompt “true or false”; a third sub-investigator selected the most complete answer. ChatGPT answers were graded by 24 allergists on a Likert scale of 1-4 (1=inaccurate [100% not true], 2=somewhat inaccurate [>30% not true], 3= somewhat accurate [<10% not true], 4=accurate [100% true]). Finally, allergists were asked the likelihood of using ChatGPT for patient education with a Likert scale of 1-5 (1=not likely at all–5=very likely).
Results: Overall, ChatGPT had an accurate or somewhat accurate response in 91% of cases, and an inaccurate or somewhat inaccurate response in 9%. The response to whether a positive allergy test means a clinical allergy was the most accurate (96% accurate response), whereas the response to if hypoallergenic animals were better for people with asthma and allergies was the most inaccurate (17% inaccurate and 21% somewhat inaccurate response) (Table). Eighteen allergists (75%) were open (likely or very likely) to using ChatGPT in the future for patient education.
Conclusion: An accurate response was provided by ChatGPT for most of the presented myths. More studies are required to elucidate the validity of ChatGPT in providing accurate medical information.
Top 10 myths, ChatGPT responses, and response rating by allergists.
MEDIA CONTACT
Register for reporter access to contact detailsCITATIONS
Reunión Científica Anual del Colegio Americano de Alergia, Asma e Inmunología (ACAAI)
RSS