ChatGPT obtient environ 60 % à l’examen de licence médicale aux États-Unis : étude

Selon une nouvelle étude, ChatGPT peut obtenir un score égal ou proche du seuil de réussite de 60 % pour l’examen de licence médicale aux États-Unis (USMLE), avec des réponses cohérentes, générant des connaissances d’initiés et contenant souvent des informations.

Tiffany Kung d’AnsibleHealth, Californie, États-Unis, et ses collègues ont testé les performances de ChatGPT sur l’USMLE, une série hautement normalisée et contrôlée de trois examens comprenant les étapes 1, 2CK et 3 requises pour l’obtention d’un permis médical aux États-Unis, selon l’étude.

Pris par des étudiants en médecine et des médecins en formation, l’USMLE évalue un large éventail de connaissances dans la plupart des disciplines médicales, de la biochimie au raisonnement diagnostique en passant par la bioéthique.

Après avoir examiné pour supprimer les questions basées sur des images de l’USMLE, les auteurs ont testé le logiciel sur 350 des 376 questions publiques de la version de l’USMLE de juin 2022, selon l’étude.

Dans l’étude, publiée dans la revue PLOS Digital Health, les auteurs ont constaté qu’après avoir supprimé les réponses inexactes, ChatGPT a obtenu un score compris entre 52,4 % et 75 % sur trois examens USMLE.

Le seuil de réussite chaque année est d’environ 60%.

ChatGPT est un nouveau système d’intelligence artificielle (IA), connu sous le nom de grand modèle de langage (LLM), conçu pour générer un texte de type humain en prédisant les séquences de mots à venir.

Contrairement à la plupart des chatbots, ChatGPT ne peut pas effectuer de recherche sur Internet, selon l’étude.

Au lieu de cela, il crée du texte en utilisant des relations de mots prédites par ses processus internes, selon l’étude.

Selon l’étude, ChatGPT a démontré une concordance de 94,6 % dans toutes ses réponses et a généré au moins un aperçu significatif, qui était nouveau, ambigu et cliniquement valide pour 88,9 % de ses réponses.

ChatGPT a également surpassé PubMedGPT, un modèle homologue formé exclusivement sur la littérature du domaine biomédical, qui a obtenu un score de 50,8% sur un ensemble de données plus ancien de questions de style USMLE, selon l’étude.

Bien que la taille relativement petite des entrées limite la profondeur et la portée de l’analyse, les auteurs notent que leurs résultats donnent un aperçu du potentiel de ChatGPT pour améliorer l’éducation médicale et, finalement, la pratique clinique.

Par exemple, ont-ils ajouté, les médecins d’AnsibleHealth utilisent déjà ChatGPT pour réécrire des rapports lourds de mots afin de les rendre plus faciles à comprendre pour les patients.

“Atteindre une note de passage pour ce test expert notoirement difficile, et le faire sans aucun effort humain, marque une étape importante dans la maturité clinique de l’IA”, ont déclaré les auteurs.

Kung a ajouté que le rôle de ChatGPT dans cette étude va au-delà du sujet de l’étude.

“Contribué substantiellement à l’écriture de ChatGPT [our] Manuscrit … Nous avons approché ChatGPT comme un pair, lui demandant de synthétiser, simplifier et proposer des contrepoints aux brouillons en cours … Tous les co-auteurs ont apprécié l’apport de ChatGPT.

(Seuls le titre et l’image de ce rapport peuvent avoir été retravaillés par le personnel de Business Standards ; le reste du contenu est généré automatiquement à partir d’un flux syndiqué.)

Leave a Comment