{"id":3243,"date":"2024-07-12T15:53:19","date_gmt":"2024-07-12T15:53:19","guid":{"rendered":"https:\/\/aifuturize.com\/?p=3243"},"modified":"2024-07-12T15:54:52","modified_gmt":"2024-07-12T15:54:52","slug":"harvards-ai-chatbot-outperforms-gpt-4v-with-90-tumor-detection","status":"publish","type":"post","link":"https:\/\/aifuturize.com\/fr\/ai-news\/harvards-ai-chatbot-outperforms-gpt-4v-with-90-tumor-detection\/","title":{"rendered":"Le chatbot IA de Harvard surpasse le GPT-4V avec la d\u00e9tection des tumeurs 90%"},"content":{"rendered":"
\"CheminChat\"<\/span><\/div>

Surpassant GPT-4V\u00a0! Le chatbot IA de la Harvard Medical School pr\u00e9sent\u00e9 dans la nature avec une pr\u00e9cision de d\u00e9tection des tumeurs proche de 90%<\/h2>\n

Actuellement, le cancer est devenu l\u2019une des principales causes de d\u00e9c\u00e8s dans le monde, avec des millions de personnes qui en meurent chaque ann\u00e9e. L'Organisation mondiale de la sant\u00e9 a d\u00e9clar\u00e9 qu'un tiers des cancers peuvent \u00eatre gu\u00e9ris gr\u00e2ce \u00e0 une d\u00e9tection et un traitement pr\u00e9coces.<\/p>\n

Cependant, le d\u00e9pistage du cancer a toujours constitu\u00e9 un d\u00e9fi majeur dans le domaine m\u00e9dical. En particulier, l\u2019identification et le diagnostic pr\u00e9cis des tumeurs sont cruciaux pour le traitement des patients en analyse pathologique. Les examens pathologiques traditionnels d\u00e9pendent en grande partie de l'expertise et des connaissances professionnelles de sp\u00e9cialistes.<\/p>\n

Avec le d\u00e9veloppement de grands mod\u00e8les tels que GPT-4, les recherches sur l'utilisation intelligence artificielle (IA)<\/a> pour aider au diagnostic pathologique a progressivement \u00e9merg\u00e9. Cependant, de nombreux syst\u00e8mes d\u2019IA sont encore confront\u00e9s \u00e0 des d\u00e9fauts de performances et \u00e0 une faible interactivit\u00e9 dans les applications pratiques.<\/p>\n

R\u00e9cemment, une \u00e9quipe de recherche de la Harvard Medical School et ses collaborateurs ont d\u00e9velopp\u00e9 un assistant g\u00e9n\u00e9ral d\u2019IA en langage visuel pour la pathologie humaine appel\u00e9 PathChat. Ce syst\u00e8me peut identifier correctement les maladies \u00e0 partir de lames de biopsie dans pr\u00e8s de 90% de cas, surpassant ainsi les mod\u00e8les d'IA g\u00e9n\u00e9raux comme le GPT-4V et les mod\u00e8les m\u00e9dicaux professionnels actuellement disponibles sur le march\u00e9.<\/p>\n

Le document de recherche connexe, intitul\u00e9 \u00ab\u00a0Un copilote d'IA g\u00e9n\u00e9rative multimodale pour la pathologie humaine\u00a0\u00bb<\/a> a \u00e9t\u00e9 publi\u00e9 dans la revue scientifique Nature.<\/p>\n

\"Un

Un copilote d'IA g\u00e9n\u00e9rative multimodale pour la pathologie humaine<\/p><\/div>\n

\n
\n
\n
\n

Il convient de noter que cette technologie r\u00e9volutionnaire peut non seulement identifier les tumeurs, mais \u00e9galement interagir avec les utilisateurs, offrant ainsi de nouveaux outils et perspectives pour le diagnostic et la recherche en pathologie.<\/p>\n

PathChat\u00a0: Assistant IA de d\u00e9tection de pathologie multimodale<\/h3>\n

Depuis de nombreuses ann\u00e9es, la pathologie computationnelle a fait des progr\u00e8s significatifs dans l\u2019analyse des donn\u00e9es de morphologie pathologique et des donn\u00e9es de d\u00e9tection mol\u00e9culaire. Ce domaine de recherche de niche, form\u00e9 par l\u2019intersection de la pathologie avec les technologies de l\u2019IA et de la vision par ordinateur, devient progressivement un haut lieu de la recherche en analyse d\u2019images m\u00e9dicales.<\/p>\n

La pathologie informatique implique l\u2019utilisation du traitement d\u2019image et de la technologie de l\u2019IA pour cr\u00e9er des mod\u00e8les de pathologie informatique de l\u2019IA. Ces mod\u00e8les acqui\u00e8rent des images histopathologiques et effectuent des \u00e9valuations pr\u00e9liminaires de l'apparence morphologique de ces images pour faciliter le diagnostic, l'\u00e9valuation quantitative et la prise de d\u00e9cision gr\u00e2ce \u00e0 des techniques d'analyse d'images automatis\u00e9es.<\/p>\n

Actuellement, avec la croissance explosive des technologies d\u2019IA g\u00e9n\u00e9rative repr\u00e9sent\u00e9es par ChatGPT, les grands mod\u00e8les multimodaux de langage (MLLM) sont de plus en plus appliqu\u00e9s dans la recherche en pathologie informatique et dans la pratique clinique en pathologie. Cependant, dans le sous-domaine hautement sp\u00e9cialis\u00e9 de l\u2019anatomopathologie, la recherche sur la cr\u00e9ation d\u2019assistants d\u2019IA g\u00e9n\u00e9raux et multimodaux pour la pathologie en est encore \u00e0 ses d\u00e9buts.<\/p>\n

Dans ce travail, l\u2019\u00e9quipe de recherche a con\u00e7u un assistant d\u2019IA g\u00e9n\u00e9rative multimodale sp\u00e9cifiquement destin\u00e9 \u00e0 la recherche en pathologie humaine : PathChat. Ils ont pr\u00e9-entra\u00een\u00e9 le syst\u00e8me gr\u00e2ce \u00e0 un apprentissage auto-supervis\u00e9 sur plus de 100 millions de fragments d\u2019images de tissus cellulaires provenant de plus d\u2019un million de diapositives. En combinant cela avec un encodeur visuel pur de pointe, UNI, ils ont g\u00e9n\u00e9r\u00e9 un MLLM capable de raisonner \u00e0 la fois sur les entr\u00e9es visuelles et en langage naturel. Apr\u00e8s avoir affin\u00e9 un ensemble de donn\u00e9es de plus de 450\u00a0000 points de donn\u00e9es d\u2019instructions, PathChat a \u00e9t\u00e9 construit.<\/p>\n

La recherche a r\u00e9v\u00e9l\u00e9 que PathChat peut non seulement g\u00e9rer des entr\u00e9es multimodales, mais \u00e9galement r\u00e9pondre avec pr\u00e9cision \u00e0 des demandes complexes li\u00e9es \u00e0 la pathologie, en identifiant correctement les maladies \u00e0 partir de lames de biopsie dans pr\u00e8s de 901 TP3T de cas.<\/p>\n

\"CheminCaht\"

CheminCaht<\/p><\/div>\n

Surpassant le GPT-4V avec une pr\u00e9cision de pr\u00e8s de 90%<\/h3>\n

Pour tester les performances de d\u00e9tection de PathChat, l\u2019\u00e9quipe de recherche a compar\u00e9 PathChat au mod\u00e8le open source LLaVA, au LLaVA-Med sp\u00e9cifique au domaine biom\u00e9dical et au GPT-4V.<\/p>\n

Ils ont con\u00e7u l'exp\u00e9rience de comparaison PathQABench, analysant les cas pathologiques de diff\u00e9rents organes et pratiques pour comparer les performances de d\u00e9tection de PathChat avec LLaVA, LLaVA-Med et GPT-4V.<\/p>\n<\/div>\n

Les r\u00e9sultats ont montr\u00e9 que sans fournir de contexte clinique, la pr\u00e9cision du diagnostic de PathChat \u00e9tait significativement sup\u00e9rieure \u00e0 celle de LLaVA 1.5 et LLaVA-Med. Lors de l'\u00e9valuation des images seules, PathChat a atteint une pr\u00e9cision de 78,1% sur tous les points de r\u00e9f\u00e9rence combin\u00e9s, soit 52,4% de plus que LLaVA 1,5 et 63,8% de plus que LLaVA-Med.<\/p>\n

Avec l'inclusion du contexte clinique, la pr\u00e9cision de PathChat a encore augment\u00e9 pour atteindre 89,5%, soit 39,0% de plus que LLaVA 1,5 et 60,9% de plus que LLaVA-Med.<\/p>\n

L'exp\u00e9rience comparative a r\u00e9v\u00e9l\u00e9 que PathChat peut tirer une capacit\u00e9 pr\u00e9dictive substantielle \u00e0 partir des seules caract\u00e9ristiques visuelles des images, plut\u00f4t que de s'appuyer uniquement sur le contexte clinique. Il peut utiliser de mani\u00e8re efficace et flexible les informations multimodales pour diagnostiquer avec pr\u00e9cision les images histologiques en incorporant des informations non visuelles fournies par le langage naturel ordinaire.<\/p>\n

Pour \u00e9valuer objectivement l'exactitude des r\u00e9ponses de chaque mod\u00e8le aux questions ouvertes, l'\u00e9quipe de recherche a recrut\u00e9 sept pathologistes pour former un panel d'\u00e9valuation. En comparant les r\u00e9ponses des quatre mod\u00e8les \u00e0 260 questions ouvertes, l'exactitude des d\u00e9tections du mod\u00e8le a \u00e9t\u00e9 analys\u00e9e.<\/p>\n

Enfin, sur les questions ouvertes sur lesquelles les sept experts ont pu parvenir \u00e0 un consensus, la pr\u00e9cision globale de PathChat \u00e9tait de 78,7%, soit 26,4%, 48,9% et 48,1% de plus que GPT-4V, LLaVA 1,5 et LLaVA-Med, respectivement. Dans l'ensemble, PathChat a d\u00e9montr\u00e9 des performances sup\u00e9rieures par rapport aux trois autres mod\u00e8les.<\/p>\n

Les chercheurs ont indiqu\u00e9 que PathChat peut analyser et d\u00e9crire des d\u00e9tails morphologiques subtils dans des images de tissus pathologiques. Outre les entr\u00e9es d\u2019images, il peut \u00e9galement r\u00e9pondre \u00e0 des questions n\u00e9cessitant des connaissances en pathologie et en m\u00e9decine biom\u00e9dicale g\u00e9n\u00e9rale, ce qui en fait un outil prometteur pour aider les pathologistes et les chercheurs.<\/p>\n

Malgr\u00e9 les excellentes performances exp\u00e9rimentales de PathChat, il reste confront\u00e9 \u00e0 certains d\u00e9fis dans les applications pratiques. Il s'agit notamment de garantir que le mod\u00e8le peut identifier les requ\u00eates invalides et \u00e9viter les r\u00e9sultats erron\u00e9s, de maintenir la synchronisation avec les derni\u00e8res connaissances m\u00e9dicales et de tenir compte du fait que les donn\u00e9es de formation de PathChat proviennent principalement de donn\u00e9es historiques, qui pourraient refl\u00e9ter un \u00ab consensus scientifique pass\u00e9 \u00bb plut\u00f4t que les informations les plus r\u00e9centes.<\/p>\n

Les chercheurs ont d\u00e9clar\u00e9 que de futures \u00e9tudes pourraient am\u00e9liorer davantage les capacit\u00e9s de PathChat, notamment en prenant en charge des gigapixels WSI entiers ou plusieurs entr\u00e9es WSI et en int\u00e9grant une prise en charge plus sp\u00e9cifique \u00e0 des t\u00e2ches, telles que le comptage pr\u00e9cis ou la localisation d'objets. De plus, l\u2019int\u00e9gration de PathChat \u00e0 des visionneuses de diapositives num\u00e9riques ou \u00e0 des dossiers m\u00e9dicaux \u00e9lectroniques pourrait encore am\u00e9liorer son caract\u00e8re pratique dans la pratique clinique.<\/p>\n

R\u00e9cemment, le mod\u00e8le d'IA g\u00e9n\u00e9rative multimodale PathChat 2 a \u00e9t\u00e9 publi\u00e9. Il peut raisonner sur des images et des textes pathologiques, en acceptant des entr\u00e9es altern\u00e9es de plusieurs images et textes haute r\u00e9solution dans une visionneuse de diapositives interactive, fournissant ainsi des \u00e9valuations plus compl\u00e8tes pour chaque cas de consultation.<\/p>\n

Par rapport \u00e0 PathChat 1, il a consid\u00e9rablement am\u00e9lior\u00e9 les performances en mati\u00e8re de diagnostic diff\u00e9rentiel et de description morphologique. Il dispose \u00e9galement de capacit\u00e9s am\u00e9lior\u00e9es dans des t\u00e2ches telles que le suivi d'instructions, la r\u00e9ponse \u00e0 des questions ouvertes et la synth\u00e8se de rapports.<\/p>\n