{"id":3243,"date":"2024-07-12T15:53:19","date_gmt":"2024-07-12T15:53:19","guid":{"rendered":"https:\/\/aifuturize.com\/?p=3243"},"modified":"2024-07-12T15:54:52","modified_gmt":"2024-07-12T15:54:52","slug":"harvards-ai-chatbot-outperforms-gpt-4v-with-90-tumor-detection","status":"publish","type":"post","link":"https:\/\/aifuturize.com\/it\/ai-news\/harvards-ai-chatbot-outperforms-gpt-4v-with-90-tumor-detection\/","title":{"rendered":"Il chatbot AI di Harvard supera GPT-4V con il rilevamento dei tumori 90%"},"content":{"rendered":"
\"PathChat\"<\/span><\/div>

Superando GPT-4V! Il chatbot AI della Harvard Medical School presentato in natura con una precisione di rilevamento dei tumori quasi 90%<\/h2>\n

Attualmente, il cancro \u00e8 diventato una delle principali cause di morte in tutto il mondo, con milioni di persone che muoiono ogni anno. L\u2019Organizzazione Mondiale della Sanit\u00e0 ha affermato che un terzo dei tumori pu\u00f2 essere curato attraverso la diagnosi precoce e il trattamento tempestivo.<\/p>\n

Tuttavia, lo screening del cancro \u00e8 sempre stato una sfida importante in campo medico. In particolare, l'identificazione e la diagnosi precisa dei tumori sono cruciali per il trattamento del paziente nell'analisi patologica. Gli esami patologici tradizionali dipendono in gran parte dalle competenze e dalle conoscenze professionali degli specialisti.<\/p>\n

Con lo sviluppo di modelli di grandi dimensioni come GPT-4, la ricerca sull'utilizzo intelligenza artificiale (AI)<\/a> per assistere nella diagnosi patologica \u00e8 gradualmente emerso. Tuttavia, molti sistemi di intelligenza artificiale presentano ancora carenze prestazionali e scarsa interattivit\u00e0 nelle applicazioni pratiche.<\/p>\n

Recentemente, un gruppo di ricerca della Harvard Medical School e i suoi collaboratori hanno sviluppato un assistente generale di intelligenza artificiale per il linguaggio visivo per la patologia umana chiamato PathChat. Questo sistema \u00e8 in grado di identificare correttamente le malattie dai vetrini bioptici in quasi 90% di casi, superando i modelli di intelligenza artificiale generali come GPT-4V e i modelli medici professionali attualmente disponibili sul mercato.<\/p>\n

Il relativo documento di ricerca, intitolato \u201cUn copilota di intelligenza artificiale generativa multimodale per la patologia umana\u201d,<\/a> \u00e8 stato pubblicato sulla rivista scientifica Nature.<\/p>\n

\"Un

Un copilota di intelligenza artificiale generativa multimodale per la patologia umana<\/p><\/div>\n

\n
\n
\n
\n

Vale la pena notare che questa tecnologia innovativa non solo pu\u00f2 identificare i tumori ma anche interagire con gli utenti, fornendo nuovi strumenti e prospettive per la diagnosi e la ricerca in patologia.<\/p>\n

PathChat: assistente AI per il rilevamento di patologie multimodali<\/h3>\n

Per molti anni, la patologia computazionale ha compiuto progressi significativi nell'analisi dei dati morfologici patologici e dei dati di rilevamento molecolare. Questo campo di ricerca di nicchia, formato dall\u2019intersezione della patologia con l\u2019intelligenza artificiale e le tecnologie di visione artificiale, sta gradualmente diventando un punto caldo della ricerca nell\u2019analisi delle immagini mediche.<\/p>\n

La patologia computazionale prevede l'utilizzo dell'elaborazione delle immagini e della tecnologia AI per costruire modelli di patologia computazionale AI. Questi modelli acquisiscono immagini istopatologiche e conducono valutazioni preliminari dell'aspetto morfologico di queste immagini per assistere nella diagnosi, nella valutazione quantitativa e nel processo decisionale attraverso tecniche automatizzate di analisi delle immagini.<\/p>\n

Attualmente, con la crescita esplosiva delle tecnologie di intelligenza artificiale generativa rappresentate da ChatGPT, i modelli multimodali di linguaggio di grandi dimensioni (MLLM) vengono sempre pi\u00f9 applicati nella ricerca sulla patologia computazionale e nella pratica clinica in patologia. Tuttavia, nel sottocampo altamente specializzato dell\u2019anatomia patologica, la ricerca sulla costruzione di assistenti IA generali e multimodali per la patologia \u00e8 ancora nelle fasi iniziali.<\/p>\n

In questo lavoro, il gruppo di ricerca ha progettato un assistente AI generativo multimodale specifico per la ricerca sulla patologia umana: PathChat. Hanno pre-addestrato il sistema attraverso l'apprendimento auto-supervisionato su oltre 100 milioni di frammenti di immagini di tessuti cellulari provenienti da pi\u00f9 di 1 milione di vetrini. Combinando questo con un codificatore visivo puro all'avanguardia, UNI, hanno generato un MLLM in grado di ragionare sugli input sia visivi che del linguaggio naturale. Dopo aver messo a punto un set di dati di oltre 450.000 punti dati di istruzioni, \u00e8 stato costruito PathChat.<\/p>\n

La ricerca ha scoperto che PathChat non solo pu\u00f2 gestire input multimodali, ma anche rispondere accuratamente a complesse domande relative alla patologia, identificando correttamente le malattie dai vetrini bioptici in quasi 90% di casi.<\/p>\n

\"PathCht\"

PathCht<\/p><\/div>\n

Superando GPT-4V con una precisione quasi 90%<\/h3>\n

Per testare le prestazioni di rilevamento di PathChat, il team di ricerca ha confrontato PathChat con il modello open source LLaVA, il modello biomedico LLaVA-Med e GPT-4V.<\/p>\n

Hanno progettato l\u2019esperimento di confronto PathQABench, analizzando casi patologici di diversi organi e pratiche per confrontare le prestazioni di rilevamento di PathChat con LLaVA, LLaVA-Med e GPT-4V.<\/p>\n<\/div>\n

I risultati hanno mostrato che senza fornire un contesto clinico, l'accuratezza diagnostica di PathChat era significativamente pi\u00f9 elevata rispetto a LLaVA 1.5 e LLaVA-Med. Valutando le sole immagini, PathChat ha raggiunto una precisione di 78,1% su tutti i benchmark combinati, ovvero 52,4% superiore a LLaVA 1.5 e 63,8% superiore a LLaVA-Med.<\/p>\n

Includendo il contesto clinico, la precisione di PathChat \u00e8 ulteriormente aumentata a 89,5%, ovvero 39,0% superiore a LLaVA 1,5 e 60,9% superiore a LLaVA-Med.<\/p>\n

L'esperimento comparativo ha rivelato che PathChat pu\u00f2 trarre una sostanziale capacit\u00e0 predittiva dalle sole caratteristiche visive delle immagini, piuttosto che fare affidamento esclusivamente sul contesto clinico. Pu\u00f2 utilizzare in modo efficace e flessibile informazioni multimodali per diagnosticare accuratamente immagini istologiche incorporando informazioni non visive fornite attraverso il linguaggio naturale ordinario.<\/p>\n

Per valutare oggettivamente l'accuratezza delle risposte di ciascun modello alle domande aperte, il gruppo di ricerca ha reclutato sette patologi per formare un gruppo di valutazione. Confrontando le risposte dei quattro modelli a 260 domande a risposta aperta, \u00e8 stata analizzata l'accuratezza dei rilevamenti del modello.<\/p>\n

Infine, sulle domande a risposta aperta in cui i sette esperti hanno potuto raggiungere un consenso, la precisione complessiva di PathChat \u00e8 stata di 78,7%, ovvero 26,4%, 48,9% e 48,1% superiore rispettivamente a GPT-4V, LLaVA 1,5 e LLaVA-Med. Nel complesso, PathChat ha dimostrato prestazioni superiori rispetto agli altri tre modelli.<\/p>\n

I ricercatori hanno indicato che PathChat pu\u00f2 analizzare e descrivere sottili dettagli morfologici nelle immagini dei tessuti patologici. Oltre agli input di immagini, pu\u00f2 anche rispondere a domande che richiedono conoscenze di patologia e di base biomedica generale, rendendolo uno strumento promettente per assistere patologi e ricercatori.<\/p>\n

Nonostante le eccellenti prestazioni di PathChat negli esperimenti, deve ancora affrontare alcune sfide nelle applicazioni pratiche. Questi includono garantire che il modello possa identificare query non valide ed evitare risultati errati, mantenere la sincronizzazione con le pi\u00f9 recenti conoscenze mediche e affrontare il fatto che i dati di addestramento di PathChat provengono principalmente da dati storici, che potrebbero riflettere il "consenso scientifico passato" piuttosto che le informazioni pi\u00f9 recenti.<\/p>\n

I ricercatori hanno affermato che studi futuri potrebbero migliorare ulteriormente le capacit\u00e0 di PathChat, incluso il supporto dell'intero WSI gigapixel o pi\u00f9 input WSI e l'integrazione di un supporto pi\u00f9 specifico per attivit\u00e0, come il conteggio preciso o la localizzazione degli oggetti. Inoltre, l'integrazione di PathChat con visualizzatori di diapositive digitali o cartelle cliniche elettroniche potrebbe migliorarne ulteriormente la praticit\u00e0 nella pratica clinica.<\/p>\n

Recentemente \u00e8 stato rilasciato il modello di intelligenza artificiale generativa multimodale PathChat 2. Pu\u00f2 ragionare su immagini e testo della patologia, accettando input alternati di pi\u00f9 immagini e testo ad alta risoluzione in un visualizzatore di diapositive interattivo, fornendo cos\u00ec valutazioni pi\u00f9 complete per ciascun caso di consultazione.<\/p>\n

Rispetto a PathChat 1, ha migliorato significativamente le prestazioni nella diagnosi differenziale e nella descrizione morfologica. Dispone inoltre di funzionalit\u00e0 migliorate in attivit\u00e0 quali il seguito di istruzioni, la risposta a domande aperte e il riepilogo dei report.<\/p>\n