{"id":3243,"date":"2024-07-12T15:53:19","date_gmt":"2024-07-12T15:53:19","guid":{"rendered":"https:\/\/aifuturize.com\/?p=3243"},"modified":"2024-07-12T15:54:52","modified_gmt":"2024-07-12T15:54:52","slug":"harvards-ai-chatbot-outperforms-gpt-4v-with-90-tumor-detection","status":"publish","type":"post","link":"https:\/\/aifuturize.com\/de\/ai-news\/harvards-ai-chatbot-outperforms-gpt-4v-with-90-tumor-detection\/","title":{"rendered":"Harvards KI-Chatbot \u00fcbertrifft GPT-4V bei der 90%-Tumorerkennung"},"content":{"rendered":"
\"PfadChat\"<\/span><\/div>

GPT-4V \u00fcbertrifft! KI-Chatbot der Harvard Medical School in Nature mit nahezu 90%-Tumorerkennungsgenauigkeit vorgestellt<\/h2>\n

Krebs ist heute eine der h\u00e4ufigsten Todesursachen weltweit. Jedes Jahr sterben Millionen Menschen daran. Die Weltgesundheitsorganisation hat erkl\u00e4rt, dass ein Drittel aller Krebserkrankungen durch Fr\u00fcherkennung und fr\u00fchzeitige Behandlung geheilt werden k\u00f6nnen.<\/p>\n

Allerdings ist die Krebsvorsorge im medizinischen Bereich seit jeher eine gro\u00dfe Herausforderung. Insbesondere die genaue Identifizierung und Diagnose von Tumoren ist f\u00fcr die Behandlung der Patienten in der pathologischen Analyse von entscheidender Bedeutung. Traditionelle pathologische Untersuchungen h\u00e4ngen weitgehend von der Expertise und dem Fachwissen von Spezialisten ab.<\/p>\n

Mit der Entwicklung gro\u00dfer Modelle wie GPT-4 erforscht man zunehmend die Verwendung k\u00fcnstliche Intelligenz (KI)<\/a> zur Unterst\u00fctzung bei der pathologischen Diagnose hat sich allm\u00e4hlich herausgebildet. Viele KI-Systeme weisen jedoch in praktischen Anwendungen immer noch Leistungsdefizite und mangelnde Interaktivit\u00e4t auf.<\/p>\n

K\u00fcrzlich entwickelten ein Forschungsteam der Harvard Medical School und seine Mitarbeiter einen visuellen KI-Assistenten f\u00fcr die menschliche Pathologie namens PathChat. Dieses System kann in fast 901 F\u00e4llen Krankheiten anhand von Biopsie-Objekttr\u00e4gern korrekt identifizieren und \u00fcbertrifft damit allgemeine KI-Modelle wie GPT-4V und professionelle medizinische Modelle, die derzeit auf dem Markt erh\u00e4ltlich sind.<\/p>\n

Das zugeh\u00f6rige Forschungspapier mit dem Titel \u201eEin multimodaler generativer KI-Copilot f\u00fcr die Humanpathologie\u201c,<\/a> wurde in der Wissenschaftszeitschrift Nature ver\u00f6ffentlicht.<\/p>\n

\"Ein

Ein multimodaler generativer KI-Copilot f\u00fcr die Humanpathologie<\/p><\/div>\n

\n
\n
\n
\n

Es ist erw\u00e4hnenswert, dass diese bahnbrechende Technologie nicht nur Tumore identifizieren kann, sondern auch mit Benutzern interagieren kann und neue Werkzeuge und Perspektiven f\u00fcr die Diagnose und Forschung in der Pathologie bietet.<\/p>\n

PathChat: KI-Assistent zur multimodalen Pathologieerkennung<\/h3>\n

Seit vielen Jahren macht die Computerpathologie bedeutende Fortschritte bei der Analyse pathologischer Morphologiedaten und molekularer Erkennungsdaten. Dieses Nischenforschungsfeld, das durch die Schnittstelle zwischen Pathologie, KI und Computervisionstechnologien entstanden ist, entwickelt sich allm\u00e4hlich zu einem Forschungsschwerpunkt in der medizinischen Bildanalyse.<\/p>\n

In der Computerpathologie werden Bildverarbeitungs- und KI-Technologien verwendet, um KI-basierte Computerpathologiemodelle zu erstellen. Diese Modelle erfassen histopathologische Bilder und f\u00fchren vorl\u00e4ufige Bewertungen des morphologischen Erscheinungsbilds dieser Bilder durch, um durch automatisierte Bildanalysetechniken bei der Diagnose, quantitativen Bewertung und Entscheidungsfindung zu helfen.<\/p>\n

Angesichts des explosiven Wachstums generativer KI-Technologien, die durch ChatGPT repr\u00e4sentiert werden, werden multimodale Large Language Models (MLLMs) derzeit zunehmend in der computergest\u00fctzten Pathologieforschung und der klinischen Praxis in der Pathologie eingesetzt. Im hochspezialisierten Teilgebiet der anatomischen Pathologie befindet sich die Forschung zum Aufbau allgemeiner, multimodaler KI-Assistenten f\u00fcr die Pathologie jedoch noch in einem fr\u00fchen Stadium.<\/p>\n

Im Rahmen dieser Arbeit entwickelte das Forschungsteam einen multimodalen generativen KI-Assistenten speziell f\u00fcr die humanpathologische Forschung \u2013 PathChat. Sie trainierten das System vorab durch selbst\u00fcberwachtes Lernen anhand von \u00fcber 100 Millionen Zellgewebe-Bildfragmenten von mehr als 1 Million Objekttr\u00e4gern. Durch die Kombination mit einem hochmodernen rein visuellen Encoder, UNI, generierten sie ein MLLM, das sowohl visuelle als auch nat\u00fcrliche Spracheingaben verarbeiten kann. Nach der Feinabstimmung anhand eines Datensatzes mit mehr als 450.000 Anweisungsdatenpunkten wurde PathChat erstellt.<\/p>\n

Die Forschung ergab, dass PathChat nicht nur multimodale Eingaben verarbeiten, sondern auch pr\u00e4zise auf komplexe pathologiebezogene Anfragen reagieren kann und in fast 901\u00a0TP3T der F\u00e4lle Krankheiten anhand von Biopsieobjekttr\u00e4gern richtig identifiziert.<\/p>\n

\"Pfadname\"

Pfadname<\/p><\/div>\n

\u00dcbertrifft GPT-4V mit nahezu 90% Genauigkeit<\/h3>\n

Um die Erkennungsleistung von PathChat zu testen, verglich das Forschungsteam PathChat mit dem Open-Source-Modell LLaVA, dem biomedizinspezifischen LLaVA-Med und GPT-4V.<\/p>\n

Sie entwickelten das Vergleichsexperiment PathQABench, bei dem pathologische F\u00e4lle aus verschiedenen Organen und Praxen analysiert wurden, um die Erkennungsleistung von PathChat mit LLaVA, LLaVA-Med und GPT-4V zu vergleichen.<\/p>\n<\/div>\n

Die Ergebnisse zeigten, dass die diagnostische Genauigkeit von PathChat ohne Bereitstellung eines klinischen Kontexts deutlich h\u00f6her war als bei LLaVA 1.5 und LLaVA-Med. Bei der alleinigen Auswertung von Bildern erreichte PathChat eine Genauigkeit von 78,11 TP3T \u00fcber alle kombinierten Benchmarks hinweg, was 52,41 TP3T h\u00f6her ist als bei LLaVA 1.5 und 63,81 TP3T h\u00f6her als bei LLaVA-Med.<\/p>\n

Durch die Einbeziehung des klinischen Kontexts erh\u00f6hte sich die Genauigkeit von PathChat weiter auf 89,51 TP3T, was 39,01 TP3T h\u00f6her ist als bei LLaVA 1.5 und 60,91 TP3T h\u00f6her als bei LLaVA-Med.<\/p>\n

Das Vergleichsexperiment ergab, dass PathChat allein aus den visuellen Merkmalen von Bildern erhebliche Vorhersagef\u00e4higkeiten ableiten kann, anstatt sich ausschlie\u00dflich auf den klinischen Kontext zu verlassen. Es kann multimodale Informationen effektiv und flexibel nutzen, um histologische Bilder genau zu diagnostizieren, indem es nicht-visuelle Informationen einbezieht, die durch gew\u00f6hnliche nat\u00fcrliche Sprache bereitgestellt werden.<\/p>\n

Um die Genauigkeit der Antworten jedes Modells auf offene Fragen objektiv zu bewerten, rekrutierte das Forschungsteam sieben Pathologen, um ein Bewertungsgremium zu bilden. Durch den Vergleich der Antworten der vier Modelle auf 260 offene Fragen wurde die Genauigkeit der Modellerkennungen analysiert.<\/p>\n

Bei offenen Fragen, bei denen die sieben Experten zu einem Konsens gelangen konnten, betrug die Gesamtgenauigkeit von PathChat 78,71 TP3T, was 26,41 TP3T, 48,91 TP3T bzw. 48,11 TP3T h\u00f6her war als bei GPT-4V, LLaVA 1.5 und LLaVA-Med. Insgesamt zeigte PathChat im Vergleich zu den anderen drei Modellen eine bessere Leistung.<\/p>\n

Forscher gaben an, dass PathChat subtile morphologische Details in pathologischen Gewebebildern analysieren und beschreiben kann. Neben Bildeingaben kann es auch Fragen beantworten, die pathologisches und allgemeines biomedizinisches Hintergrundwissen erfordern, was es zu einem vielversprechenden Werkzeug zur Unterst\u00fctzung von Pathologen und Forschern macht.<\/p>\n

Trotz der hervorragenden Leistung von PathChat in Experimenten gibt es in der praktischen Anwendung noch einige Herausforderungen. Dazu geh\u00f6rt, sicherzustellen, dass das Modell ung\u00fcltige Abfragen identifizieren und fehlerhafte Ausgaben vermeiden kann, die Synchronisierung mit dem neuesten medizinischen Wissen aufrechtzuerhalten und die Tatsache zu ber\u00fccksichtigen, dass die Trainingsdaten von PathChat haupts\u00e4chlich aus historischen Daten stammen, die eher den \u201ewissenschaftlichen Konsens der Vergangenheit\u201c als die neuesten Informationen widerspiegeln k\u00f6nnten.<\/p>\n

Forscher gaben an, dass zuk\u00fcnftige Studien die F\u00e4higkeiten von PathChat weiter verbessern k\u00f6nnten, einschlie\u00dflich der Unterst\u00fctzung ganzer Gigapixel-WSI oder mehrerer WSI-Eingaben und der Integration aufgabenspezifischerer Unterst\u00fctzung, wie z. B. pr\u00e4zises Z\u00e4hlen oder Objektlokalisierung. Dar\u00fcber hinaus k\u00f6nnte die Integration von PathChat mit digitalen Objekttr\u00e4gerbetrachtern oder elektronischen Krankenakten seine Praktikabilit\u00e4t in der klinischen Praxis weiter verbessern.<\/p>\n

K\u00fcrzlich wurde das multimodale generative KI-Modell PathChat 2 ver\u00f6ffentlicht. Es kann Bilder und Texte aus der Pathologie analysieren, indem es abwechselnd mehrere hochaufl\u00f6sende Bilder und Texte in einen interaktiven Folienbetrachter eingibt und so umfassendere Auswertungen f\u00fcr jeden Konsultationsfall bereitstellt.<\/p>\n

Im Vergleich zu PathChat 1 weist es eine deutlich verbesserte Leistung bei der Differentialdiagnose und morphologischen Beschreibung auf. Dar\u00fcber hinaus verf\u00fcgt es \u00fcber erweiterte F\u00e4higkeiten bei Aufgaben wie dem Befolgen von Anweisungen, dem Beantworten offener Fragen und der Berichtszusammenfassung.<\/p>\n