ومن الجدير بالذكر أن هذه التكنولوجيا المتقدمة لا يمكنها تحديد الأورام فحسب، بل يمكنها أيضًا التفاعل مع المستخدمين، مما يوفر أدوات ووجهات نظر جديدة للتشخيص والبحث في علم الأمراض.

PathChat: مساعد الذكاء الاصطناعي للكشف عن الأمراض متعدد الوسائط

لسنوات عديدة، حقق علم الأمراض الحسابي تقدمًا كبيرًا في تحليل بيانات التشكل المرضية وبيانات الكشف الجزيئي. أصبح هذا المجال البحثي المتخصص، والذي تم تشكيله من خلال تقاطع علم الأمراض مع الذكاء الاصطناعي وتقنيات الرؤية الحاسوبية، تدريجياً نقطة بحثية ساخنة في تحليل الصور الطبية.

يتضمن علم الأمراض الحسابي استخدام معالجة الصور وتقنية الذكاء الاصطناعي لبناء نماذج علم الأمراض الحسابية للذكاء الاصطناعي. تكتسب هذه النماذج صورًا نسيجية مرضية وتجري تقييمات أولية للمظهر المورفولوجي لهذه الصور للمساعدة في التشخيص والتقييم الكمي واتخاذ القرار من خلال تقنيات تحليل الصور الآلية.

حاليًا، مع النمو الهائل لتقنيات الذكاء الاصطناعي التوليدية التي يمثلها ChatGPT، يتم تطبيق نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد في أبحاث علم الأمراض الحسابية والممارسة السريرية في علم الأمراض. ومع ذلك، في المجال الفرعي المتخصص للغاية لعلم الأمراض التشريحية، لا يزال البحث حول بناء مساعدي الذكاء الاصطناعي العام ومتعدد الوسائط لعلم الأمراض في مراحله الأولى.

في هذا العمل، صمم فريق البحث مساعدًا متعدد الوسائط للذكاء الاصطناعي خصيصًا لأبحاث علم الأمراض البشرية — PathChat. لقد قاموا بتدريب النظام مسبقًا من خلال التعلم الخاضع للإشراف الذاتي على أكثر من 100 مليون جزء من صورة أنسجة الخلية من أكثر من مليون شريحة. من خلال الجمع بين هذا مع برنامج التشفير البصري النقي المتطور، UNI، قاموا بإنشاء MLLM قادر على التفكير حول مدخلات اللغة المرئية والطبيعية. بعد الضبط الدقيق لمجموعة بيانات تضم أكثر من 450.000 نقطة بيانات تعليمات، تم إنشاء PathChat.

ووجد البحث أن PathChat لا يمكنه التعامل مع المدخلات متعددة الوسائط فحسب، بل يمكنه أيضًا الاستجابة بدقة للاستفسارات المعقدة المتعلقة بعلم الأمراض، وتحديد الأمراض بشكل صحيح من شرائح الخزعة في ما يقرب من 90% من الحالات.

PathCaht

تجاوز GPT-4V بدقة 90% تقريبًا

ولاختبار أداء اكتشاف PathChat، قارن فريق البحث PathChat مع النموذج مفتوح المصدر LLaVA، وLLaVA-Med المخصص للطب الحيوي، وGPT-4V.

لقد صمموا تجربة مقارنة PathQABench، حيث قاموا بتحليل الحالات المرضية من مختلف الأعضاء والممارسات لمقارنة أداء اكتشاف PathChat مع LLaVA وLLaVA-Med وGPT-4V.

أظهرت النتائج أنه بدون توفير السياق السريري، كانت دقة تشخيص PathChat أعلى بكثير من LLaVA 1.5 وLLaVA-Med. عند تقييم الصور وحدها، حققت PathChat دقة قدرها 78.1% عبر جميع المعايير المجمعة، وهي أعلى بمقدار 52.4% من LLaVA 1.5 و63.8% أعلى من LLaVA-Med.

مع إدراج السياق السريري، زادت دقة PathChat إلى 89.5%، وهو أعلى بمقدار 39.0% من LLaVA 1.5 و60.9% أعلى من LLaVA-Med.

كشفت التجربة المقارنة أن PathChat يمكنه استخلاص قدرة تنبؤية كبيرة من السمات المرئية للصور وحدها، بدلاً من الاعتماد فقط على السياق السريري. يمكنه استخدام المعلومات متعددة الوسائط بفعالية ومرونة لتشخيص الصور النسيجية بدقة من خلال دمج المعلومات غير المرئية المقدمة من خلال اللغة الطبيعية العادية.

ولتقييم دقة إجابات كل نموذج على الأسئلة المفتوحة بشكل موضوعي، قام فريق البحث بتعيين سبعة علماء أمراض لتشكيل لجنة تقييم. ومن خلال مقارنة إجابات النماذج الأربعة بـ 260 سؤالاً مفتوحًا، تم تحليل دقة اكتشافات النموذج.

أخيرًا، في الأسئلة المفتوحة التي تمكن الخبراء السبعة من التوصل إلى إجماع فيها، كانت الدقة الإجمالية لـ PathChat هي 78.7%، وهي أعلى بـ 26.4% و48.9% و48.1% من GPT-4V وLLaVA 1.5 وLLaVA-Med، على التوالي. بشكل عام، أظهر PathChat أداءً فائقًا مقارنة بالنماذج الثلاثة الأخرى.

وأشار الباحثون إلى أن PathChat يمكنه تحليل ووصف التفاصيل المورفولوجية الدقيقة في صور الأنسجة المرضية. إلى جانب مدخلات الصور، يمكنه أيضًا الإجابة على الأسئلة التي تتطلب معرفة عامة بعلم الأمراض والخلفية الطبية الحيوية، مما يجعله أداة واعدة لمساعدة علماء الأمراض والباحثين.

على الرغم من أداء PathChat الممتاز في التجارب، إلا أنه لا يزال يواجه بعض التحديات في التطبيقات العملية. يتضمن ذلك التأكد من أن النموذج يمكنه تحديد الاستعلامات غير الصالحة وتجنب المخرجات الخاطئة، والحفاظ على التزامن مع أحدث المعرفة الطبية، ومعالجة حقيقة أن بيانات تدريب PathChat تأتي بشكل أساسي من البيانات التاريخية، والتي قد تعكس "الإجماع العلمي السابق" بدلاً من أحدث المعلومات.

ذكر الباحثون أن الدراسات المستقبلية قد تزيد من تعزيز قدرات PathChat، بما في ذلك دعم جيجابيكسل WSI بالكامل أو مدخلات WSI المتعددة ودمج المزيد من الدعم الخاص بالمهام، مثل العد الدقيق أو توطين الكائنات. بالإضافة إلى ذلك، قد يؤدي دمج PathChat مع عارض الشرائح الرقمية أو السجلات الطبية الإلكترونية إلى تحسين التطبيق العملي له في الممارسة السريرية.

في الآونة الأخيرة، تم إصدار نموذج الذكاء الاصطناعي التوليدي المتعدد الوسائط PathChat 2. يمكنه التفكير في الصور والنصوص المرضية، وقبول المدخلات المتناوبة للعديد من الصور والنصوص عالية الدقة في عارض الشرائح التفاعلي، وبالتالي توفير تقييمات أكثر شمولاً لكل حالة استشارة.

بالمقارنة مع PathChat 1، فقد قام بتحسين الأداء بشكل ملحوظ في التشخيص التفريقي والوصف المورفولوجي. كما أن لديها قدرات محسنة في مهام مثل متابعة التعليمات والإجابة على الأسئلة المفتوحة وتلخيص التقارير.