ട്യൂമറുകൾ തിരിച്ചറിയാൻ മാത്രമല്ല, പാത്തോളജിയിലെ രോഗനിർണയത്തിനും ഗവേഷണത്തിനുമുള്ള പുതിയ ഉപകരണങ്ങളും വീക്ഷണങ്ങളും നൽകിക്കൊണ്ട് ഉപയോക്താക്കളുമായി ഇടപഴകാനും ഈ മുന്നേറ്റ സാങ്കേതികവിദ്യയ്ക്ക് കഴിയുമെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്.

പാത്ത്ചാറ്റ്: മൾട്ടിമോഡൽ പാത്തോളജി ഡിറ്റക്ഷൻ AI അസിസ്റ്റൻ്റ്

നിരവധി വർഷങ്ങളായി, പാത്തോളജിക്കൽ മോർഫോളജി ഡാറ്റയും മോളിക്യുലാർ ഡിറ്റക്ഷൻ ഡാറ്റയും വിശകലനം ചെയ്യുന്നതിൽ കമ്പ്യൂട്ടേഷണൽ പാത്തോളജി ഗണ്യമായ പുരോഗതി കൈവരിച്ചിട്ടുണ്ട്. AI, കമ്പ്യൂട്ടർ വിഷൻ സാങ്കേതികവിദ്യകൾ എന്നിവയുമായുള്ള പാത്തോളജിയുടെ വിഭജനത്താൽ രൂപപ്പെട്ട ഈ നിച് ഗവേഷണ മേഖല ക്രമേണ മെഡിക്കൽ ഇമേജ് വിശകലനത്തിൽ ഒരു ഗവേഷണ ഹോട്ട്‌സ്‌പോട്ടായി മാറുകയാണ്.

AI കമ്പ്യൂട്ടേഷണൽ പാത്തോളജി മോഡലുകൾ നിർമ്മിക്കുന്നതിന് ഇമേജ് പ്രോസസ്സിംഗും AI സാങ്കേതികവിദ്യയും ഉപയോഗിക്കുന്നത് കമ്പ്യൂട്ടേഷണൽ പാത്തോളജിയിൽ ഉൾപ്പെടുന്നു. ഈ മോഡലുകൾ ഹിസ്റ്റോപത്തോളജിക്കൽ ഇമേജുകൾ നേടുകയും ഈ ചിത്രങ്ങളുടെ രൂപഘടനയുടെ പ്രാഥമിക വിലയിരുത്തലുകൾ നടത്തുകയും, ഓട്ടോമേറ്റഡ് ഇമേജ് അനാലിസിസ് ടെക്നിക്കുകളിലൂടെ രോഗനിർണയം, അളവ് വിലയിരുത്തൽ, തീരുമാനമെടുക്കൽ എന്നിവയിൽ സഹായിക്കുകയും ചെയ്യുന്നു.

നിലവിൽ, ChatGPT പ്രതിനിധീകരിക്കുന്ന ജനറേറ്റീവ് AI സാങ്കേതികവിദ്യകളുടെ സ്ഫോടനാത്മകമായ വളർച്ചയോടെ, മൾട്ടിമോഡൽ വലിയ ഭാഷാ മോഡലുകൾ (MLLMs) കമ്പ്യൂട്ടേഷണൽ പതോളജി ഗവേഷണത്തിലും പാത്തോളജിയിലെ ക്ലിനിക്കൽ പ്രാക്ടീസിലും കൂടുതലായി പ്രയോഗിക്കപ്പെടുന്നു. എന്നിരുന്നാലും, അനാട്ടമിക്കൽ പാത്തോളജിയുടെ ഉയർന്ന സ്പെഷ്യലൈസ്ഡ് ഉപവിഭാഗത്തിൽ, പാത്തോളജിക്കായി പൊതുവായ, മൾട്ടിമോഡൽ AI അസിസ്റ്റൻ്റുമാരെ നിർമ്മിക്കുന്നതിനുള്ള ഗവേഷണം ഇപ്പോഴും അതിൻ്റെ പ്രാരംഭ ഘട്ടത്തിലാണ്.

ഈ സൃഷ്ടിയിൽ, ഗവേഷണ സംഘം ഹ്യൂമൻ പാത്തോളജി ഗവേഷണത്തിനായി പ്രത്യേകമായി ഒരു മൾട്ടിമോഡൽ ജനറേറ്റീവ് AI അസിസ്റ്റൻ്റ് രൂപകല്പന ചെയ്തു-പാത്ത്ചാറ്റ്. 1 ദശലക്ഷത്തിലധികം സ്ലൈഡുകളിൽ നിന്ന് 100 ദശലക്ഷത്തിലധികം സെൽ ടിഷ്യു ഇമേജ് ശകലങ്ങളിൽ സ്വയം മേൽനോട്ടത്തിലുള്ള പഠനത്തിലൂടെ അവർ സിസ്റ്റത്തെ മുൻകൂട്ടി പരിശീലിപ്പിച്ചു. UNI എന്ന അത്യാധുനിക പ്യുവർ വിഷ്വൽ എൻകോഡറുമായി ഇത് സംയോജിപ്പിച്ച്, ദൃശ്യപരവും സ്വാഭാവികവുമായ ഭാഷാ ഇൻപുട്ടുകളെ കുറിച്ച് ന്യായവാദം ചെയ്യാൻ കഴിവുള്ള ഒരു MLLM അവർ സൃഷ്ടിച്ചു. 450,000-ലധികം ഇൻസ്ട്രക്ഷൻ ഡാറ്റാ പോയിൻ്റുകളുടെ ഡാറ്റാസെറ്റിൽ സൂക്ഷ്മമായി ട്യൂൺ ചെയ്ത ശേഷം, പാത്ത്ചാറ്റ് നിർമ്മിച്ചു.

പാത്ത്‌ചാറ്റിന് മൾട്ടിമോഡൽ ഇൻപുട്ടുകൾ കൈകാര്യം ചെയ്യാൻ മാത്രമല്ല, സങ്കീർണ്ണമായ പാത്തോളജിയുമായി ബന്ധപ്പെട്ട അന്വേഷണങ്ങളോട് കൃത്യമായി പ്രതികരിക്കാനും കഴിയുമെന്ന് ഗവേഷണം കണ്ടെത്തി, ഏകദേശം 90% കേസുകളിൽ ബയോപ്‌സി സ്ലൈഡുകളിൽ നിന്നുള്ള രോഗങ്ങളെ ശരിയായി തിരിച്ചറിയുന്നു.

പാത്ത്കാറ്റ്

ഏതാണ്ട് 90% കൃത്യതയോടെ GPT-4V-യെ മറികടക്കുന്നു

PathChat-ൻ്റെ കണ്ടെത്തൽ പ്രകടനം പരിശോധിക്കുന്നതിനായി, ഗവേഷണ സംഘം PathChat-നെ ഓപ്പൺ സോഴ്സ് മോഡൽ LLaVA, ബയോമെഡിക്കൽ-നിർദ്ദിഷ്ട LLaVA-Med, GPT-4V എന്നിവയുമായി താരതമ്യം ചെയ്തു.

LAVA, LLaVA-Med, GPT-4V എന്നിവയുമായി PathChat-ൻ്റെ കണ്ടെത്തൽ പ്രകടനത്തെ താരതമ്യം ചെയ്യുന്നതിനായി വിവിധ അവയവങ്ങളിൽ നിന്നും സമ്പ്രദായങ്ങളിൽ നിന്നുമുള്ള പാത്തോളജിക്കൽ കേസുകൾ വിശകലനം ചെയ്തുകൊണ്ട് PathQABench താരതമ്യ പരീക്ഷണം അവർ രൂപകൽപ്പന ചെയ്‌തു.

ക്ലിനിക്കൽ സന്ദർഭം നൽകാതെ തന്നെ, പാത്ത്ചാറ്റിൻ്റെ ഡയഗ്നോസ്റ്റിക് കൃത്യത LLaVA 1.5, LLaVA-Med എന്നിവയേക്കാൾ വളരെ കൂടുതലാണെന്ന് ഫലങ്ങൾ കാണിച്ചു. ചിത്രങ്ങൾ മാത്രം വിലയിരുത്തുമ്പോൾ, എല്ലാ സംയോജിത ബെഞ്ച്മാർക്കുകളിലും 78.1% കൃത്യത പാത്ത്ചാറ്റ് കൈവരിച്ചു, ഇത് LLaVA 1.5-നേക്കാൾ 52.4% കൂടുതലും LLaVA-Med-നേക്കാൾ 63.8% കൂടുതലുമാണ്.

ക്ലിനിക്കൽ സന്ദർഭം ഉൾപ്പെടുത്തിയതോടെ, PathChat-ൻ്റെ കൃത്യത 89.5% ആയി വർദ്ധിച്ചു, ഇത് LLaVA 1.5-നേക്കാൾ 39.0% കൂടുതലും LLaVA-Med-നേക്കാൾ 60.9% കൂടുതലുമാണ്.

ക്ലിനിക്കൽ സന്ദർഭത്തെ മാത്രം ആശ്രയിക്കുന്നതിനുപകരം, ചിത്രങ്ങളുടെ ദൃശ്യ സവിശേഷതകളിൽ നിന്ന് മാത്രം പാത്ത്ചാറ്റിന് ഗണ്യമായ പ്രവചന ശേഷി നേടാനാകുമെന്ന് താരതമ്യ പരീക്ഷണം വെളിപ്പെടുത്തി. സാധാരണ സ്വാഭാവിക ഭാഷയിലൂടെ നൽകുന്ന ദൃശ്യേതര വിവരങ്ങൾ ഉൾപ്പെടുത്തി ഹിസ്റ്റോളജിക്കൽ ഇമേജുകൾ കൃത്യമായി നിർണ്ണയിക്കാൻ മൾട്ടിമോഡൽ വിവരങ്ങൾ ഫലപ്രദമായും വഴക്കമുള്ളതിലും ഇതിന് ഉപയോഗിക്കാനാകും.

തുറന്ന ചോദ്യങ്ങളോടുള്ള ഓരോ മോഡലിൻ്റെയും പ്രതികരണങ്ങളുടെ കൃത്യത വസ്തുനിഷ്ഠമായി വിലയിരുത്തുന്നതിന്, ഒരു വിലയിരുത്തൽ പാനൽ രൂപീകരിക്കുന്നതിന് ഗവേഷണ സംഘം ഏഴ് പാത്തോളജിസ്റ്റുകളെ റിക്രൂട്ട് ചെയ്തു. നാല് മോഡലുകളുടെയും പ്രതികരണങ്ങളെ 260 ഓപ്പൺ-എൻഡ് ചോദ്യങ്ങളുമായി താരതമ്യം ചെയ്തുകൊണ്ട്, മോഡലിൻ്റെ കണ്ടെത്തലുകളുടെ കൃത്യത വിശകലനം ചെയ്തു.

അവസാനമായി, ഏഴ് വിദഗ്ധർക്ക് സമവായത്തിലെത്താൻ കഴിയുന്ന തുറന്ന ചോദ്യങ്ങളിൽ, PathChat-ൻ്റെ മൊത്തത്തിലുള്ള കൃത്യത 78.7% ആയിരുന്നു, അത് 26.4%, 48.9%, 48.1% എന്നിവ യഥാക്രമം GPT-4V, LLaVA-1.5, LAVA-Med. മൊത്തത്തിൽ, മറ്റ് മൂന്ന് മോഡലുകളെ അപേക്ഷിച്ച് പാത്ത്ചാറ്റ് മികച്ച പ്രകടനം കാഴ്ചവച്ചു.

പാത്തോളജിക്കൽ ടിഷ്യൂ ഇമേജുകളിൽ സൂക്ഷ്മമായ രൂപഘടന വിശദാംശങ്ങൾ വിശകലനം ചെയ്യാനും വിവരിക്കാനും പാത്ത്ചാറ്റിന് കഴിയുമെന്ന് ഗവേഷകർ സൂചിപ്പിച്ചു. ഇമേജ് ഇൻപുട്ടുകൾ കൂടാതെ, പാത്തോളജിയും പൊതുവായ ബയോമെഡിക്കൽ പശ്ചാത്തല പരിജ്ഞാനവും ആവശ്യമായ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനും ഇതിന് കഴിയും, ഇത് പാത്തോളജിസ്റ്റുകളെയും ഗവേഷകരെയും സഹായിക്കുന്നതിനുള്ള ഒരു മികച്ച ഉപകരണമാക്കി മാറ്റുന്നു.

പരീക്ഷണങ്ങളിൽ പാത്ത്ചാറ്റിൻ്റെ മികച്ച പ്രകടനം ഉണ്ടായിരുന്നിട്ടും, പ്രായോഗിക പ്രയോഗങ്ങളിൽ ഇതിന് ചില വെല്ലുവിളികൾ നേരിടേണ്ടിവരുന്നു. മോഡലിന് അസാധുവായ അന്വേഷണങ്ങൾ തിരിച്ചറിയാനും തെറ്റായ ഔട്ട്‌പുട്ടുകൾ ഒഴിവാക്കാനും കഴിയുമെന്ന് ഉറപ്പാക്കൽ, ഏറ്റവും പുതിയ മെഡിക്കൽ അറിവുമായി സമന്വയം നിലനിർത്തൽ, പാത്ത്ചാറ്റിൻ്റെ പരിശീലന ഡാറ്റ പ്രധാനമായും ചരിത്രപരമായ ഡാറ്റയിൽ നിന്നാണ് വരുന്നതെന്ന വസ്തുതയെ അഭിസംബോധന ചെയ്യുന്നത്, അത് ഏറ്റവും പുതിയ വിവരങ്ങളേക്കാൾ "ഭൂതകാല ശാസ്ത്ര സമവായം" പ്രതിഫലിപ്പിച്ചേക്കാം.

മുഴുവൻ ജിഗാപിക്സൽ WSI അല്ലെങ്കിൽ ഒന്നിലധികം WSI ഇൻപുട്ടുകളെ പിന്തുണയ്ക്കുന്നതും കൃത്യമായ കൗണ്ടിംഗ് അല്ലെങ്കിൽ ഒബ്ജക്റ്റ് ലോക്കലൈസേഷൻ പോലുള്ള കൂടുതൽ ടാസ്‌ക്-നിർദ്ദിഷ്‌ട പിന്തുണ സമന്വയിപ്പിക്കുന്നതും ഉൾപ്പെടെ, ഭാവിയിലെ പഠനങ്ങൾ PathChat-ൻ്റെ കഴിവുകൾ കൂടുതൽ മെച്ചപ്പെടുത്തുമെന്ന് ഗവേഷകർ പ്രസ്താവിച്ചു. കൂടാതെ, ഡിജിറ്റൽ സ്ലൈഡ് വ്യൂവറുകളുമായോ ഇലക്ട്രോണിക് മെഡിക്കൽ റെക്കോർഡുകളുമായോ PathChat സംയോജിപ്പിക്കുന്നത് ക്ലിനിക്കൽ പ്രാക്ടീസിൽ അതിൻ്റെ പ്രായോഗികത കൂടുതൽ മെച്ചപ്പെടുത്തും.

അടുത്തിടെ, മൾട്ടിമോഡൽ ജനറേറ്റീവ് AI മോഡൽ പാത്ത്ചാറ്റ് 2 പുറത്തിറങ്ങി. ഇതിന് പാത്തോളജി ഇമേജുകൾക്കും ടെക്‌സ്‌റ്റിനും മേൽ ന്യായവാദം ചെയ്യാൻ കഴിയും, ഒന്നിലധികം ഹൈ-റെസല്യൂഷൻ ഇമേജുകളുടെയും ടെക്‌സ്‌റ്റിൻ്റെയും ഇതര ഇൻപുട്ടുകൾ ഒരു ഇൻ്ററാക്ടീവ് സ്ലൈഡ് വ്യൂവറിൽ സ്വീകരിക്കുന്നു, അങ്ങനെ ഓരോ കൺസൾട്ടേഷൻ കേസിനും കൂടുതൽ സമഗ്രമായ വിലയിരുത്തലുകൾ നൽകുന്നു.

PathChat 1-മായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ഡിഫറൻഷ്യൽ ഡയഗ്നോസിസ്, മോർഫോളജിക്കൽ ഡിസ്ക്രിപ്ഷൻ എന്നിവയിൽ ഇത് ഗണ്യമായി മെച്ചപ്പെടുത്തിയിട്ടുണ്ട്. നിർദ്ദേശങ്ങൾ പിന്തുടരൽ, തുറന്ന ചോദ്യത്തിന് ഉത്തരം നൽകൽ, റിപ്പോർട്ടിൻ്റെ സംഗ്രഹം എന്നിവ പോലുള്ള ടാസ്ക്കുകളിലെ മെച്ചപ്പെടുത്തിയ കഴിവുകളും ഇതിന് ഉണ്ട്.