最近的研究顯示，對比語言-圖像預訓練（CLIP）在多項任務中表現優異，但傳統方法需大量GPU資源，對醫療應用造成限制。為了解決這些問題，我們提出了一種新方法，稱為CLEFT，結合高效的大型語言模型與提示微調。這種方法縮小了臨床數據與簡單標籤之間的差距，並在胸部X光和乳腺攝影等數據集上達到最先進的性能。更重要的是，我們的框架將可訓練模型大小減少39%，使其在醫療應用中更具實用性。 PubMed DOI

大型語言模型（LLMs）對醫療保健，特別是醫學影像領域，將帶來重大影響。隨著它們發展成能處理文本與影像的多模態模型（LMMs），醫生了解這些技術的基本概念變得相當重要，以便能有效且負責任地使用。文章介紹了標記嵌入、變壓器網絡、自我監督預訓練和微調等基本原則，並深入探討LMMs的技術創建過程及其在醫學影像中的應用。 PubMed DOI

心電圖（ECG）是監測心臟健康的重要工具，但解讀需要專業知識。近期，我們開發了ECG-Language Model（ECG-LM），這是首個能同時處理自然語言和ECG信號的多模態大型語言模型。透過生成文本-ECG配對數據集，ECG-LM在心血管疾病的診斷、節律和形態檢測上表現優於現有方法，顯示出其在疾病預測和問題回答中的潛力。這項技術有望提升臨床診斷的準確性與效率。 PubMed DOI

這項研究介紹了MedFILIP，一個專為醫學影像分析設計的視覺-語言預訓練模型。它透過自然配對的醫學影像和報告數據來提升診斷準確性。MedFILIP包含幾個創新組件：資訊提取器簡化報告中的疾病資訊，知識注入器連結疾病類別與影像特徵，語義相似性矩陣增強影像與文本的對齊。經過多個數據集測試，MedFILIP在各項任務中表現優異，分類準確率提升最高達6.69%。總體而言，該模型顯著改善了醫學影像分析的診斷結果。 PubMed DOI

DALL-M是一個新框架，透過生成合成臨床數據來增強醫學診斷，特別是解釋胸部X光影像。它整合了結構化臨床特徵與放射學報告及相關資源，幫助放射科醫師更準確地診斷疾病。該框架分為三個階段：儲存臨床背景、生成專家查詢、增強背景感知特徵。在測試中，DALL-M將臨床特徵數量從9個擴展到91個，並顯示出顯著的效能提升，成為AI驅動醫學診斷的重要工具。 PubMed DOI

Meta General Practitioner (MetaGP) 是一款先進的人工智慧模型，專注於提升醫療診斷能力。它擁有320億個參數，並在大量數據上訓練，包括超過800萬份電子健康紀錄和醫學文獻。MetaGP 在診斷準確性上表現優異，特別是在罕見疾病的診斷上，明顯超越 GPT-4。它還能幫助初級和中級醫師在緊急情況下做出更好的診斷。此外，MetaGP 在生成醫學影像報告方面也表現出色，經常能與醫生的報告相媲美或更佳。總之，MetaGP 有潛力顯著改善臨床決策。 PubMed DOI

大型語言模型在癌症影像領域應用越來越多，像是自動產生報告、分類影像、整合臨床指引，還能幫助病人理解報告。未來有機會協助腫瘤委員會討論、治療管理和預測副作用。不過，目前還有幻覺和表現不穩定等問題，限制臨床應用。 PubMed DOI

這篇研究提出 MedBLIP，結合影像編碼器和大型語言模型，有效提升胸腔X光醫學問答表現。透過多層影像特徵擷取和部分解凍模型權重，能更好整合影像與文字資訊。實驗證明，解凍31.25%權重可顯著提升準確率。雖無法取代醫師，但能輔助診斷與研究。程式碼已開源。 PubMed DOI

這篇論文提出一種多階段訓練法，先用疾病標籤、再用實體關係、最後才用完整報告來訓練大型語言模型，逐步增加難度。這樣能讓模型更專注臨床重點，生成的放射科報告在語言流暢度和臨床準確性都表現最佳。程式碼已開源於 GitHub。 PubMed DOI

這篇論文提出CILMP方法，結合大型語言模型產生的專業醫學知識，來客製化醫學影像分類模型的提示語。CILMP能根據不同疾病和影像自動調整提示語，讓視覺-語言模型在多種醫學影像分類任務上表現更好，效果也比現有方法優秀。 PubMed DOI