原始文章

隨著心血管疾病、腫瘤等慢性病的增加,研究人員開始探索生成醫療報告的新方法。近期的研究聚焦於利用大型跨模態模型和自然語言生成技術,來縮短視覺數據(如X光影像)與文本之間的差距。為了解決這些挑戰,我們提出了多焦點區域輔助報告生成網絡(MRARGN),結合ResNet-50模型及注意力機制,提升跨模態信息的匹配,並生成詳細的醫學文本描述。實驗結果顯示,MRARGN在醫療報告生成上表現優於多種現有方法,證明其有效性。 PubMed DOI


站上相關主題文章列表

這個模型結合了放射性掃描和病人資訊,利用兩個語言模型生成詳細的影像標題。它提供有關病變及其位置的重要資訊,還有2D熱度圖。在醫學數據集上進行測試後,顯示出有效的胸部X光影像標題生成能力。 PubMed DOI

放射學影像在醫學診斷中非常重要,對治療方向有關鍵影響。準確的放射學報告至關重要,常需與手術結果對照。手動比對費時費力,因此研究使用大型語言模型(LLM)自動提取報告關鍵細節,專注於肩部結構。LLM能識別放射學和手術報告中的特定結構,有助簡化評估過程。 PubMed DOI

人工智慧在放射學報告生成方面有進步,但評估AI報告仍有挑戰。結合放射科醫師專業知識與GPT-3.5、GPT-4等大型語言模型,使用ICIL和CoT推理對齊評估標準。透過回歸模型聚合分數進行比較,實驗結果顯示此方法優於現有指標。穩健性已驗證,將釋出專家註釋以增進AI醫學報告評估品質。 PubMed DOI

醫療視覺問題回答(VQA)是醫療多模態大型語言模型(LLMs)中的一項重要任務,旨在解決醫療影像的臨床問題。這項技術有助於提升醫療人員的效率,特別是在資源有限的環境中。不過,目前的醫療 VQA 數據集規模不大,且多為簡單問題,缺乏深度推理。 我們的研究引入了一個以臨床知識為基礎的影像差異 VQA 基準,並開發了一種基於 LLM 的方法,顯著提升標籤提取準確率。我們創建了名為 Medical-CXR-VQA 的數據集,專注於胸部 X 光影像,並提出了新穎的 VQA 方法,強調證據和真實性。相關代碼和數據集可在 GitHub 獲取。 PubMed DOI

隨著患者能更直接獲取醫療紀錄,放射科報告中的醫學術語卻常讓人困惑。為了解決這個問題,我們提出利用大型語言模型(LLM)自動生成更易懂的報告翻譯。我們在100份去識別化的神經放射科報告上進行測試,並在不同閱讀水平上生成翻譯。結果顯示,翻譯的準確率和可讀性均優於傳統方法,特別是在第八年級閱讀水平上,準確率分別達到88%和93%。這種方法不僅增強了患者的理解,也不會顯著增加醫生的工作負擔。 PubMed DOI

這項研究提出了一種新方法,結合大型語言模型(LLMs)與電腦輔助診斷(CAD)網絡,提升胸部X光片的醫學影像分析。雖然LLMs在自然語言處理上表現優異,但在醫學影像上通常不佳。這個框架利用LLMs的優勢,改善CAD系統的診斷準確性和報告生成,讓報告品質更高。使用ChatGPT後,診斷表現提升了16.42個百分點,GPT-3則在F1-score上提高了15.00個百分點。這種創新方法有潛力改變臨床決策過程,並改善病患互動。 PubMed DOI

這項研究旨在提升一個開源的大型語言模型(LLM),自動生成來自不同醫院的放射學報告印象,涵蓋CT、超音波和MRI等影像檢查。研究人員使用UCSF醫療中心和Zuckerberg舊金山總醫院的大數據集,透過ROUGE分數評估模型表現。結果顯示,該LLM與專科醫師撰寫的印象有顯著重疊,雖然外部驗證時表現稍降。針對CT胸部檢查的讀者研究顯示,模型生成的印象在臨床和語法準確性上表現良好,顯示其在輔助放射科醫師工作中的潛力。 PubMed DOI

放射學中的結構化報告在可比性、可讀性和細節上有明顯優勢,但其採用仍然有限。本研究探討了一種本地托管的語言模型,能將自由文本的放射報告轉換為結構化數據,且不影響放射科醫師的工作流程。研究結果顯示,該模型生成的結構化報告在英語和德語的準確性接近人類讀者,顯示出良好的性能。結論指出,為了提高結構化報告的採用,需加強自動化系統與臨床流程的整合,讓醫師能在報告過程中受益於結構化數據。 PubMed DOI

深度學習在放射學的應用有助於改善診斷,但臨床接受度仍有挑戰。本研究開發了一個基於Llama 3-8B的語言模型,旨在自動生成MRI和CT報告的結論,以協助放射科醫生並提升效率。使用了15,000份來自克拉約瓦醫藥與藥學大學的報告數據進行訓練,並在NVIDIA RTX 3090 GPU上進行微調。結果顯示,模型在生成結論的準確性上表現良好,並獲得放射科醫生的正面評價。未來需解決數據偏見及臨床整合等問題。 PubMed DOI

在胸部X光片的分析中,傳統的標註系統多半只能提供簡單的存在與否標籤,缺乏靈活性。為了解決這個問題,我們推出了MAPLEZ,這是一種利用大型語言模型的創新方法,能從CXR報告中提取更詳細的資訊,包括發現的位置、嚴重程度及醫生的不確定性。研究顯示,MAPLEZ在標註質量上有顯著提升,宏觀F1分數提高3.6%,位置標註更是提升超過20%。此外,結合這些標註後,分類性能也有明顯改善。我們還提供了代碼和標註的訪問權限。 PubMed DOI