Evaluating text and visual diagnostic capabilities of large language models on questions related to the Breast Imaging Reporting and Data System Atlas 5<sup>th</sup> edition.
評估大型語言模型在與乳腺影像報告與數據系統 Atlas 第五版相關問題的文本和視覺診斷能力。 Diagn Interv Radiol 2024-09-09

這項研究評估大型語言模型（LLMs）在解釋乳腺影像報告及提供臨床建議的表現，分為兩個步驟： 1. **文本評估**：比較十個LLMs與放射科醫師在100道BI-RADS選擇題上的準確率。Claude 3.5 Sonnet表現最佳（90%），超過一般放射科醫師（78%）和乳腺放射科醫師（82%）。 2. **視覺評估**：測試五個多模態LLMs在100張乳腺超音波影像上的表現，Claude 3.5 Sonnet以59%準確率領先。研究顯示，雖然LLMs在文本評估中表現良好，但視覺診斷能力有限，需在放射科醫師監督下使用，以避免誤診。 PubMed DOI

Slit Lamp Report Generation and Question Answering: Development and Validation of a Multimodal Transformer Model with Large Language Model Integration.
裂隙燈報告生成與問題回答：多模態變壓器模型的開發與驗證，並整合大型語言模型。 J Med Internet Res 2025-01-03

這項研究介紹了一個名為slit lamp-GPT的多模態變壓器模型，旨在從裂隙燈影像生成醫療報告，並利用Llama2進行問答系統。研究使用了25,051張影像，來自3,409名參與者，並配有醫生撰寫的報告。模型性能透過多種指標評估，顯示出良好的準確率和F1-score。眼科醫生對生成報告的評價也相當一致，顯示出該模型在協助醫生和改善病人護理方面的潛力。 PubMed DOI

Multimodal large language models address clinical queries in laryngeal cancer surgery: a comparative evaluation of image interpretation across different models.
多模態大型語言模型在喉癌手術中解決臨床問題：不同模型之間影像解讀的比較評估。 Int J Surg 2025-01-27

這項研究探討六種多模態大型語言模型（MLLMs）在解讀喉癌手術影像的有效性。研究分析了50位病人的169張影像，提出1084個臨床問題來評估模型表現，並由兩位醫師獨立評估。結果顯示，Claude 3.5 Sonnet的準確率最高，達79.43%。不同影像類型及商業模型與開源模型之間的表現差異明顯，最佳商業模型的表現比其他模型高出19個百分點。研究指出，雖然MLLMs在手術決策支持上有潛力，但仍需針對特定需求進行開發，並整合進臨床流程。未來應著重於利用多中心數據集來創建專門針對喉癌的MLLMs。 PubMed DOI

Integrated visual and text-based analysis of ophthalmology clinical cases using a large language model.
使用大型語言模型進行眼科臨床案例的整合視覺與文本分析。 Sci Rep 2025-02-10

最近生成式人工智慧的進展，特別是像GPT-4 V這樣的多模態模型，顯示出在分析視覺和文本數據方面的潛力，對醫療保健，尤其是眼科，可能帶來重大影響。本研究評估了GPT-4 V在診斷眼部疾病的能力，結果顯示提供臨床背景能顯著提升診斷準確性。沒有背景時，GPT-4 V的正確率為47.5%，有背景時提升至67.5%。這顯示GPT-4 V能有效整合視覺與文本信息，對改善眼科病患護理有潛力。 PubMed DOI

Can off-the-shelf visual large language models detect and diagnose ocular diseases from retinal photographs?
現成的視覺大型語言模型能否從視網膜照片中檢測和診斷眼科疾病？ BMJ Open Ophthalmol 2025-04-07

這項研究評估了流行的視覺大型語言模型（VLLMs），特別是OpenAI的GPT-4V和Google的Gemini，對於從視網膜影像中識別眼病的表現。研究使用了44張來自新加坡眼病流行病學研究的視網膜照片。結果顯示，GPT-4V在預設模式下的檢測準確率最高，達97.1%，但所有模型在提供診斷描述的質量上普遍較差。研究強調了專業VLLMs在醫療領域的必要性，以及人類監督在臨床眼科中的重要性。 PubMed DOI

Multimodal Performance of GPT-4 in Complex Ophthalmology Cases.
GPT-4 在複雜眼科病例中的多模態表現 J Pers Med 2025-04-25

這項研究發現，GPT-4在診斷複雜眼科病例時，如果只有圖片沒文字，準確率會明顯下降；但有圖片說明時，表現就會提升。整體來說，GPT-4的表現和部分眼科醫師差不多，但還不及最頂尖的專家。顯示它目前在眼科影像判讀上還有進步空間，但未來有潛力成為臨床輔助工具。 PubMed DOI

Multimodal large language models as assistance for evaluation of thyroid-associated ophthalmopathy.
多模態大型語言模型作為評估甲狀腺相關眼病（thyroid-associated ophthalmopathy）的輔助工具 Comput Biol Med 2025-05-02

這項研究發現，ChatGPT-4o 能準確用 CAS 評估甲狀腺相關眼病變的活動度，不論是看文字還是照片都行，表現比傳統 CNN 模型和 Gemini Advanced 更好，ROC-AUC 分數超高（0.974、0.990）。它還能自動做出簡單的網頁版 CAS 計算器，完全不用寫程式。不過，樣本數偏少，還沒在臨床實際驗證，未來還需要更多研究確認。 PubMed DOI

Multimodal LLMs for retinal disease diagnosis via OCT: few-shot versus single-shot learning.
利用多模態大型語言模型（LLMs）透過OCT進行視網膜疾病診斷：少量學習（few-shot）與單次學習（single-shot）的比較 Ther Adv Ophthalmol 2025-05-22

這項研究發現，GPT-4o 和 Claude Sonnet 3.5 這兩款AI模型，經過少量範例訓練後，診斷OCT影像的準確率最高可達73%。雖然還不如專業深度學習模型，但在日常眼科診斷、特別是判斷正常個案時，已展現輔助潛力。未來需更多研究結合影像和臨床資料來提升表現。 PubMed DOI

Diagnostic Performance of Publicly Available Large Language Models in Corneal Diseases: A Comparison with Human Specialists.
公開大型語言模型在角膜疾病診斷表現之評估：與人類專科醫師的比較 Diagnostics (Basel) 2025-05-28

這項研究發現，GPT-4.o 在診斷角膜疾病的準確率最高（80%），但還是比不上人類角膜專科醫師（92.5%）。雖然 GPT-4.o 等大型語言模型有潛力，但在複雜病例上表現不穩定，目前只能當作輔助工具，臨床決策還是得靠專家判斷。 PubMed DOI

Large language model-based multimodal system for detecting and grading ocular surface diseases from smartphone images.
基於大型語言模型的多模態系統，用於從智慧型手機影像檢測與分級眼表疾病 Front Cell Dev Biol 2025-06-09

這項研究開發的 MOSAIC AI 系統，能用手機拍的眼睛照片來偵測和分級眼表疾病，價格親民又容易理解。測試顯示，影像品質控管準確率有 95%，疾病偵測準確率 87%，分級表現也會隨訓練資料增加而提升。MOSAIC 有望幫助偏鄉或資源有限地區提升眼科照護。 PubMed DOI

原始文章

站上相關主題文章列表