原始文章

這篇系統性回顧分析30項比較LLM和醫師臨床診斷的研究,發現LLM診斷準確率雖不錯,但多數研究有偏誤,且準確度還不及醫師。不過,若小心運用,未來LLM有望成為醫療智慧助理。 PubMed DOI


站上相關主題文章列表

總結:大型語言模型(LLMs)是現代AI工具,在醫療領域廣泛運用。本文討論臨床醫生和外科醫生如何運用LLMs。綜合研究發現LLMs可輔助診斷、治療指導、手術規劃,但需注意準確性和偏見。應視為醫療專業知識的增強而非替代工具。 PubMed DOI

大型語言模型(LLMs)在臨床診斷支持上展現了潛力。本研究比較了Bing、ChatGPT和Gemini三個LLMs在處理複雜臨床案例的表現,並評估了一個新開發的評分標準。結果顯示,Gemini的表現最佳,且評分工具的可靠性高,觀察者間變異性低。研究強調不同情境下模型表現的差異,並指出在實施前需評估診斷模型的有效性,為AI在臨床應用的整合提供了新的討論基礎。 PubMed DOI

這項研究評估大型語言模型(LLM)對醫師診斷推理的影響,與傳統資源相比。研究於2023年11月29日至12月29日進行,參與者來自多所學術機構的醫師,分為兩組:一組使用LLM和傳統資源,另一組僅用傳統資源。結果顯示,LLM組的中位診斷推理分數為76%,略高於傳統組的74%,但差異不顯著(P = .60)。不過,LLM的單獨表現比傳統資源高出16個百分點(P = .03),顯示人工智慧在臨床實踐中的潛力。 PubMed DOI

這篇系統性回顧評估大型語言模型(LLMs)在醫療考試問題上的準確性,並與人類標準比較。回顧納入截至2023年9月10日的英文研究,最終選出32篇符合標準的研究。結果顯示,LLMs的整體準確性為0.61,而美國醫學執照考試(USMLE)為0.51。特別是ChatGPT的準確性達到0.64。研究建議LLMs可協助解決醫療需求,並提出RUBRICC框架,以確保在健康服務中優先考量病人安全與有效性。 PubMed DOI

這項研究比較了十五個大型語言模型(LLMs)在處理眼科案例的表現,測試來自《JAMA Ophthalmology》的二十個案例。結果顯示,這些模型的平均得分為19,三個模型(ChatGPT 3.5、Claude Pro和Copilot Pro)表現優於平均,其中Copilot Pro得分最高。雖然這些模型的可讀性高於八年級水平,對一般人來說較難理解,但對眼科醫生則可接受。研究認為,雖然LLMs的準確性不足以單獨用於病人護理,但在協助醫生方面顯示出潛力,特別是訂閱制模型。 PubMed DOI

最近,LLaMA3的生成式人工智慧在大型語言模型的診斷性能上有顯著提升。一項研究分析了392篇2022至2023年發表的案例報告,結果顯示LLaMA3在79.6%的案例中將最終診斷列入前10名,而LLaMA2僅49.7%。此外,LLaMA3在前5名和首要診斷的表現也更佳,分別為63%對38%和33.9%對22.7%。整體來看,LLaMA3的診斷性能改善了近1.5倍,但在臨床應用上仍需謹慎,因為這些AI模型尚未獲得醫學診斷的批准。 PubMed DOI

大型語言模型(LLMs)在臨床醫學中展現出潛力,能改善決策支持、診斷及醫學教育。不過,將其整合進臨床流程需徹底評估,以確保可靠性、安全性及倫理性。本系統性回顧調查了LLMs在臨床環境中的評估方法,發現大多數研究集中於一般領域的LLMs,醫學領域的研究較少。準確性是最常評估的參數。儘管對LLMs的興趣上升,研究中仍存在限制與偏見,未來需建立標準化框架,確保其安全有效地應用於臨床實踐。 PubMed DOI

這篇論文探討大型語言模型(LLMs)在系統性文獻回顧中的篩選效果,並與傳統手動篩選及機器學習工具進行比較。研究使用ChatGPT-4o和Claude-3.5進行篩選,結果顯示LLMs在全文篩選中敏感度達0.87、特異度0.96,AUC為0.96;標題和摘要篩選的敏感度為0.73,經修正後提升至0.98,特異度保持高達0.99。相比之下,ASReview和Abstrackr的表現較差。結果顯示LLMs能有效提升文獻篩選的準確性與效率,減輕工作負擔。 PubMed DOI

隨著醫學文獻快速增長,使用大型語言模型(LLMs)來創建臨床評估的興趣也在上升。不過,對於LLMs的可靠性擔憂相當大。一項研究比較了LLM生成的評估與人類撰寫的評估,發現LLMs雖然能快速產出內容,但通常缺乏深度、參考文獻少且邏輯不夠一致。此外,LLMs常引用不知名期刊,且在引用的真實性和準確性上表現不佳。研究強調目前檢測AI生成內容的系統不足,顯示需要改進檢測方法和建立更強的倫理框架,以確保學術透明度。解決這些問題對於負責任地使用LLMs於臨床研究至關重要。 PubMed DOI

這項研究顯示大型語言模型(LLMs)在診斷罕見疾病方面的潛力,因為這些疾病因發病率低且表現多樣而難以識別。研究分析了152個來自中國醫學案例資料庫的案例,並比較了四個LLMs(ChatGPT-4o、Claude 3.5 Sonnet、Gemini Advanced和Llama 3.1 405B)與人類醫師的診斷準確性。結果顯示,LLMs的表現超越人類醫師,Claude 3.5 Sonnet的準確率達78.9%,而人類醫師僅26.3%。這顯示LLMs在臨床上可能成為有價值的工具,但在實際應用前仍需進一步驗證及考量倫理與隱私問題。 PubMed DOI