原始文章

大型語言模型(LLMs)在醫學考試中表現出色,但其元認知能力尚未充分檢視。我們開發了MetaMedQA基準測試,評估模型的信心分數和元認知任務。研究顯示,雖然模型在回答問題上表現良好,但在識別知識空白方面存在重大缺陷,經常自信地提供錯誤答案。這種脫節可能在臨床環境中帶來風險,因此需要改進評估框架,以提升LLM在臨床決策支持系統中的可靠性。 PubMed DOI


站上相關主題文章列表

這項研究評估了大型語言模型(LLMs)和醫學實習生在臨床決策中推薦醫學計算器的能力。研究測試了八種LLMs,使用1,009個與臨床相關的問答。表現最佳的LLM,GPT-4o,準確率為74.3%,而人類標註者的平均準確率為79.5%。分析顯示,LLMs在理解和計算器知識上有困難,顯示人類在複雜臨床任務中仍優於LLMs。 PubMed DOI

這項研究評估了五個大型語言模型(LLMs)在重症醫學中的表現,針對1181道選擇題進行測試。結果顯示,GPT-4o的準確率最高,達93.3%,其次是Llama 3.1 70B(87.5%)和Mistral Large 2407(87.9%)。所有模型的表現都超過隨機猜測和人類醫師,但GPT-3.5-turbo未顯著優於醫師。儘管準確性高,模型仍有錯誤,需謹慎評估。GPT-4o成本高昂,對能源消耗引發關注。總體而言,LLMs在重症醫學中展現潛力,但需持續評估以確保負責任的使用。 PubMed DOI

大型語言模型(LLMs)在臨床醫學中展現出潛力,能改善決策支持、診斷及醫學教育。不過,將其整合進臨床流程需徹底評估,以確保可靠性、安全性及倫理性。本系統性回顧調查了LLMs在臨床環境中的評估方法,發現大多數研究集中於一般領域的LLMs,醫學領域的研究較少。準確性是最常評估的參數。儘管對LLMs的興趣上升,研究中仍存在限制與偏見,未來需建立標準化框架,確保其安全有效地應用於臨床實踐。 PubMed DOI

大型語言模型(LLMs)在醫療保健中展現出顯著潛力,能增強醫學教育、臨床決策支持及醫療管理。文獻回顧顯示,LLMs可作為虛擬病人和個性化導師,並在醫學知識評估中超越初級實習生。在臨床決策中,它們協助診斷和治療建議,但效果因專科而異。此外,LLMs能自動化臨床筆記和報告生成,減輕醫療人員的負擔。然而,仍需解決幻覺、偏見及病人隱私等挑戰。未來的整合需謹慎,並強調倫理與合作。 PubMed DOI

這項研究發現,Gemini 和 DeepSeek 在病理診斷推理上比 OpenAI 模型更有深度和邏輯性,也更常用專家級推理策略。雖然各模型正確率差不多,但在啟發式和模式識別推理上表現較弱。Gemini 和 DeepSeek 答案較一致但不夠精簡。整體來說,先進 LLMs 雖有專家級潛力,但在情境理解和啟發式推理上還有待加強,臨床應用前需再改進。 PubMed DOI

最新研究發現,OpenAI 的 o1 LLM 在急診臨床決策上表現跟醫師差不多,診斷和收治判斷準確率都超過九成,甚至在異常檢驗判讀上還拿到滿分。相比之下,Claude-3.5-Sonnet 和 Llama-3.2-70B 在治療計畫上表現較弱。整體來說,o1 有機會成為急診醫療現場的專業決策輔助工具。 PubMed DOI

這項研究發現,12款大型語言模型在醫學選擇題的信心判斷表現不佳,表現差的模型反而更自信,表現好的模型則無論答對答錯信心都差不多。這顯示目前LLM在臨床應用上還不夠可靠,未來必須加強信心校準並加入人工監督,才能安全用於醫療領域。 PubMed DOI

大型語言模型在醫療文件撰寫和決策輔助上很有潛力,但因準確性、驗證、偏見和隱私等問題,現階段還不適合完全自動化臨床應用。未來要安全有效導入,需加強研究、訂定明確規範,並維持人工監督。 PubMed DOI

這項研究發現,多款主流大型語言模型在以色列基層醫療執照考試中表現不錯,尤其用結構化和範例提示時更明顯。最佳模型分數高達 85.5%,解釋也多半正確有邏輯,但偶爾還是會出現捏造資訊。雖然 LLM 在家庭醫學考試很有潛力,但還無法取代臨床技能或與病人互動。未來應加強減少幻覺、檢查偏誤及提升實務應用。 PubMed DOI

五款主流大型語言模型(如ChatGPT-4、Gemini等)在麻醉學考題測試中都拿到高分,彼此表現差不多,顯示未來有望協助醫學教育和臨床決策。不過,還需要更多研究來確認它們的可靠性、倫理問題及對病患照護的實際影響。 PubMed DOI