原始文章

這項研究介紹了 MedS-Bench,旨在評估大型語言模型(LLMs)在臨床環境中的表現,涵蓋11個關鍵臨床任務。我們評估了九個知名的 LLM,發現它們在面對這些任務時表現不佳。為了解決這些問題,我們創建了 MedS-Ins,這是一個針對醫療應用的大規模指令調整數據集,包含58個醫療語料庫和500萬個實例。透過實驗,我們展示了該數據集的有效性,並開發出改進的模型 MMedIns-Llama 3。我們已公開 MedS-Ins,並鼓勵研究社群參與進一步發展。 PubMed DOI


站上相關主題文章列表

最近大型語言模型(LLMs)如ChatGPT和LLaMA在醫療應用上展現潛力,但因缺乏專業醫學知識,效果有限。為此,本研究推出Me-LLaMA,一系列開源醫療LLM,整合專業知識與指令遵循能力。Me-LLaMA經過大量生物醫學文獻訓練,並在六個醫療文本分析任務中表現優於LLaMA及其他開源醫療LLM,甚至在多數任務中超越ChatGPT和GPT-4。研究強調持續預訓練與指令調整的重要性,並希望透過公開資源促進醫療AI的發展。 PubMed DOI

這項研究評估了五個大型語言模型(LLMs)在重症醫學中的表現,針對1181道選擇題進行測試。結果顯示,GPT-4o的準確率最高,達93.3%,其次是Llama 3.1 70B(87.5%)和Mistral Large 2407(87.9%)。所有模型的表現都超過隨機猜測和人類醫師,但GPT-3.5-turbo未顯著優於醫師。儘管準確性高,模型仍有錯誤,需謹慎評估。GPT-4o成本高昂,對能源消耗引發關注。總體而言,LLMs在重症醫學中展現潛力,但需持續評估以確保負責任的使用。 PubMed DOI

最近大型語言模型(LLMs)在醫療應用上展現潛力,但通常缺乏專業醫學知識。為了解決這個問題,我們推出了Me-LLaMA,這是一系列開源的醫療LLMs,結合了專業知識與強大的指令遵循能力。Me-LLaMA透過持續預訓練和指令調整,利用生物醫學和臨床數據進行開發。 我們在六個文本分析任務中評估Me-LLaMA,結果顯示其在診斷複雜病例方面的表現優於現有的開放醫療LLMs,並且在大多數任務中超越了ChatGPT和GPT-4。這強調了持續預訓練與指令調整結合的重要性,以提升醫療LLMs的效能。 PubMed DOI

大型語言模型(LLMs)在臨床醫學中展現出潛力,能改善決策支持、診斷及醫學教育。不過,將其整合進臨床流程需徹底評估,以確保可靠性、安全性及倫理性。本系統性回顧調查了LLMs在臨床環境中的評估方法,發現大多數研究集中於一般領域的LLMs,醫學領域的研究較少。準確性是最常評估的參數。儘管對LLMs的興趣上升,研究中仍存在限制與偏見,未來需建立標準化框架,確保其安全有效地應用於臨床實踐。 PubMed DOI

大型語言模型(LLMs)大幅提升了臨床自然語言生成(NLG)的能力,為處理醫療文本提供了新方法。不過,將這些模型應用於醫療環境前,必須進行全面評估,以確保其可靠性與有效性。我們的回顧探討了現有NLG在醫療領域的評估指標,並提出一種未來的方法,旨在減少專家評估的限制,平衡資源效率與人類判斷的一致性,確保生成內容符合臨床高標準。 PubMed DOI

大型語言模型(LLMs)在醫療保健中展現出顯著潛力,能增強醫學教育、臨床決策支持及醫療管理。文獻回顧顯示,LLMs可作為虛擬病人和個性化導師,並在醫學知識評估中超越初級實習生。在臨床決策中,它們協助診斷和治療建議,但效果因專科而異。此外,LLMs能自動化臨床筆記和報告生成,減輕醫療人員的負擔。然而,仍需解決幻覺、偏見及病人隱私等挑戰。未來的整合需謹慎,並強調倫理與合作。 PubMed DOI

生物醫學文獻快速增長,讓手動整理知識變得困難,生物醫學自然語言處理(BioNLP)希望透過自動化來解決這些問題。儘管大型語言模型(LLMs)在多個領域展現潛力,但在BioNLP的有效性尚未確立。本研究系統評估了四個LLMs,包括GPT和LLaMA,並與傳統模型如BERT和BART比較。結果顯示,傳統微調方法在大多數任務中表現較佳,但GPT-4在推理任務中表現突出。開源LLMs仍需微調以提升性能,研究也指出LLM輸出中存在信息缺失和幻覺問題。 PubMed DOI

這項研究評估了生物醫學調整的大型語言模型(LLMs)在臨床任務中的表現,與通用模型相比。研究發現,生物醫學LLMs的表現通常不如通用模型,尤其在與醫學知識無關的任務上。雖然一些大型模型表現相似,但較小的生物醫學模型明顯落後。這挑戰了精細調整LLMs能自動提升表現的觀念,建議探索其他策略,如檢索增強生成,以更有效地整合LLMs進入臨床環境。 PubMed DOI

DeepSeek-R1 是新推出的大型語言模型,醫學任務表現比 Llama 3.1-405B 好,USMLE 題目略輸 ChatGPT-o1,病例推理和腫瘤分類則差不多。診斷推理步驟準確度更高,但影像報告摘要品質還不如 ChatGPT-o1。整體來說,DeepSeek-R1 在醫療領域很有潛力,但還有進步空間。 PubMed DOI

這篇綜述分析270篇文獻,發現現有大型語言模型(如GPT-4)雖然能協助醫師處理多種臨床任務,但沒有單一模型能全面勝任所有需求,專業任務還需客製化。多數先進模型又是封閉原始碼,造成透明度和隱私疑慮。作者建議建立簡單易懂的線上指引,幫助醫師選擇合適的LLM。 PubMed DOI