Benchmarking Large Language Models in Evidence-Based Medicine.
基於證據的醫學中大型語言模型的基準測試。 IEEE J Biomed Health Inform 2024-10-22

這項研究探討如何將大型語言模型（LLMs）整合進證據基礎醫學（EBM），以自動化任務如證據檢索和傳播，來提升臨床決策。研究比較了七個LLMs的表現，結果顯示這些模型在理解和總結方面表現優異，知識引導的提示也顯著提升了效果。不過，在命名實體識別和事實準確性上仍面臨挑戰，需要進一步研究和質量控制才能應用於臨床。研究結果和代碼已在GitHub上公開。 PubMed DOI

LCD benchmark: long clinical document benchmark on mortality prediction for language models.
LCD 基準：針對語言模型的死亡預測長期臨床文件基準。 J Am Med Inform Assoc 2024-11-27

自然語言處理（NLP）在臨床領域的應用非常重要，因為臨床文件中有許多非結構化資訊，這些資訊在結構化數據中難以捕捉。目前缺乏針對長臨床文件分類的基準數據集，因此我們推出了長臨床文件（LCD）基準，專注於預測30天的院外死亡率。我們使用了多種模型進行評估，結果顯示GPT-4的表現最佳，達到32.2%的F1分數。這個基準將成為開發臨床文本分析模型的重要資源。 PubMed DOI

Towards evaluating and building versatile large language models for medicine.
朝向評估與建構多功能大型語言模型於醫學領域。 NPJ Digit Med 2025-01-26

這項研究介紹了 MedS-Bench，旨在評估大型語言模型（LLMs）在臨床環境中的表現，涵蓋11個關鍵臨床任務。我們評估了九個知名的 LLM，發現它們在面對這些任務時表現不佳。為了解決這些問題，我們創建了 MedS-Ins，這是一個針對醫療應用的大規模指令調整數據集，包含58個醫療語料庫和500萬個實例。透過實驗，我們展示了該數據集的有效性，並開發出改進的模型 MMedIns-Llama 3。我們已公開 MedS-Ins，並鼓勵研究社群參與進一步發展。 PubMed DOI

Benchmarking large language models for biomedical natural language processing applications and recommendations.
大型語言模型在生物醫學自然語言處理應用中的基準測試與建議。 Nat Commun 2025-04-05

生物醫學文獻快速增長，讓手動整理知識變得困難，生物醫學自然語言處理（BioNLP）希望透過自動化來解決這些問題。儘管大型語言模型（LLMs）在多個領域展現潛力，但在BioNLP的有效性尚未確立。本研究系統評估了四個LLMs，包括GPT和LLaMA，並與傳統模型如BERT和BART比較。結果顯示，傳統微調方法在大多數任務中表現較佳，但GPT-4在推理任務中表現突出。開源LLMs仍需微調以提升性能，研究也指出LLM輸出中存在信息缺失和幻覺問題。 PubMed DOI

Biomedical Natural Language Processing in the Era of Large Language Models.
大型語言模型時代的生物醫學自然語言處理 Annu Rev Biomed Data Sci 2025-04-17

生物醫學領域正加速數位化，LLMs 正在改變 NLP 應用，帶來自動化和新發現。雖然有助提升醫療與研究效率，但在準確性、安全性及多元資料整合上仍有挑戰。本文回顧發展歷程、現況與未來趨勢，並分析機會與風險。 PubMed DOI

Comparative benchmarking of the DeepSeek large language model on medical tasks and clinical reasoning.
DeepSeek 大型語言模型在醫學任務與臨床推理上的比較性基準評估 Nat Med 2025-04-23

DeepSeek-R1 是新推出的大型語言模型，醫學任務表現比 Llama 3.1-405B 好，USMLE 題目略輸 ChatGPT-o1，病例推理和腫瘤分類則差不多。診斷推理步驟準確度更高，但影像報告摘要品質還不如 ChatGPT-o1。整體來說，DeepSeek-R1 在醫療領域很有潛力，但還有進步空間。 PubMed DOI

Benchmark evaluation of DeepSeek large language models in clinical decision-making.
DeepSeek 大型語言模型於臨床決策中的基準評估 Nat Med 2025-04-23

DeepSeek-V3 和 DeepSeek-R1 這類開源大型語言模型，在臨床決策支援上表現不輸甚至超越 GPT-4o、Gemini-2.0 等專有模型。最大優勢是能在本地安全微調，符合醫療隱私規範，非常適合台灣醫療現場應用。 PubMed DOI

Use of Open-Source Large Language Models for Automatic Synthesis of the Entire Imaging Medical Records of Patients: A Feasibility Study.
開源大型語言模型於自動整合病患完整影像醫療紀錄之應用：可行性研究 Tomography 2025-04-25

這項研究用三種開源AI模型自動摘要病人影像檢查紀錄，經專業醫師評估，發現AI摘要內容準確、實用又好上手。這樣能幫醫師快速掌握重點，省下查閱時間，資訊品質也沒打折，對放射科工作流程很有幫助。 PubMed DOI

Large Language Models Struggle in Token-Level Clinical Named Entity Recognition.
大型語言模型在臨床命名實體識別的詞元層級表現不佳 AMIA Annu Symp Proc 2025-05-26

這篇研究比較專有和開源大型語言模型在臨床文本中做 token-level 罕見疾病命名實體識別的表現。研究發現，雖然用了多種技術，LLMs 在這類任務上還是有不少困難，並針對醫療應用提出改進建議。 PubMed

Creating, anonymizing and evaluating the first medical language model pre-trained on Dutch Electronic Health Records: MedRoBERTa.nl.
建立、去識別化與評估首個以荷蘭電子健康紀錄預訓練的醫學語言模型：MedRoBERTa.nl Artif Intell Med 2025-06-05

這篇文章介紹 MedRoBERTa.nl，是首個專為荷蘭語電子健康紀錄（EHR）訓練的大型語言模型。作者用匿名化的 EHR 資料預訓練模型，讓它更懂醫療用語。文中說明模型開發、資料匿名化流程，並和其他語言模型做比較。結果顯示，MedRoBERTa.nl 能提升醫療文本分析效果，有助於治療和病患康復相關研究。 PubMed DOI

原始文章

站上相關主題文章列表