原始文章

**重點整理:** 這篇研究比較了一個大型語言模型(LLaMA3.1)和一個基於BERT的模型,在德文醫療文本中的命名實體辨識(NER)表現,特別著重在訓練資料有限的情況下。兩個模型的表現相近,但在訓練資料較少時,LLaMA3.1的表現略優於BERT-based模型。 PubMed DOI


站上相關主題文章列表

這項研究評估了多種大型語言模型(LLMs)在從電子健康紀錄中提取數據的表現,使用了50份合成醫療筆記。共測試了18個LLM,並與基準模型RoBERTa比較,涵蓋多個任務。表現最佳的模型包括Claude 3.0 Opus、GPT 4等,準確率超過0.98,明顯優於RoBERTa的0.742。這些模型在多次測試中也展現出一致性,顯示出能有效協助數據提取,減輕醫療人員的負擔。不過,仍需用真實數據進一步驗證其實際應用效果。 PubMed DOI

這篇論文評估了不同微調的生成大型語言模型(LLMs)在臨床領域的零樣本命名實體識別(NER)表現。研究在第八屆生物醫學聯結註解黑客松進行,重點分析Llama 2和Mistral模型,並比較其基本版本與針對特定任務微調的版本。使用的數據集標註了疾病、症狀和醫療程序。結果顯示,經過指示微調的模型在實體識別上表現優於聊天微調和基本模型,且在要求簡單輸出結構時表現也有所提升。 PubMed DOI

基於深度學習的自然語言處理系統在臨床領域常需大量標記數據,但這些數據難以獲得且成本高。雖然弱監督和上下文學習有助於大型語言模型,但效果仍不如傳統監督方法。我們提出一種新方法,結合LLMs的微調與弱監督,僅需少量領域知識即可提升表現。透過提示策略生成弱標記數據,並用少量金標準數據微調BERT模型。我們在i2b2/n2c2數據集上測試,結果顯示僅用10個金標準筆記,模型F1分數超越PubMedBERT,提升幅度達4.7-47.9%。使用50個金標準筆記時,性能可與完全微調系統相媲美。 PubMed DOI

這項研究針對低資源語言,特別是愛沙尼亞語,開發命名實體識別(NER)模型,目的是從醫療記錄中提取重要的醫療實體。由於缺乏標註數據,作者提出三步驟方法:首先,利用本地訓練的GPT-2生成合成醫療數據;接著,使用GPT-3.5-Turbo和GPT-4對這些數據進行標註;最後,微調NER模型並測試真實醫療文本。研究結果顯示,藥物提取的F<sub>1</sub>分數為0.69,程序提取為0.38,顯示出在藥物識別上的有效性,並指出程序提取的挑戰。這方法為未來在其他語言的研究提供了新方向。 PubMed DOI

這篇論文探討生物醫學文本中的命名實體識別(NER)挑戰,特別是在數據稀缺的情況下。作者指出現有數據增強方法的不足,可能會影響語義,且忽略多尺度句子特徵。為了解決這些問題,他們提出利用ChatGPT生成多樣化的數據,並採用動態卷積捕捉多尺度語義,結合PubMedBERT增強特徵表示。實驗結果顯示,這種方法在四個生物醫學NER數據集上表現優於現有模型,顯示出在數據增強和模型泛化上的有效性。 PubMed DOI

這項研究用BERT語言模型結合框架語意學,能自動從德文乳房攝影報告中擷取並結構化資訊。經過醫院資料微調後,系統能準確辨識多種事實和實體,表現比Llama 3.3更好。這方法可客製化、保護隱私且易於解釋,有助推動放射科結構化報告。未來建議在不同資料集驗證其泛用性。 PubMed DOI

這項研究用開源大型語言模型(像LLaMA3)自動產生德文出院摘要,並請醫師評估品質。結果顯示,AI生成的摘要資訊算完整,但常漏掉重要細節或出現錯誤,尤其在複雜病例時更明顯。研究也發現資料集太小、資料不全和模型德文醫學詞彙不足是主要挑戰,建議未來要用更多資料和微調模型,才能提升表現。 PubMed DOI

這篇研究比較專有和開源大型語言模型在臨床文本中做 token-level 罕見疾病命名實體識別的表現。研究發現,雖然用了多種技術,LLMs 在這類任務上還是有不少困難,並針對醫療應用提出改進建議。 PubMed

這篇文章介紹 MedRoBERTa.nl,是首個專為荷蘭語電子健康紀錄(EHR)訓練的大型語言模型。作者用匿名化的 EHR 資料預訓練模型,讓它更懂醫療用語。文中說明模型開發、資料匿名化流程,並和其他語言模型做比較。結果顯示,MedRoBERTa.nl 能提升醫療文本分析效果,有助於治療和病患康復相關研究。 PubMed DOI

這項研究發現,像 Med-BERT 這種專為醫療設計的大型語言模型,比通用型模型更能處理不同醫院間的資料差異,提升知識轉移效果。通用模型如 OpenAI 需額外微調。未來建議持續研究如何在任務難度、資料量和微調之間取得最佳平衡。 PubMed