原始文章

這項研究探討了基於Transformer的預訓練大型語言模型(LLMs)在生物醫學領域的適應性與表現,特別針對自然語言推理(NLI)和命名實體識別(NER)兩個任務。研究旨在了解模型在這些任務上的表現與其捕捉資訊的能力之間的關係。分析了編碼器和解碼器基礎的LLMs的內部編碼及注意力機制,並比較了不同數據量微調前後的效果。結果顯示,模型的有效性與其內部機制中的特定模式有關,並提供了LLMs在生物醫學領域如何處理知識的見解。研究源代碼已在GitHub上公開。 PubMed DOI


站上相關主題文章列表

這篇論文評估了大型語言模型(LLMs)在各種生物醫學任務上的表現,發現即使在較小的生物醫學數據集上沒有進行特定微調,LLMs 也能表現良好。雖然LLMs 在所有任務上可能不如專門的生物醫學模型表現優秀,但它們展現了在具有有限標註數據的生物醫學任務中作為有用工具的潛力。 PubMed DOI

大型語言模型在處理自然語言方面有很大潛力,特別是在文本生成、推理和少樣本學習方面表現優秀。然而,在生物醫學領域的命名實體識別方面,LLMs效果不如專門調校的模型好。為了解決這問題,開發了一種新的基於指令的學習方法,創建了BioNER-LLaMA。測試結果顯示,BioNER-LLaMA在生物醫學NER任務中表現優於GPT-4,與專門模型相當。這種方法有潛力提升LLMs在生物醫學和健康領域的競爭力,值得進一步研究。 PubMed DOI

這項研究探討了微調開源大型語言模型(LLMs)在醫學證據總結方面的潛力,與專有模型相比,開源模型雖然表現較弱,但提供了更高的透明度和自訂性。研究人員使用MedReview基準數據集對三個流行的開源LLMs進行微調,結果顯示微調後的LongT5在零樣本設定中接近GPT-3.5的表現,且一些小型微調模型甚至超越了大型零樣本模型。這些改進在人工評估和模擬GPT-4的評估中均有明顯體現。 PubMed DOI

臨床敘述的摘要對編碼人員來說非常重要,但臨床文本的複雜性卻帶來挑戰。最近的研究顯示,大型語言模型(LLMs)在摘要臨床文本方面有潛力,特別是在放射學和心臟超音波領域。研究團隊從MIMIC-III資料庫創建了一個數據集,並對兩個開源LLM進行微調,結果發現生物醫學預訓練模型的表現優於一般模型。這顯示針對臨床領域的LLM能成為編碼人員的有用工具,未來應該調整更先進的模型以提升表現。 PubMed DOI

這項研究探討如何透過微調提升開源大型語言模型(LLMs)在醫學證據摘要的表現。雖然專有模型通常更有效,但也存在透明度不足和依賴供應商的風險。研究人員使用包含8,161對系統性回顧摘要的MedReview數據集,對三個開源模型—PRIMERA、LongT5和Llama-2進行微調。結果顯示,微調後這些模型的表現顯著提升,特別是LongT5在零樣本設定中表現接近GPT-3.5,甚至有些小型模型超越了大型模型。這顯示微調開源LLMs能有效提升其在專業任務中的表現,成為專有模型的可行替代方案。 PubMed DOI

最近,自然語言處理(NLP)領域因大型語言模型(LLMs)的出現而有了重大進展。這些模型基於深度學習架構,如變壓器(transformers),擁有數十億的參數和龐大的訓練數據,能在各種任務中達到高準確度。LLMs不僅在傳統NLP應用上表現出色,還在生物信息學中解決了複雜數據集的挑戰,協助基因組學和藥物發現等領域的研究,為生命科學的新發現鋪路。 PubMed DOI

這項研究探討如何將大型語言模型(LLMs)整合進證據基礎醫學(EBM),以自動化任務如證據檢索和傳播,來提升臨床決策。研究比較了七個LLMs的表現,結果顯示這些模型在理解和總結方面表現優異,知識引導的提示也顯著提升了效果。不過,在命名實體識別和事實準確性上仍面臨挑戰,需要進一步研究和質量控制才能應用於臨床。研究結果和代碼已在GitHub上公開。 PubMed DOI

這項研究探討大型語言模型(LLMs)在中文生物醫學命名實體識別(BNER)任務的表現,這領域的研究相對較少。作者評估了多個LLMs,包括ChatGLM2-6B、GLM-130B、GPT-3.5和GPT-4,使用真實的中文電子病歷數據集及公共數據集。結果顯示,雖然LLMs在零樣本和少樣本情境下有潛力,但經過指令微調後表現顯著提升。特別是微調後的ChatGLM2-6B在真實數據集上超越了專門模型,而GPT-3.5在CCKS2017數據集上表現最佳,但仍未超過頂尖專業模型DGAN。這是首個評估LLMs在中文BNER任務的研究,顯示其潛力並為未來應用提供指導。 PubMed DOI

這項研究全面探討大型語言模型(LLMs)在生物醫學與健康資訊學(BHI)的應用,強調其變革潛力及面臨的倫理與實際挑戰。透過分析1,698篇研究,發現LLMs在臨床決策支持、病患互動及醫療文件分析等領域的應用顯著增加,預期能提升診斷準確性。研究也揭示機構間的合作動態,特別是在心理健康和神經系統疾病的管理上,顯示出個人化醫療的潛力。儘管LLMs展現出巨大潛力,仍需重視倫理影響及模型驗證挑戰,以確保其在臨床上的有效性。 PubMed DOI

這項研究探討如何透過指令調整來提升大型語言模型(LLMs)在生物醫學自然語言處理任務的表現,像是命名實體識別(NER)、關係提取(RE)和醫學自然語言推理(NLI)。研究團隊使用約20萬個專注於指令的樣本來訓練模型,目的是達到與BioBERT和BioClinicalBERT等專門模型相當的效果。他們還分析了數據集的組成對模型表現的影響,並希望分享研究結果、代碼和模型,以促進該領域的進一步發展。 PubMed DOI