原始文章

這項研究探討了基於Transformer的預訓練大型語言模型(LLMs)在生物醫學領域的適應性與表現,特別針對自然語言推理(NLI)和命名實體識別(NER)兩個任務。研究旨在了解模型在這些任務上的表現與其捕捉資訊的能力之間的關係。分析了編碼器和解碼器基礎的LLMs的內部編碼及注意力機制,並比較了不同數據量微調前後的效果。結果顯示,模型的有效性與其內部機制中的特定模式有關,並提供了LLMs在生物醫學領域如何處理知識的見解。研究源代碼已在GitHub上公開。 PubMed DOI


站上相關主題文章列表

這篇論文評估了大型語言模型(LLMs)在各種生物醫學任務上的表現,發現即使在較小的生物醫學數據集上沒有進行特定微調,LLMs 也能表現良好。雖然LLMs 在所有任務上可能不如專門的生物醫學模型表現優秀,但它們展現了在具有有限標註數據的生物醫學任務中作為有用工具的潛力。 PubMed DOI

大型語言模型在處理自然語言方面有很大潛力,特別是在文本生成、推理和少樣本學習方面表現優秀。然而,在生物醫學領域的命名實體識別方面,LLMs效果不如專門調校的模型好。為了解決這問題,開發了一種新的基於指令的學習方法,創建了BioNER-LLaMA。測試結果顯示,BioNER-LLaMA在生物醫學NER任務中表現優於GPT-4,與專門模型相當。這種方法有潛力提升LLMs在生物醫學和健康領域的競爭力,值得進一步研究。 PubMed DOI

這項研究探討大型語言模型(LLMs)在中文生物醫學命名實體識別(BNER)任務的表現,這領域的研究相對較少。作者評估了多個LLMs,包括ChatGLM2-6B、GLM-130B、GPT-3.5和GPT-4,使用真實的中文電子病歷數據集及公共數據集。結果顯示,雖然LLMs在零樣本和少樣本情境下有潛力,但經過指令微調後表現顯著提升。特別是微調後的ChatGLM2-6B在真實數據集上超越了專門模型,而GPT-3.5在CCKS2017數據集上表現最佳,但仍未超過頂尖專業模型DGAN。這是首個評估LLMs在中文BNER任務的研究,顯示其潛力並為未來應用提供指導。 PubMed DOI

這項研究探討如何透過指令調整來提升大型語言模型(LLMs)在生物醫學自然語言處理任務的表現,像是命名實體識別(NER)、關係提取(RE)和醫學自然語言推理(NLI)。研究團隊使用約20萬個專注於指令的樣本來訓練模型,目的是達到與BioBERT和BioClinicalBERT等專門模型相當的效果。他們還分析了數據集的組成對模型表現的影響,並希望分享研究結果、代碼和模型,以促進該領域的進一步發展。 PubMed DOI

這篇論文評估了不同微調的生成大型語言模型(LLMs)在臨床領域的零樣本命名實體識別(NER)表現。研究在第八屆生物醫學聯結註解黑客松進行,重點分析Llama 2和Mistral模型,並比較其基本版本與針對特定任務微調的版本。使用的數據集標註了疾病、症狀和醫療程序。結果顯示,經過指示微調的模型在實體識別上表現優於聊天微調和基本模型,且在要求簡單輸出結構時表現也有所提升。 PubMed DOI

大型語言模型(LLMs)在生物醫學領域的應用日益增多,顯示出改變醫療保健的潛力。自2022年ChatGPT推出以來,針對生物醫學的LLMs開發顯著增加。這篇綜述分析了基於文本的生物醫學LLMs的現狀,重點在架構、訓練策略及應用,如聊天機器人。從5,512篇文章中選取82篇相關文獻,發現對解碼器架構的偏好及任務特定微調的趨勢。未來可透過整合多模態數據及增強數據共享來推進發展。 PubMed DOI

生物醫學文獻快速增長,讓手動整理知識變得困難,生物醫學自然語言處理(BioNLP)希望透過自動化來解決這些問題。儘管大型語言模型(LLMs)在多個領域展現潛力,但在BioNLP的有效性尚未確立。本研究系統評估了四個LLMs,包括GPT和LLaMA,並與傳統模型如BERT和BART比較。結果顯示,傳統微調方法在大多數任務中表現較佳,但GPT-4在推理任務中表現突出。開源LLMs仍需微調以提升性能,研究也指出LLM輸出中存在信息缺失和幻覺問題。 PubMed DOI

這項研究評估了生物醫學調整的大型語言模型(LLMs)在臨床任務中的表現,與通用模型相比。研究發現,生物醫學LLMs的表現通常不如通用模型,尤其在與醫學知識無關的任務上。雖然一些大型模型表現相似,但較小的生物醫學模型明顯落後。這挑戰了精細調整LLMs能自動提升表現的觀念,建議探索其他策略,如檢索增強生成,以更有效地整合LLMs進入臨床環境。 PubMed DOI

大型語言模型(LLMs)對醫療領域的自然語言處理(NLP)影響深遠,近期的研究顯示,專為醫療文本設計的LLMs逐漸受到重視。這篇回顧分析了基於LLMs的生物醫學NLP,資料來源涵蓋多個學術平台,重點在醫學文獻、電子健康紀錄(EHRs)及社交媒體。雖然通用LLMs如GPT-4被廣泛使用,但針對特定應用的自訂LLMs趨勢上升。傳統模型在某些任務上仍優於新型LLMs,但後者在少量學習和生成任務中表現佳。未來研究需關注評估、偏見及公平性等議題。 PubMed DOI

大型語言模型(LLMs)是先進的人工智慧系統,透過預測單詞序列來生成文本,改變了人機互動的方式。像ChatGPT和Claude等產品能與使用者進行複雜對話。微調則是針對特定數據集進一步訓練預訓練的LLM,以適應特定任務或領域。這篇評論探討了微調的各種方法,概述了一般步驟,並提供醫學子專科的例子,最後討論了微調LLM在醫學領域的優點與限制。 PubMed DOI