原始文章

**重點摘要:** 這項研究利用 Microsoft Olive 和動態量化技術,來優化 BERT 在醫療文本語意相似度的表現,在 DEFT 2020 挑戰賽中達到相近甚至略優的準確率,同時讓模型推論速度提升 20 倍、記憶體使用量減少 70%。 PubMed DOI


站上相關主題文章列表

這項研究探討了訓練大型語言模型(LLMs)來根據美國住院醫師教育認證委員會(ACGME)的標準分類受訓者的反饋。研究發現,雖然複雜的模型未必能提高分類準確率,但較小的模型如BERT-mini在性能上與FastText相當,且在個人設備上部署時更具優勢,能提升速度和數據隱私。這項研究有助於理解如何有效整合LLMs於醫學教育中。 PubMed DOI

大型語言模型(LLMs)在研究和商業應用中越來越受重視,現在的趨勢是使用參數高效微調(PEFT)方法來開發較小的專用模型,而不需完全微調。研究發現,LoRA在各種任務中表現優異,常與完全微調的模型相當,顯示PEFT方法在臨床決策中有效,特別適合低成本運算。小型模型的優勢如快速處理和低訓練成本,超越大型LLMs的性能。此外,領域特定的預訓練對小型模型也相當重要。完整代碼可在GitHub上找到。 PubMed DOI

這項研究介紹了MedAdapter,一種新方法,能讓大型語言模型(LLMs)在生物醫學領域適應,而不需微調整個模型。MedAdapter使用小型的BERT適配器來排名LLMs生成的候選解,提升測試時的適應性。實驗顯示,MedAdapter在四個生物醫學任務上,白盒和黑盒LLMs的性能分別提升了18.24%和10.96%。這種方法資源效率高,且保護數據隱私,適合現有方法的靈活選擇。 PubMed DOI

DeepSeek-V3 和 DeepSeek-R1 這類開源大型語言模型,在臨床決策支援上表現不輸甚至超越 GPT-4o、Gemini-2.0 等專有模型。最大優勢是能在本地安全微調,符合醫療隱私規範,非常適合台灣醫療現場應用。 PubMed DOI

用ICD-10資料微調大型語言模型後,自動醫療編碼的準確度大幅提升。模型在代碼與描述配對的精確率從不到1%躍升到97%;應用在臨床紀錄上,精確匹配率達69.2%,分類匹配率87.2%。這能有效減少人工處理時間和錯誤。 PubMed DOI

這篇論文提出用大型語言模型(像 GPT-4o)自動化醫療術語對應 SNOMED CT 等本體,建立 RDF 知識圖譜。研究比較六種系統,發現 GPT-4o 等現代 LLMs 在準確度和語意理解上都比傳統方法好很多,能大幅提升醫療知識圖譜的準確性和資料整合效率。 PubMed DOI

這篇論文比較BERT和Mistral在自動化ICD-10死亡證明書編碼的表現,發現Mistral經微調後,特別在處理罕見代碼時,比BERT更優秀,顯示Mistral更適合提升醫療自動編碼的準確率。 PubMed DOI

SleepBert 是新一代 AI 模型,結合睡眠檢查數據和臨床紀錄,提升睡眠障礙診斷的準確率。它經過微調並加入即時醫學證據檢索,不只比現有模型更快更準,也幫助醫師有效分析複雜數據,找出罕見睡眠障礙的線索。 PubMed DOI

這篇研究推出輕量級生醫多模態小型語言模型 SigPhi-Med,僅用4.2B參數就能在多項醫學視覺問答測試中超越更大型模型。團隊針對模型大小、影像編碼器和訓練策略等進行優化,證明高效又省資源的醫療AI助理是可行的,對臨床應用很有幫助。原始碼已開放於 GitHub。 PubMed DOI

這項研究發現,像 Med-BERT 這種專為醫療設計的大型語言模型,比通用型模型更能處理不同醫院間的資料差異,提升知識轉移效果。通用模型如 OpenAI 需額外微調。未來建議持續研究如何在任務難度、資料量和微調之間取得最佳平衡。 PubMed