原始文章

這項研究發現,透過 embedding similarity 動態挑選最相關範例來做 few-shot prompting,可以大幅提升開源輕量級 LLM 在臨床紀錄分類的表現。這方法比 zero-shot 最多提升 39.3% macro F1 分數,也比靜態 few-shot 高出 21.1%,證明在臨床 NLP 任務上很有實用價值。 PubMed DOI


站上相關主題文章列表

OpenMedLM是一個開源的醫學語言模型,在醫學基準測試中表現優異,且無需大量微調。透過提示策略,OpenMedLM在三個醫學語言模型基準測試中取得領先地位,超越其他模型。這顯示開源基礎模型在提升醫療任務表現方面具有潛力,同時也凸顯提示工程對於醫學應用中易用的語言模型的重要性。 PubMed DOI

這項研究探討大型語言模型(LLMs)在臨床筆記段落識別的應用,旨在克服傳統監督方法的限制。研究將段落識別設為問答任務,並評估不同的LLMs,結果顯示GPT-4的F1分數最高,達到0.77,表現優異。最佳的開源模型Tulu2-70b得分為0.64,與GPT-3.5相當。研究指出,雖然微調模型在大數據集上表現穩定,但增加段落識別範例能提升性能。總體而言,LLMs,特別是GPT-4,已接近實際應用於臨床筆記段落識別,並可透過微調進一步改善。 PubMed DOI

大型語言模型(LLMs)有潛力顯著改變臨床醫學,能改善醫療服務的可及性、增強診斷、協助手術規劃及促進教育。不過,這些模型的有效運用需謹慎設計提示,以應對幻覺和偏見等挑戰。理解標記化、嵌入和注意力機制等關鍵概念,以及運用策略性提示技術,對生成準確輸出至關重要。AI技術與醫療專業人員的合作、重視倫理問題如數據安全和偏見緩解,能提升醫療服務質量與可及性。持續的研究與發展對於發揮LLMs在醫療領域的潛力至關重要。 PubMed DOI

基於深度學習的自然語言處理系統在臨床領域常需大量標記數據,但這些數據難以獲得且成本高。雖然弱監督和上下文學習有助於大型語言模型,但效果仍不如傳統監督方法。我們提出一種新方法,結合LLMs的微調與弱監督,僅需少量領域知識即可提升表現。透過提示策略生成弱標記數據,並用少量金標準數據微調BERT模型。我們在i2b2/n2c2數據集上測試,結果顯示僅用10個金標準筆記,模型F1分數超越PubMedBERT,提升幅度達4.7-47.9%。使用50個金標準筆記時,性能可與完全微調系統相媲美。 PubMed DOI

開源大型語言模型(LLMs)在從放射科報告擷取標籤上,比傳統規則式工具(如 CheXpert)更準確。規模較大的 LLMs,特別在判讀困難異常(如肋骨骨折)時,敏感度更高。不同提示策略(如 chain-of-thought)效果不一。即使標籤有雜訊,用 LLM 擷取的標籤訓練影像分類器,表現仍不錯,但最終評估結果會受標註方法影響很大。因此,選對 LLM、提示方式和評估方法對醫療 AI 發展很重要。 PubMed DOI

這篇文章介紹了幾種常見的提示工程技巧,像是 zero-shot、few-shot 和 chain-of-thought,說明它們如何幫助提升 AI 在介入放射學領域的表現。內容也討論資料隱私、法規等挑戰,並展望未來像檢索增強生成、多模態模型等新方向。 PubMed DOI

這項研究利用大型語言模型(LLMs)把電子健康紀錄(EHR)結構化資料轉成自然語言,並應用在疾病預測。LLMs分別扮演「預測者」和「評論者」兩種角色,負責預測結果和給予改進建議。結果顯示,在樣本數少的情況下,這種方法的預測表現不輸傳統監督式學習,對醫療應用很有發展潛力。 PubMed

這篇文章說明大型語言模型(LLMs)能準確從臨床文本抓取數值資料,像是檢驗數據和生命徵象。作者提出新提示策略和方法,能有效降低錯誤,並在標註病歷上驗證成果,也證明這方法適用於大量器官捐贈者資料分析,有助提升器官採集資料的研究可用性。 PubMed

這項研究發現,用結構化提示雖然能讓八款大型語言模型產生更貼近臨床需求的摘要,但也更容易出現錯誤和偏誤。沒有任何模型能穩定產出臨床可用的摘要,因此各機構還是要自行把關,確保摘要內容正確無誤。 PubMed DOI

這項研究評估多種大型語言模型,利用提示工程從胃鏡和大腸鏡報告中擷取結構化資訊。結果顯示,大型且專業化的模型在基本資訊擷取表現最好,但遇到複雜推理時仍有限制。少樣本學習對部分模型有幫助,顯示LLMs自動化醫療文本分析有潛力,但還需改進。 PubMed DOI