Improving the Transferability of Clinical Note Section Classification Models with BERT and Large Language Model Ensembles.
使用BERT和大型語言模型集成改善臨床註釋部分分類模型的可轉移性。 Proc Conf Assoc Comput Linguist Meet 2023-10-04

這項研究專注於將電子健康記錄中的文本組織成不同部分，並將其歸類為不同類別。研究人員結合了監督式學習模型中的特定數據集知識和大型語言模型（LLMs），發現零-shot LLMs 在跨領域數據上的表現優於監督式基於BERT的模型。通過集成技術結合兩種模型的優勢進一步提高了性能。 PubMed DOI

Deep learning-based natural language processing for detecting medical symptoms and histories in emergency patient triage.
基於深度學習的自然語言處理在急診患者分流中檢測醫學症狀和病史。 Am J Emerg Med 2024-02-16

研究使用大型語言模型如GPT和BERT自動記錄急診科臨床診斷，並進行BERT微調。透過XAI和SHAP方法分析模型，結果顯示KLUE-RoBERTa表現最佳，XAI提供可靠解釋。研究指出LLMs或許可簡化韓國急診科電子病歷記錄。 PubMed DOI

Contextual Word Embedding for Biomedical Knowledge Extraction: a Rapid Review and Case Study.
生物醫學知識提取的情境詞嵌入：快速回顧與案例研究。 J Healthc Inform Res 2024-01-27

NLP在生物醫學領域取得進展，比較了多個詞嵌入模型，包括ELMo、BERT、BioBERT和GPT。研究顯示BioBERT在生物醫學文本表現最佳，臨床BioBERT在臨床註釋中表現卓越。這對生物醫學和臨床文件分析的研究人員和從業者有實質價值。 PubMed DOI

Neural machine translation of clinical text: an empirical investigation into multilingual pre-trained language models and transfer-learning.
臨床文本的神經機器翻譯：多語言預訓練語言模型和遷移學習的實證研究。 Front Digit Health 2024-03-13

臨床文本和文件是重要的醫療資訊來源，利用先進的語言技術處理對於發展支援醫療保健和社會福祉的智慧系統至關重要。我們使用多語言神經網絡模型，如Transformer，以及大規模預先訓練的語言模型進行轉移學習，研究臨床文本機器翻譯。我們的研究顯示，小型預先訓練的語言模型在臨床領域微調中表現優於更大的模型，這是一個新的發現。這些結果對於醫療保健領域的機器翻譯發展具有重要意義。 PubMed DOI

Pre-trained language models in medicine: A survey.
醫學中的預訓練語言模型：一項調查。 Artif Intell Med 2024-06-25

這篇論文研究了在醫學NLP任務中使用PLMs（如BERT、BioBERT和ChatGPT）的效果。涵蓋了文本摘要、問答、情感分析等任務，探討了方法、優勢、數據集和評估指標，並提及最新研究成果。評估了研究質量和影響力，提出未來研究方向，以增進PLMs在臨床應用的可靠性。提供模型代碼和數據集下載鏈接，對醫療NLP有興趣的研究人員和醫護人員有用。 PubMed DOI

Evaluating large language models for health-related text classification tasks with public social media data.
利用公共社交媒體數據評估大型語言模型在健康相關文本分類任務中的表現。 J Am Med Inform Assoc 2024-08-09

這項研究評估大型語言模型（LLMs）在社交媒體健康相關文本分類的表現，並比較了不同模型的效果。結果顯示，基於人類標註數據的模型如RoBERTa和BERTweet表現優於基於GPT-3.5和GPT-4的模型。雖然LLM可用於數據增強，但僅依賴LLM標註數據訓練效果不佳。研究指出，LLM作為零樣本分類器能有效減少假陰性，並減輕手動標註負擔，顯示其在特定領域自然語言處理的潛力。 PubMed DOI

Traditional Machine Learning, Deep Learning, and BERT (Large Language Model) Approaches for Predicting Hospitalizations From Nurse Triage Notes: Comparative Evaluation of Resource Management.
從護理分診筆記預測住院的傳統機器學習、深度學習和 BERT（大型語言模型）方法：資源管理的比較評估。 JMIR AI 2024-08-27

這項研究比較了兩種模型在預測住院情況的表現，分別是深度學習模型Bio-Clinical-BERT和詞袋邏輯回歸模型BOW-LR-TF-IDF。研究基於Mount Sinai Health System近140萬名患者的數據，結果顯示Bio-Clinical-BERT的接收者操作特徵曲線下面積（AUC）得分為0.82到0.85，優於BOW-LR-TF-IDF的0.81到0.84。雖然兩者性能差異不大，但都能有效利用分診筆記進行預測。研究強調在資源有限的情況下，簡單模型也能滿足需求，並建議進一步研究以提升醫療預測能力。 PubMed DOI

Fine-Tuning Large Language Models to Enhance Programmatic Assessment in Graduate Medical Education.
微調大型語言模型以增強研究生醫學教育中的程式性評估。 J Educ Perioper Med 2024-10-02

這項研究探討了訓練大型語言模型（LLMs）來根據美國住院醫師教育認證委員會（ACGME）的標準分類受訓者的反饋。研究發現，雖然複雜的模型未必能提高分類準確率，但較小的模型如BERT-mini在性能上與FastText相當，且在個人設備上部署時更具優勢，能提升速度和數據隱私。這項研究有助於理解如何有效整合LLMs於醫學教育中。 PubMed DOI

Evaluating Medical Entity Recognition in Health Care: Entity Model Quantitative Study.
評估醫療實體識別在健康照護中的應用：實體模型定量研究。 JMIR Med Inform 2024-10-17

命名實體識別（NER）模型在從非結構化醫療文本中提取結構化資訊方面非常重要，能識別疾病和治療等實體，對臨床決策和研究有幫助。近期基於BERT的深度學習進展提升了NER能力，但醫學術語的複雜性使得模型在不同數據集上的表現不一。本研究評估了七種NER模型在醫療文本分析中的表現，特別關注複雜術語和宏觀因素對準確性的影響。結果顯示，經微調的BERT在某些數據集上表現最佳，並強調了針對性優化的必要性，以增強臨床決策和開發更有效的醫療NER模型。 PubMed DOI

Fine-Tuned Bidirectional Encoder Representations From Transformers Versus ChatGPT for Text-Based Outpatient Department Recommendation: Comparative Study.
基於變壓器的微調雙向編碼器表示法與 ChatGPT 在文本基礎的門診推薦中的比較研究。 JMIR Form Res 2024-10-18

這項研究評估了ChatGPT在根據病人症狀推薦醫療專科的效果，使用了31,482個標記有27個專科的醫療問題。結果顯示，ChatGPT的準確率為0.939，F1分數為0.134，雖然不及經過微調的韓國醫療BERT（KM-BERT）的準確率0.977和F1分數0.587，但它能提供有價值的解釋，幫助病人理解潛在的醫療狀況。雖然在專科推薦上不如KM-BERT，ChatGPT的對話能力仍可能改善病人獲取資訊的過程。 PubMed DOI

原始文章

站上相關主題文章列表