原始文章

這篇論文提出DP2Unlearning方法,能有效從大型語言模型中移除特定資料,不用重新訓練。它利用差分隱私訓練模型,達到資料移除的正式保證,效果接近完全重訓,但計算成本只要一半,表現也比現有方法更好。 PubMed DOI


站上相關主題文章列表

隨著個人數位資料的重要性提升,各國開始實施法律來保護資料隱私,像是「被遺忘權」(RTBF)。這要求機器學習模型在用戶要求下刪除資料,可能影響模型性能。為了解決這個問題,機器遺忘(MU)技術應運而生,能在不重新訓練整個模型的情況下去除特定資料影響。這項調查旨在全面描繪MU的進展,提供遺忘演算法的分類,並探討在大型語言模型中實施遺忘的動機與方法,還有未來的研究方向。 PubMed DOI

大型語言模型(LLMs)在自然語言處理上表現優異,廣泛應用於行動計算、醫療、金融等領域,受到科技巨頭的推動。然而,這些技術也帶來安全與隱私挑戰,特別是在醫療和法律等關鍵領域。本文探討透過人類反饋進行強化學習(RLHF)的過程,並提出基於共識的獎勵框架(COBRA),有效減少惡意反饋的影響,提升模型性能。我們在情感分析和對話任務中評估COBRA,結果顯示其在獎勵準確性上顯著優於傳統方法。 PubMed DOI

這項研究探討如何將電子健康紀錄(EHRs)與自然語言處理(NLP)及大型語言模型(LLMs)結合,以改善醫療數據管理和病人照護。研究使用MIMIC III數據集,採用GPT-3.5、GPT-4等模型生成符合HIPAA要求的合成病人紀錄。結果顯示,基於關鍵字的方法在隱私保護上風險較低,且保持良好性能,建議未來可考慮使用虛擬的PHI來提升實用性與隱私保護。 PubMed DOI

這篇論文介紹了一種新型的隱私保護大型語言模型(LLM),名為ACP2LLM,專為醫療領域設計。它解決了用戶在提交醫療諮詢時的隱私風險及回應可靠性問題。ACP2LLM採用基於信息熵的自適應令牌壓縮技術,能有效保護用戶敏感資訊,並透過多醫生協作推理來平衡隱私與實用性。實驗結果顯示,ACP2LLM在隱私保護和回答精確度上均優於現有的領先模型。 PubMed DOI

這項研究探討如何用 Llama 3.1-8B 這類大型語言模型,從澳洲長照機構的護理紀錄中擷取失智症患者的躁動行為和營養不良風險資訊。結果發現,少樣本學習比零樣本學習好,PEFT 技術能提升兩者表現,RAG 只對少樣本有幫助。最佳組合是少樣本加 RAG,但零樣本加 PEFT 也差不多好,提供臨床資訊擷取的實用參考。 PubMed DOI

這項研究用大型LLM產生合成資料,來訓練較小的開源模型,讓它們在臨床紀錄資訊擷取上表現接近大型模型。8B參數的模型幾乎和70B一樣好,且只針對難題微調也有效。這方法能降低運算需求、保護隱私,適合在本地硬體上應用。 PubMed DOI

這篇論文提出 HELP-ME 三階段架構,能系統性評估並保護醫療大型語言模型的病患隱私,不會影響模型效能。它用提示詞檢測隱私問題,並透過混淆技術保護資料。實驗證明,HELP-ME 在真實醫療資料上能有效守護隱私,同時維持高診斷準確率,是醫療 LLMs 的實用安全方案。 PubMed DOI

這項研究提出用大型語言模型(LLM)來測試去識別化工具的隱私保護效果。結果發現,即使是先進工具,仍有9%病患紀錄被重新識別,顯示現有方法有漏洞。這方法有助於找出弱點,讓未來生醫資料分享更安全。 PubMed

這篇論文提出一套以使用者為核心的分散式AI影像生成服務架構,利用生成式擴散模型(GDMs),讓用戶能共享部分生成流程,提升效率。作者還結合大型語言模型與強化學習,模擬用戶回饋,優化主觀體驗品質(QoE)。新演算法G-DDPG能根據用戶偏好和網路狀況有效分配資源,模擬結果顯示QoE提升約15%。 PubMed DOI

這項研究比較了幾款中型開源語言模型在去除法文臨床紀錄個資的表現,重點是能在一般電腦上運作。結果發現,Mistral 7B 微調後表現最好,準確率高達0.97,且幾乎不會改動原文內容。這方法能有效保護病患隱私,讓臨床資料更安全地用於醫療研究和系統優化。 PubMed DOI