原始文章

這項研究探討了開放權重的大型語言模型(LLMs)在從放射科報告中提取結構化內容的效果,並與傳統的規則系統及封閉權重模型(如GPT-4)進行比較。研究結果顯示,GPT-4o在英語報告中表現最佳,F1分數達92.4%,而Mistral-Large在德語數據集中也表現優異。當使用1000份報告進行微調時,開放權重LLMs的表現顯著超過BERT。結論指出,開放權重模型在結構化報告數據方面具有效能,特別是在中等數據量微調時。 PubMed DOI


站上相關主題文章列表

2023年,ChatGPT推出後掀起AI熱潮。OpenAI的大型語言模型(LLMs)不提供給安全診所現場使用。各方積極推動LLM民主化,允許本地實施符合隱私規範且適應特定數據。本文探討放射學中本地LLM的潛力,並討論開放與封閉AI領域的發展。初創公司如Meta、Google、X和Mistral AI透過開放模型推動LLM民主化。雖然性能可能不及GPT-4等封閉LLM,但開放LLM在改善診斷報告、與患者互動及從臨床數據庫中提取診斷信息方面展現潛力。 PubMed DOI

放射學中的結構化報告在可比性、可讀性和細節上有明顯優勢,但其採用仍然有限。本研究探討了一種本地托管的語言模型,能將自由文本的放射報告轉換為結構化數據,且不影響放射科醫師的工作流程。研究結果顯示,該模型生成的結構化報告在英語和德語的準確性接近人類讀者,顯示出良好的性能。結論指出,為了提高結構化報告的採用,需加強自動化系統與臨床流程的整合,讓醫師能在報告過程中受益於結構化數據。 PubMed DOI

這項研究比較了OpenAI的GPT-4與幾個開源大型語言模型在從胸部X光報告中提取相關發現的表現。使用了來自ImaGenome和麻省總醫院的數據集。結果顯示,Llama 2-70B在ImaGenome數據集的微F1分數為0.97,而GPT-4為0.98。在機構數據集中,GPT-4的表現也優於其他模型。研究強調了少樣本提示能提升開源模型在醫療報告標註中的潛力。 PubMed DOI

這項研究分析了不同的自然語言處理(NLP)模型和大型語言模型(LLM)在放射科報告中匿名化個人健康資訊(PHI)的效果,並遵循HIPAA法規。研究發現,兩個NLP模型成功移除了所有日期、醫療紀錄號碼和檢查號碼,而LLM在日期的移除效果較差。針對準確性優化的NLP模型表現最佳,達到完美的F1分數。研究結論指出,預訓練的NLP模型在不影響臨床數據的情況下,更有效地進行匿名化,LLM則可能意外刪除重要資訊,強調了可靠的PHI匿名化對醫療應用的重要性。 PubMed DOI

這項研究評估了專有與開放的大型語言模型(LLMs)在分析胰臟癌放射學報告的有效性,重點在於疾病的存在、位置及治療反應。研究分析了203份去識別化的報告,使用了GPT-4、GPT-3.5-turbo及開放模型如Gemma-7B和Llama3-8B。結果顯示,GPT-4在確定疾病狀態上準確率最高,達75.5%。開放模型在某些方面表現不如專有模型,但仍具潛力,特別是在專有模型無法使用時。這項研究為未來腫瘤學領域的LLM研究提供了重要資源。 PubMed DOI

將大型語言模型(LLMs)應用於醫療保健能顯著提升臨床流程與病人護理,但也面臨準確性、可及性、隱私及法規等挑戰。雖然專有模型如GPT-4和Claude 3受到關注,開源模型如Llama 3和LLaVA-Med對醫療機構和研究人員有獨特優勢,但因不熟悉和基礎設施不足,採用速度較慢。這篇文章提供放射學中實施開源LLMs的教程,包括文本生成、提示工程等實用範例,並比較開源與專有模型的優缺點。 PubMed DOI

最近大型語言模型(LLMs)在放射診斷方面的進展顯著,無論是開源還是專有模型,都能透過本地或雲端部署來解決隱私問題。研究評估了十五個開源LLMs和一個封閉源LLM(GPT-4o)的診斷表現,使用了1,933個來自Eurorad的案例。結果顯示,GPT-4o的表現最佳,其次是Llama-3-70B,顯示開源模型的表現逐漸接近專有模型,顯示其在放射鑑別診斷中的潛力。 PubMed DOI

這項研究探討了符合隱私要求的開源大型語言模型(LLMs)在檢測放射科報告錯誤的有效性,並與商業封閉源模型比較。分析了120份報告,發現封閉源模型(如GPT-4)在錯誤檢測率上優於開源模型,分別為88%和79%。不過,開源模型的處理時間較短,每份報告僅需6秒。研究結論指出,開源模型雖然有效,但準確性尚未達到封閉源模型的水準,未來有潛力在保護病人隱私的同時提升臨床工作流程。 PubMed DOI

這項研究探討如何將電子健康紀錄(EHRs)與自然語言處理(NLP)及大型語言模型(LLMs)結合,以改善醫療數據管理和病人照護。研究使用MIMIC III數據集,採用GPT-3.5、GPT-4等模型生成符合HIPAA要求的合成病人紀錄。結果顯示,基於關鍵字的方法在隱私保護上風險較低,且保持良好性能,建議未來可考慮使用虛擬的PHI來提升實用性與隱私保護。 PubMed DOI

病理科部門產生大量非結構化數據,主要以自由文本的診斷報告形式存在,轉換成結構化格式需要大量人力。雖然先進的語言模型能協助此任務,但專有模型可能引發成本和隱私問題。我們創建了一個包含579份德文和英文病理報告的數據集,評估了六個語言模型的提取能力。研究顯示,開源模型在提取結構化數據方面的精度與專有模型相當,且具成本效益和隱私保護潛力,為醫療機構提供了重要見解。 PubMed DOI