研究使用LLMs提升兒童健康識字能力，結果顯示LLMs能根據年級提供定制回應，但在六年級以下表現不佳。然而，它們可提供各種資訊，有助青少年了解健康資訊。需要進一步研究驗證其準確性和有效性。 PubMed DOI

近期LLMs如ChatGPT在醫療保健領域受歡迎，但也帶來安全和倫理風險。為因應此挑戰，提出新方法評估LLMs在臨床護理中的可行性，強調安全、個人化護理和倫理。透過跨學科知識整合和文獻回顧，確定關鍵評估領域。由專家進行同行評審，確保科學嚴謹。在臨床腫瘤護理中評估九種LLMs後，有些被推薦使用，有些謹慎使用或不可使用。推薦使用特定領域的LLMs可支持醫療專業人員的決策。 PubMed DOI

LLMs在臨床試驗文件生成上有潛力。輝瑞挑戰使用LLMs自動化臨床試驗文件，尤其是為CSRs創建安全表摘要。評估顯示性能差異，特別是在事實準確性和寫作風格方面。團隊多使用GPT模型，改進方向包括表格輸入、上下文添加和微調。挑戰結果顯示LLMs在自動化CSRs中表格摘要有潛力，強調需優化人類輸入和持續研究。 PubMed DOI

大型語言模型(LLMs)在臨床決策中或許有好處，但目前還不適合實際醫療使用。一項研究指出，LLMs在真實病例中無法正確診斷、無法遵循指引、難以解釋檢驗結果，且難以整合到臨床流程中，可能危害患者健康。需要更多研究以改進LLMs在臨床決策的應用。 PubMed DOI

研究比較了大型語言模型（LLMs）在臨床案例診斷上的表現，發現GPT4比GPT3.5更準確且提供更專業的診斷列表。然而，兩者仍有可能漏掉最可能的診斷。研究建議LLMs像GPT4可擴展診斷考慮範圍，但需改進以更符合疾病發生率和文獻。 PubMed DOI

這項研究評估了GPT-3.5這種大型語言模型在自動標記產科事件報告的效果。分析了370份住院產科報告，並以人類標註作為金標準。結果顯示，該模型的敏感度達85.7%，特異度為97.9%，使用了79個標籤，而人類僅用了49個。模型的標籤解釋也有60.8%獲得審核者認可。總體來看，GPT-3.5能提升事件報告系統的數據利用效率，並可能改善病人安全。 PubMed DOI

這項研究強調人類評估在醫療大型語言模型（LLMs）中的重要性，回顧了各醫學專科的評估方法，特別關注評估維度、樣本大小、評估者選擇和統計分析。對142項研究的文獻回顧顯示，現行實踐在可靠性和適用性上有明顯缺口。為了解決這些問題，作者提出了QUEST框架，包含規劃、實施與裁定、評分與審查三個階段，並圍繞五個關鍵評估原則，旨在提升LLMs在醫療環境中的有效性與安全性。 PubMed DOI

這項研究旨在開發和驗證一個框架，以評估大型語言模型（LLM）生成的急診室記錄的準確性和臨床適用性。研究中，52名參與者使用HyperCLOVA X LLM創建了33份記錄，並採用雙重評估方法進行分析。臨床評估顯示評估者之間的可靠性高，而定量評估則識別出七種主要錯誤類型，其中無效生成錯誤最為常見。研究結果顯示該框架在臨床可接受性上具備潛力，為未來的研究和應用提供了方向。 PubMed DOI

這項研究回顧了大型語言模型（LLMs）在醫療領域的評估，指出目前缺乏明確的評估框架。研究分析了142篇2023年內發表的文章，資料來自PubMed、Embase和MEDLINE。結果顯示，LLM的評估主要分為測試考試和醫療專業人員的評估，部分研究則結合兩者。大多數評估問題數量不超過100題，且有不少使用重複測量和額外分析。研究強調未來需更具結構化的方法論，以提升LLM在醫療應用中的表現。 PubMed DOI

這項研究探討大型語言模型（LLM）生成的急診醫學交接筆記，針對從急診轉入住院的病人進行。研究在紐約長老會/威爾康奈爾醫學中心進行，分析了1,600份病人紀錄。結果顯示，LLM生成的筆記在詞彙和細節上優於醫生撰寫的筆記，但在實用性和病人安全性方面略遜於醫生的評估。這強調了在臨床使用LLM時，醫生參與的重要性，並提供了評估病人安全的框架。 PubMed DOI