Assessing the Efficacy of Large Language Models in Health Literacy: A Comprehensive Cross-Sectional Study.
評估大型語言模型在健康識字能力中的功效：一項全面的橫斷面研究。 Yale J Biol Med 2024-04-03

研究使用LLMs提升兒童健康識字能力，結果顯示LLMs能根據年級提供定制回應，但在六年級以下表現不佳。然而，它們可提供各種資訊，有助青少年了解健康資訊。需要進一步研究驗證其準確性和有效性。 PubMed DOI

Integrating human expertise & automated methods for a dynamic and multi-parametric evaluation of large language models' feasibility in clinical decision-making.
將人類專業知識與自動化方法整合，以動態和多參數評估大型語言模型在臨床決策中的可行性。 Int J Med Inform 2024-05-29

近期LLMs如ChatGPT在醫療保健領域受歡迎，但也帶來安全和倫理風險。為因應此挑戰，提出新方法評估LLMs在臨床護理中的可行性，強調安全、個人化護理和倫理。透過跨學科知識整合和文獻回顧，確定關鍵評估領域。由專家進行同行評審，確保科學嚴謹。在臨床腫瘤護理中評估九種LLMs後，有些被推薦使用，有些謹慎使用或不可使用。推薦使用特定領域的LLMs可支持醫療專業人員的決策。 PubMed DOI

Using large language models for safety-related table summarization in clinical study reports.
使用大型語言模型進行臨床研究報告中與安全相關的表格摘要。 JAMIA Open 2024-05-31

LLMs在臨床試驗文件生成上有潛力。輝瑞挑戰使用LLMs自動化臨床試驗文件，尤其是為CSRs創建安全表摘要。評估顯示性能差異，特別是在事實準確性和寫作風格方面。團隊多使用GPT模型，改進方向包括表格輸入、上下文添加和微調。挑戰結果顯示LLMs在自動化CSRs中表格摘要有潛力，強調需優化人類輸入和持續研究。 PubMed DOI

Evaluation and mitigation of the limitations of large language models in clinical decision-making.
評估和緩解大型語言模型在臨床決策中的限制。 Nat Med 2024-07-04

大型語言模型(LLMs)在臨床決策中或許有好處，但目前還不適合實際醫療使用。一項研究指出，LLMs在真實病例中無法正確診斷、無法遵循指引、難以解釋檢驗結果，且難以整合到臨床流程中，可能危害患者健康。需要更多研究以改進LLMs在臨床決策的應用。 PubMed DOI

Evaluation of large language models as a diagnostic aid for complex medical cases.
大型語言模型作為複雜醫學案例診斷輔助的評估。 Front Med (Lausanne) 2024-07-05

研究比較了大型語言模型（LLMs）在臨床案例診斷上的表現，發現GPT4比GPT3.5更準確且提供更專業的診斷列表。然而，兩者仍有可能漏掉最可能的診斷。研究建議LLMs像GPT4可擴展診斷考慮範圍，但需改進以更符合疾病發生率和文獻。 PubMed DOI

Evaluating large language models on medical, lay language, and self-reported descriptions of genetic conditions.
評估大型語言模型在醫學、通俗語言和自我報告的遺傳疾病描述上的表現。 Am J Hum Genet 2024-08-15

這項研究分析了不同大型語言模型（LLMs）在識別遺傳疾病時的表現，對比了開源模型（如Llama-2-chat和Vicuna）與封閉源模型（如ChatGPT-4）。結果顯示，開源模型的準確率在54%-68%之間，而ChatGPT-4則高達89%-90%。研究還指出，臨床醫生和一般民眾的提問對模型表現有顯著影響，且使用列表型提示能提升準確性。整體而言，這項研究揭示了LLMs在醫療領域的潛力與挑戰。 PubMed DOI

Accuracy of a Proprietary Large Language Model in Labeling Obstetric Incident Reports.
專有大型語言模型在標記產科事件報告中的準確性。 Jt Comm J Qual Patient Saf 2024-09-10

這項研究評估了GPT-3.5這種大型語言模型在自動標記產科事件報告的效果。分析了370份住院產科報告，並以人類標註作為金標準。結果顯示，該模型的敏感度達85.7%，特異度為97.9%，使用了79個標籤，而人類僅用了49個。模型的標籤解釋也有60.8%獲得審核者認可。總體來看，GPT-3.5能提升事件報告系統的數據利用效率，並可能改善病人安全。 PubMed DOI

A framework for human evaluation of large language models in healthcare derived from literature review.
從文獻回顧中衍生的醫療領域大型語言模型人類評估框架。 NPJ Digit Med 2024-09-27

這項研究強調人類評估在醫療大型語言模型（LLMs）中的重要性，回顧了各醫學專科的評估方法，特別關注評估維度、樣本大小、評估者選擇和統計分析。對142項研究的文獻回顧顯示，現行實踐在可靠性和適用性上有明顯缺口。為了解決這些問題，作者提出了QUEST框架，包含規劃、實施與裁定、評分與審查三個階段，並圍繞五個關鍵評估原則，旨在提升LLMs在醫療環境中的有效性與安全性。 PubMed DOI

Testing and Evaluation of Health Care Applications of Large Language Models: A Systematic Review.
大型語言模型在健康照護應用中的測試與評估：系統性回顧。 JAMA 2024-10-15

大型語言模型（LLMs）在醫療領域有潛力，但目前的評估方法無法有效識別其最佳用途。針對2022年至2024年間的研究進行系統性回顧，發現519項研究中僅5%使用真實病人數據。主要醫療任務集中在醫學知識和診斷，行政任務則較少。大多數研究專注於問答任務，準確性是主要評估維度，但公平性和偏見等問題卻被忽略。未來應標準化評估指標，納入臨床數據，並擴展至更多任務和專科。 PubMed DOI

Evaluation Framework of Large Language Models in Medical Documentation: Development and Usability Study.
大型語言模型在醫療文檔中的評估框架：開發與可用性研究。 J Med Internet Res 2024-11-20

這項研究旨在開發和驗證一個框架，以評估大型語言模型（LLM）生成的急診室記錄的準確性和臨床適用性。研究中，52名參與者使用HyperCLOVA X LLM創建了33份記錄，並採用雙重評估方法進行分析。臨床評估顯示評估者之間的可靠性高，而定量評估則識別出七種主要錯誤類型，其中無效生成錯誤最為常見。研究結果顯示該框架在臨床可接受性上具備潛力，為未來的研究和應用提供了方向。 PubMed DOI

原始文章

站上相關主題文章列表