LLMs在從公開來源中提取數據很有用，但在臨床設置中的效果尚不明確。這項研究比較了使用「Versa Chat」（OpenAI gpt-35-turbo LLM的實現）與手動病歷審查在肝癌影像報告中提取數據的準確性。研究涉及182份腹部影像報告，評估其性能包括準確性、精確性、召回率和F1分數。 PubMed DOI

使用大型語言模型（LLMs）如Claude 2，相較於傳統方法，能夠明顯提升證據綜合中的數據提取效率和準確性。Claude 2在概念驗證研究中展現出96.3%的整體準確性，並具有高的測試-重測信度。此模型易用，操作上無需專業知識或標記訓練數據，有潛力增進數據提取過程。 PubMed DOI

系統性回顧很重要，但耗時。大型語言模型如GPT-4可加速，但與人類表現仍有差異。研究發現GPT-4在某些領域表現良好，但受機會和數據集影響。調整後表現下降，尤其在數據提取和篩選任務。給予提示後，在篩選文獻方面表現與人類相當。建議使用語言模型時謹慎，但在特定條件下可匹敵人類。 PubMed DOI

大型語言模型如ChatGPT在醫學研究中被廣泛運用，尤其在系統性回顧上。它們可協助加速回顧流程，包括問題定義、文獻檢索、篩選和資訊提取，省時且效率提升。然而，使用時需確保報告透明、區分真假資訊，並防範學術不端。本文探討了大型語言模型在系統性回顧中的潛力，討論了優勢、限制和未來研究方向，以指導相關作者。 PubMed DOI

利用大型語言模型（LLMs）自動篩選相關出版物進行文獻回顧是有潛力但複雜的任務。已開發Python腳本，利用LLMs評估出版物相關性。不同LLMs在不同數據集上表現不同，靈敏度/特異性範圍從81.93％/75.19％到97.58％/19.12％。修改設置如提示結構和Likert量表範圍，對性能有顯著影響。LLMs的分類器或許可用於評估出版物相關性，但在系統性文獻回顧和更廣泛影響方面的應用尚不確定。未來研究可能會更廣泛地採用LLMs來評估出版物。 PubMed DOI

研究比較了Claude 2和GPT-4兩個大型語言模型在提取文章數據的表現。Claude 2使用PDF解析插件，準確率高達96.3％，GPT-4則為68.8％。兩者皆能辨識缺失數據並提取未明確報告的資訊。在提供文本時，兩者表現皆相當準確。研究指出語言模型在數據提取上的潛力，但也強調了準確的PDF解析和人工驗證的必要性。 PubMed DOI

研究發現使用大型語言模型（LLM）在篩選標題和摘要時效率高且準確。GPT-4 Turbo在比較腦膜炎和敗血症臨床問題時表現優異，速度也比傳統方法快。這顯示LLM輔助篩選可提升系統性回顧效率，減少工作負擔。 PubMed DOI

這篇論文探討系統性回顧中摘要篩選的挑戰，並利用大型語言模型（LLMs）的零-shot能力來解決。研究提出一個新穎的問答框架，將篩選標準視為問題，讓LLM回答，並根據綜合回應做出納入或排除的決策。透過CLEF eHealth 2019 Task 2基準驗證，結果顯示該框架在31個系統性回顧數據集上表現優於傳統方法和微調的BERT模型，顯示LLM在摘要篩選中的有效性與潛力。 PubMed DOI

這項研究評估大型語言模型（LLMs）在系統性回顧和統合分析中的摘要篩選效果。研究人員使用Python腳本，與多種LLMs互動，包括ChatGPT 3.5和4.0、Google PaLM 2等，並將其表現與人類專家的納入決策進行比較。結果顯示，ChatGPT v4.0的準確率超過90%，顯示其在摘要篩選上的潛力。雖然LLMs尚無法完全取代人類專家，但能顯著提升篩選效率，未來可能改變相關工作流程。 PubMed DOI

這項研究探討大型語言模型（LLMs）在評估科學報告及臨床試驗方法學的有效性。研究比較了LLMs與人類評審的準確率，結果顯示人類的準確率高達89%至75%，而LLMs的準確率則較低，PRISMA介於63%到70%之間。雖然結合LLM的評分能提升準確率，但仍不及人類。研究指出，人類與AI合作能提高效率，特別是在較簡單的任務上，但對於複雜的評估則效果有限。 PubMed DOI