這項研究評估了ChatGPT對臨床問題的回應準確性與重現性,基於2022年日本動脈硬化學會的指引。研究於2024年6月進行,包含背景問題和前景問題。三位研究者獨立評分,使用六點李克特量表,並重複詢問以測量重現性。
結果顯示,ChatGPT在背景問題的中位數分數為日文4分、英文5分,而前景問題則更高,日文5分、英文6分。前景問題的準確性明顯優於背景問題,且日文與英文的準確性無顯著差異。重現性方面,背景問題的kappa係數為0.76,前景問題為0.90,顯示高重現性。
總體而言,ChatGPT在前景問題上展現高準確性與重現性,顯示其有助於醫療決策的潛力。
PubMed
DOI