這項研究評估了ChatGPT在歐洲泌尿學會的考試表現，特別是版本3.5和4。分析了2017至2022年的多選題，結果顯示ChatGPT-4在所有考試中表現優於3.5，且每次考試都達到及格分數（≥60%）。不過，ChatGPT-4在某些子主題如尿失禁和移植的表現有所下降。整體來看，研究指出ChatGPT-4能有效回答複雜醫學問題，但仍需人類驗證其回應在醫療環境中的可靠性。 PubMed DOI

這項研究評估了ChatGPT 3.5和4在回答骨科考試問題的表現，使用了來自首爾國立大學醫院的160道問題，分為11個子類別。結果顯示，ChatGPT 3.5的正確率為37.5%，而ChatGPT 4提升至60.0%（p < 0.001）。大部分類別中，ChatGPT 4表現較佳，唯獨在腫瘤相關問題上不如3.5。此外，ChatGPT 4的回答不一致率顯著低於3.5（9.4%對比47.5%）。雖然ChatGPT 4在骨科考試中表現不錯，但仍需謹慎對待其不一致的回答和錯誤解釋。 PubMed DOI

這項研究評估了兩個版本的ChatGPT在美國醫學執照考試（USMLE）風格問題上的表現，使用了900道選擇題。結果顯示，ChatGPT-4的準確率為71.33%，明顯高於AMBOSS用戶的54.38%和ChatGPT-3.5的46.23%。ChatGPT-4在準確率上比ChatGPT-3.5提升了25%，且在多次測試中的一致性也較高。雖然兩個模型在不同醫學主題上的表現有所不同，但問題的複雜性可能影響了表現變異性。總體而言，ChatGPT-4在醫學教育中展現出潛力，甚至在某些方面超越人類。 PubMed DOI

這項研究評估了ChatGPT（3.5和4版本）在提供肩膀和肘部手術資訊的準確性，分析了114個問題。結果顯示，ChatGPT 3.5的正確率為52.3%，而ChatGPT 4則達到73.3%。雖然3.5在不穩定性類別表現較佳，但4在大多數其他類別中表現更優。兩者的表現都超過50%的熟練度，但仍無法取代臨床決策。研究建議進一步改善ChatGPT的訓練，以提升其作為醫療資訊資源的效用。 PubMed DOI

本研究比較了ChatGPT4.0與3.5在手外科影像問題上的表現，發現兩者在正確率上無顯著差異（分別為30.1%和28.7%）。雖然ChatGPT4.0提供的解釋較長，但對答案的信心卻較低，尤其在放射影像問題上表現出更高的不確定性。未來研究應探討AI生成的回答如何影響臨床與教育環境中的行為，以促進AI在醫療中的應用。 PubMed DOI

這項研究評估了ChatGPT-3.5和ChatGPT-4.0在生成病人教育材料的效果，針對常見的上肢和下肢骨科疾病進行分析。結果顯示，ChatGPT-3.5的可讀性僅有2%和4%達標，而ChatGPT-4.0則有54%達標，顯示出明顯的進步。雖然ChatGPT-4.0在可讀性上表現優異，但兩者仍被視為不可靠，無法完全取代傳統病人教育方式，應作為醫療提供者的輔助工具。 PubMed DOI

ChatGPT的進步對醫學教育產生了顯著影響，透過創新的評估和學習工具，提升醫生的評估效果。一項研究評估了ChatGPT-3.5 Turbo和ChatGPT-4o mini在2023年葡萄牙語專科訓練入學考試中的表現。結果顯示，ChatGPT-4o mini的準確率達65%，超越了ChatGPT-3.5 Turbo及部分醫學考生的表現。這強調了ChatGPT在醫學教育中的潛力，但也提醒需在教師監督下謹慎使用，並需進一步研究。 PubMed DOI

這項研究評估了ChatGPT 4o在美國手外科學會（ASSH）自我評估問題上的表現，並與先前版本比較。研究使用2008至2013年的ASSH考試數據，透過OpenAI的API進行統計分析。結果顯示，ChatGPT 4o在增強技術的幫助下，表現與人類考生相當，明顯超越ChatGPT 3.5，且測試的可靠性很高。這些發現顯示，人工智慧，特別是ChatGPT，能有效支持醫學教育和臨床實踐，達到與人類專家相似的評估水平。 PubMed DOI

這項研究評估了手部手術相關的線上醫療資訊，並比較了Google、ChatGPT-3.5和ChatGPT-4.0的回應。研究針對腕隧道症候群、網球肘和富血小板血漿用於拇指關節炎三個問題進行分析。 主要發現包括： 1. **可讀性**：Google的回應較易讀，平均在八年級水平，而ChatGPT則在大學二年級水平。低共識主題的可讀性普遍較差。 2. **可靠性與準確性**：ChatGPT-4的可靠性與3.5相似，但低共識主題的可讀性較低，準確性差異不大。 3. **覆蓋範圍**：ChatGPT-4和Google在疾病原因和程序細節的覆蓋上有所不同，但在解剖學和病理生理學上相似。 總結來說，雖然ChatGPT能提供可靠的醫療資訊，但可讀性較差，醫療提供者需注意其局限性。 PubMed DOI

這項研究發現，結合RAG技術的ChatGPT-4在骨科考題上的表現，正確率約74%，跟骨科醫師差不多，也比沒用RAG的ChatGPT-4和3.5好。RAG還能讓AI引用資料來源，提升可信度，對骨科教學和考試準備很有幫助。 PubMed DOI