研究比較了ChatGPT-3.5和ChatGPT-4在美國手術學會自我評估考試的表現，結果發現ChatGPT-4在回答問題上比GPT-3.5更準確，尤其是對於難題。雖然實際考生得分仍高於兩者，但GPT-4相較於GPT-3.5縮小了差距。 PubMed DOI

研究發現，ChatGPT 在手部外科自我評估考題中表現一般，對文字問題回答率高於圖片問題。儘管提供額外解釋，但信心與正確性不一定成正比。總括而言，ChatGPT 表現不佳，不建議單獨依賴。在使用時應謹慎，因其仍有限制。 PubMed DOI

這項研究評估了ChatGPT 3.5和4在回答骨科考試問題的表現，使用了來自首爾國立大學醫院的160道問題，分為11個子類別。結果顯示，ChatGPT 3.5的正確率為37.5%，而ChatGPT 4提升至60.0%（p < 0.001）。大部分類別中，ChatGPT 4表現較佳，唯獨在腫瘤相關問題上不如3.5。此外，ChatGPT 4的回答不一致率顯著低於3.5（9.4%對比47.5%）。雖然ChatGPT 4在骨科考試中表現不錯，但仍需謹慎對待其不一致的回答和錯誤解釋。 PubMed DOI

一項研究評估了ChatGPT 3.5和連接網路的GPT-4（Microsoft Copilot）在公共醫療系統耳鼻喉科考試中的表現，共發放135道問題。結果顯示，GPT-4的得分為88.5分，明顯優於ChatGPT的60分，且Copilot在108名耳鼻喉科醫生中排名第二，而ChatGPT則排在第83位。整體來看，具網路連接的GPT-4在回答醫學多選題方面表現更佳。 PubMed DOI

這項研究評估了ChatGPT-3.5和ChatGPT-4在台灣整形外科考試的表現，分析了過去八年的1,375道題目。結果顯示，ChatGPT-4的正確回答率為59%，明顯優於ChatGPT-3.5的41%。ChatGPT-4通過了五年的考試，而ChatGPT-3.5則未通過任何一年。具體來說，ChatGPT-4在單選題得分66%，多選題43%；而ChatGPT-3.5的單選題和多選題得分分別為48%和23%。研究建議隨著AI模型的進步，應考慮改革考試方式，並利用AI提升考試準備和評估。 PubMed DOI

這項研究評估了生成式人工智慧模型，特別是 ChatGPT 4.0 和 Bing AI，在美國手部外科醫學會自我評估考試的表現。研究分析了999道選擇題，結果顯示 ChatGPT 4.0 平均得分66.5%，而 Bing AI 則為75.3%，超過 ChatGPT 8.8%。兩者均超過最低及格分數50%，但在涉及圖片和視頻的問題上表現較差。整體來看，這些人工智慧系統在醫學教育中展現了作為互動學習工具的潛力。 PubMed DOI

這項研究評估了一個針對手外科知識調整的ChatGPT客製化多模態大型語言模型。結果顯示，這個模型在回答文本選擇題時準確率達89.9%，優於標準的GPT-4（76.5%）。人類考生的表現也相似，正確率為87.3%。在圖像問題方面，客製化模型的準確率為75.3%，但無圖像時降至69.9%。人類考生在圖像問題上表現稍佳（87.2%）。總體來看，這顯示客製化模型在手外科文本問題上有顯著進步，但圖像解釋仍需加強，建議可開發專門的GPT模型以提升教育與臨床應用。 PubMed DOI

這項研究評估了兩個版本的ChatGPT在美國醫學執照考試（USMLE）風格問題上的表現，使用了900道選擇題。結果顯示，ChatGPT-4的準確率為71.33%，明顯高於AMBOSS用戶的54.38%和ChatGPT-3.5的46.23%。ChatGPT-4在準確率上比ChatGPT-3.5提升了25%，且在多次測試中的一致性也較高。雖然兩個模型在不同醫學主題上的表現有所不同，但問題的複雜性可能影響了表現變異性。總體而言，ChatGPT-4在醫學教育中展現出潛力，甚至在某些方面超越人類。 PubMed DOI

本研究比較了ChatGPT4.0與3.5在手外科影像問題上的表現，發現兩者在正確率上無顯著差異（分別為30.1%和28.7%）。雖然ChatGPT4.0提供的解釋較長，但對答案的信心卻較低，尤其在放射影像問題上表現出更高的不確定性。未來研究應探討AI生成的回答如何影響臨床與教育環境中的行為，以促進AI在醫療中的應用。 PubMed DOI

這項研究評估了ChatGPT 4o在美國手外科學會（ASSH）自我評估問題上的表現，並與先前版本比較。研究使用2008至2013年的ASSH考試數據，透過OpenAI的API進行統計分析。結果顯示，ChatGPT 4o在增強技術的幫助下，表現與人類考生相當，明顯超越ChatGPT 3.5，且測試的可靠性很高。這些發現顯示，人工智慧，特別是ChatGPT，能有效支持醫學教育和臨床實踐，達到與人類專家相似的評估水平。 PubMed DOI