這項研究評估了兩個版本的ChatGPT在美國醫學執照考試（USMLE）風格問題上的表現，使用了900道選擇題。結果顯示，ChatGPT-4的準確率為71.33%，明顯高於AMBOSS用戶的54.38%和ChatGPT-3.5的46.23%。ChatGPT-4在準確率上比ChatGPT-3.5提升了25%，且在多次測試中的一致性也較高。雖然兩個模型在不同醫學主題上的表現有所不同，但問題的複雜性可能影響了表現變異性。總體而言，ChatGPT-4在醫學教育中展現出潛力，甚至在某些方面超越人類。 PubMed DOI

這項研究評估了ChatGPT-4o在生成高品質多選題（MCQs）的效果，並與人類專家創建的題目進行比較。參與者為準備香港急診醫學初試的醫生，回答了兩組各100題的MCQs。 主要發現包括：AI生成的題目較容易，且兩組題目的區分能力相似，但AI題目中有更多不準確及不適當的內容，且主要評估較低層次的認知技能。AI生成題目的時間大幅縮短。 結論指出，雖然ChatGPT-4o能有效生成MCQs，但在深度上仍不足，強調人類審核的重要性，結合AI效率與專家監督可提升醫學教育的題目創建。 PubMed DOI

這項研究評估了ChatGPT在回答美國醫學執照考試第二階段臨床知識問題的表現，分析了其在不同醫學專科、問題類型和難度上的準確性。總共評估了3,000道問題，結果顯示正確率為57.7%。在「男性生殖系統」類別中準確率最高（71.7%），而「免疫系統」最低（46.3%）。隨著問題難度和長度增加，表現下降，顯示較複雜問題更易錯誤。整體而言，ChatGPT的能力接近及格門檻，顯示其作為醫學生輔助學習工具的潛力，並強調了精煉AI模型和設計抗AI考題的重要性。 PubMed DOI

學生們越來越依賴人工智慧（AI）工具，如ChatGPT，來輔助醫學教育和考試準備。一項研究檢視了AI生成的多選題，這些題目模仿美國醫學執照考試（USMLE）第一階段的格式。研究發現，83%的問題事實上是準確的，常見主題包括深靜脈血栓和心肌梗塞。研究建議，分開生成內容主題和問題可以提升多樣性。總體而言，ChatGPT-3.5能有效生成相關考題，但需謹慎提示以減少偏見，對醫學生準備USMLE考試有幫助。 PubMed DOI

這項研究探討AI生成的多選題（MCQs）在放射學教育中的有效性，與教職員撰寫的題目比較。研究於2024-2025學年在土耳其進行，56名一年級醫學影像學生參加了兩場考試，分別由ChatGPT和教職員編寫。結果顯示兩場考試的正確答案平均數相似，且考試成績之間有中等正相關。雖然ChatGPT生成的問題在區分度和難度上稍遜，但整體來看，AI能生成與人類專家相當的題目，顯示其在健康教育評估中的潛力。 PubMed DOI

這項研究評估了三個生成式人工智慧模型—ChatGPT-4o、Gemini 1.5 Advanced Pro 和 Claude 3.5 Sonnet—在創建與高血壓和糖尿病相關的藥理學問題的有效性。使用一次性提示，這些模型生成了60個問題，並由多學科小組進行可用性評估。103名醫學生在考試中回答了AI生成的問題，結果顯示AI問題的正確率與專家問題相當，且AI生成問題的準備效率顯著提升。然而，仍有19個問題被認為無法使用，顯示專家審查的重要性。結合AI效率與專家驗證的方式，可能是改善醫學教育的最佳策略。 PubMed DOI

這項研究發現，ChatGPT-4在有選擇題選項時，答對率超過86%，但沒選項時最低只有61.5%。它在管理問題上比診斷問題更容易出錯。雖然GPT-4能處理臨床資訊，但不是真的懂臨床情境。未來如果和專業醫療人員搭配，有機會幫助臨床工作，但還需要更多測試來確保安全和有效。 PubMed DOI

這項研究發現，用AI（像是ChatGPT和Gemini）產生的選擇題，經專家審核後，能有效評量醫學生在泌尿科實習期間的知識進步。AI題目內容正確，特別適合用於臨床情境的評量，但在分辨學生程度上還有侷限，高風險考試仍需專家審查。整體來說，AI題目很有潛力應用在醫學教育的形成性評量。 PubMed DOI

研究發現，ChatGPT雖然常能正確回答初階麻醉學問題，但有時會出現重大錯誤，像是引用錯誤、混淆概念或受偏見影響。這些錯誤若發生在臨床上，可能會有風險。因此，ChatGPT的答案沒經專家審查前，不適合直接用在醫學教育。 PubMed DOI

這項研究發現，GPT-4能產生品質不錯、難度適中的解剖學選擇題，學生普遍覺得題目清楚好懂。不過，AI出的題目多偏向記憶型，較難評量高階思考能力。整體來說，GPT-4有潛力協助出題，但還是需要專家審核，才能確保題目涵蓋進階認知層級。 PubMed DOI