原始文章

本研究探討了ChatGPT(特別是GPT-4模型)在台灣傳統中醫執照考試中的表現。測試結果顯示,ChatGPT的準確率僅43.9%,遠低於兩位持證中醫師的70%和78.4%。大部分錯誤來自對中醫概念的誤解,顯示其在中醫知識和推理上的局限性。雖然ChatGPT在教育資源方面有潛力,但目前在TCM考試中的表現仍不理想。研究建議需改進專門的中醫AI模型,並對其在中醫教育中的應用保持謹慎,未來應專注於提升模型及開發專屬的學習工具。 PubMed DOI


站上相關主題文章列表

這項研究評估了兩個版本的ChatGPT在美國醫學執照考試(USMLE)風格問題上的表現,使用了900道選擇題。結果顯示,ChatGPT-4的準確率為71.33%,明顯高於AMBOSS用戶的54.38%和ChatGPT-3.5的46.23%。ChatGPT-4在準確率上比ChatGPT-3.5提升了25%,且在多次測試中的一致性也較高。雖然兩個模型在不同醫學主題上的表現有所不同,但問題的複雜性可能影響了表現變異性。總體而言,ChatGPT-4在醫學教育中展現出潛力,甚至在某些方面超越人類。 PubMed DOI

這項研究評估了OpenAI的ChatGPT-3.5和GPT-4在台灣國家藥師執照考試的表現。結果顯示,GPT-4的準確率為72.9%,明顯優於GPT-3.5的59.1%。在基礎科目中,GPT-4得分更高,顯示其在臨床藥學和教育上的潛力。不過,研究也提醒使用者需謹慎,因為模型仍有局限性。未來應著重改進模型的穩定性和問題設計,以更有效評估學生能力。 PubMed DOI

本研究評估了ChatGPT(GPT-4V)在日本醫療資訊技術人員(HCIT)認證考試中的表現。經過三年,分析了476道考題,結果顯示ChatGPT的正確回答率達84%,成功通過考試。簡單選擇題的表現優於多選題,且帶圖片的問題和需要計算的題目正確率較低。總體而言,ChatGPT具備HCIT認證所需的基本知識和技能,顯示其在醫療資訊領域的潛力。 PubMed DOI

這項研究評估了ChatGPT-4在重症醫學的表現,使用的數據來自中國的健康專業技術考試。ChatGPT-4回答了600個問題,成功率達73.5%,超過60%的及格標準,基礎知識的準確率最高,達81.94%。單選題表現(76.72%)優於多選題(51.32%)。雖然它在臨床決策和醫學教育上顯示潛力,但仍需醫療專業人員的監督,以確保準確性和病人安全。 PubMed DOI

這項研究評估了ChatGPT-3.5和ChatGPT-4在回答台灣醫師執照考試醫學問題的表現,特別關注繁體中文的能力。結果顯示,ChatGPT-3.5在基礎醫學科學的準確率為67.7%,臨床醫學為53.2%;而ChatGPT-4的表現明顯優於前者,準確率分別達到91.9%和90.7%。雖然問題類型對準確率影響不大,但ChatGPT-4在所有科目中均表現良好,顯示AI在醫學教育中的潛力,實施時仍需謹慎考量不同專業的變異性。 PubMed DOI

這項研究評估了ChatGPT在回答美國醫學執照考試第二階段臨床知識問題的表現,分析了其在不同醫學專科、問題類型和難度上的準確性。總共評估了3,000道問題,結果顯示正確率為57.7%。在「男性生殖系統」類別中準確率最高(71.7%),而「免疫系統」最低(46.3%)。隨著問題難度和長度增加,表現下降,顯示較複雜問題更易錯誤。整體而言,ChatGPT的能力接近及格門檻,顯示其作為醫學生輔助學習工具的潛力,並強調了精煉AI模型和設計抗AI考題的重要性。 PubMed DOI

這項研究發現,ChatGPT-4在有選擇題選項時,答對率超過86%,但沒選項時最低只有61.5%。它在管理問題上比診斷問題更容易出錯。雖然GPT-4能處理臨床資訊,但不是真的懂臨床情境。未來如果和專業醫療人員搭配,有機會幫助臨床工作,但還需要更多測試來確保安全和有效。 PubMed DOI

這項研究發現,GPT-4o在中國醫師執照考試的表現最好,正確率明顯高於GPT-4和GPT-3.5,尤其在消化系統和複雜題型上更突出。這顯示GPT-4o在中文醫學考試的理解和解題能力很強,未來在醫學教育和臨床應用上很有發展空間。 PubMed DOI

這項研究發現,GPT-4和GPT-4o在台灣SPTEMD醫學考題(不含圖片題)上的正確率都超過95%,明顯優於GPT-3.5的66%。兩者在中英文題目表現都很穩定,且已達醫學考試標準。未來建議進一步探討AI在醫學教育和考試上的應用方式。 PubMed DOI

這項研究發現,ChatGPT 3.5在伊朗醫師執照考試中,用英文作答的正確率(61.4%)明顯高於波斯語(35.7%),整體正確率為48.5%,一致性高達91%。在基礎醫學和實習前考試有及格表現,住院醫師前考試則僅達最低標準,顯示其在醫學教育上有潛力,但語言能力仍有限。 PubMed DOI