原始文章

這項研究調查了ChatGPT-3.5在波蘭醫學期末考試的表現,考試包含200道題目,評估醫學知識。分析980道題目後,發現ChatGPT的平均正確率約60%,顯著低於人類考生(p < 0.001)。不同科目表現差異大,血液學準確率最低(42.1%),內分泌學最高(78.6%)。研究顯示題目難度與正確性有顯著相關(p = 0.04),但題型對準確性影響不大(p = 0.46)。結果顯示ChatGPT-3.5可輔助考試準備,但需謹慎對待,建議與其他AI工具進行驗證。 PubMed DOI


站上相關主題文章列表

ChatGPT是個AI,通過回答400道進度測驗的問題來接受醫學知識測試。它65.5%正確率,回答速度與正確性無關,但問題難度與正確性有關。ChatGPT比大多數醫學院1-3年級學生表現好,與後期學生相當。 PubMed DOI

研究評估了ChatGPT在過去5次醫學專業考試中的表現,分析了成功率和排名。ChatGPT回答各種問題,成功率不同,排名從第1787名到第4428名。在短問題和單選多選擇題上表現較佳,但仍落後於人類專家。研究引起對ChatGPT在醫療服務潛力的好奇。 PubMed DOI

研究比較了ChatGPT(GPT-3.5)和GPT-4在波蘭醫學期末考試(MFE)的表現。結果顯示,GPT-4在所有MFE版本中表現優於GPT-3.5,兩者平均準確率達79.7%。雖然準確率仍不盡理想,但顯示語言模型在醫學教育上有應用潛力,但仍需進一步改進。 PubMed DOI

研究評估了ChatGPT在Amboss問題庫的2,377個USMLE Step 1練習問題上的表現。整體準確率為55.8%,顯示問題難度與表現呈反向關係。在血清學問題上表現不錯,但心電圖相關內容表現較差,病理生理學更差。研究強調了進一步瞭解ChatGPT在醫學教育和考試中的能力和限制的重要性。 PubMed DOI

這項研究評估了ChatGPT在波蘭醫學期末考試問題上的表現,發現它的正確率為53.4%至64.9%,在11次考試中有8次通過。它在精神病學方面表現比人類更好,但整體上仍不及人類畢業生。雖然ChatGPT在各種醫學領域顯示出潛力,但仍存在限制,無法完全取代人類專業知識。 PubMed DOI

這項研究評估了ChatGPT-3.5在肺病學考試中的表現,並與三年級醫學生進行比較。研究分為兩組:244名法語醫學生和ChatGPT,後者以無上下文(V1)和有上下文(V2)兩種格式測試。結果顯示,V1在放射學和胸外科表現佳,但在病理學和藥理學上不理想;V2則在所有類別中表現更準確,並在開放式問題上優於學生。V2通過考試的比例超過62.1%,而V1未能通過。總體而言,ChatGPT的表現與醫學生相似,受問題格式和複雜度影響,尤其在需要臨床判斷的任務上表現不佳。 PubMed DOI

2022年11月,OpenAI推出的ChatGPT引起了醫學界的關注。最近研究顯示,ChatGPT-4.0在腎臟科考試中表現優於ChatGPT-3.5,正確率分別為69.84%和45.70%。研究使用了1,560個問題進行比較,結果顯示ChatGPT-4.0在13次測試中通過了11次,超過60%及格率,甚至超越了人類醫生的平均得分85.73%。雖然ChatGPT-4.0表現強勁,但人類醫生的表現仍然更佳。 PubMed DOI

這項研究探討了ChatGPT在2021至2023年間進行的進步測試中回答醫學問題的表現。研究人員將測試問題給ChatGPT 3.5,並與來自120多所巴西大學的醫學生進行比較。結果顯示,ChatGPT在三年的平均準確率分別為69.7%、68.3%和67.2%,均超過醫學生。特別是在公共衛生方面,ChatGPT的平均得分達77.8%。這顯示出ChatGPT在醫學問題的回答準確性上超越了人類學生,包括即將畢業的醫學生。 PubMed DOI

這項研究評估了OpenAI的ChatGPT在波蘭醫學考試中的表現,特別是3.5和4.0版本。分析196道選擇題後,發現3.5版本的正確率為50.51%,而4.0版本提升至77.55%,超過及格線56%。值得注意的是,3.5版本對正確答案的信心較高,而4.0版本則在準確性上表現一致。不同醫學領域的表現差異不大。總體來看,ChatGPT 4.0在醫學教育和評估中展現了潛力,未來版本如5.0預期會有更好表現。 PubMed DOI

這項研究評估了ChatGPT在醫學專業考試中的表現,並探討人工智慧如何增強醫學教育。研究中向ChatGPT提出240個問題,結果顯示其在基礎醫學和臨床醫學的正確回答率均優於18,481名醫學畢業生。特別是在婦產科和醫學微生物學方面,ChatGPT的表現相當優異,但在解剖學上則不如畢業生。研究指出,像ChatGPT這樣的AI模型能顯著提升醫學教育,提供互動支持和個性化學習,最終改善教育質量和學生成功率。 PubMed DOI