Performance of GPT-3.5 and GPT-4 on the Japanese Medical Licensing Examination: Comparison Study.
GPT-3.5和GPT-4在日本醫學執照考試中的表現：比較研究。 JMIR Med Educ 2023-07-26

研究比較了GPT-3.5和GPT-4在日本醫師執照考試（JMLE）中的表現，結果顯示GPT-4比GPT-3.5更準確，尤其在各種問題上表現更好。GPT-4在困難和特定疾病問題上也表現出色，符合JMLE的及格標準。這顯示GPT-4可能成為非英語國家醫學教育和臨床支援的實用工具。 PubMed DOI

Comparing the Performance of Popular Large Language Models on the National Board of Medical Examiners Sample Questions.
比較流行的大型語言模型在國家醫學考試委員會樣本問題上的表現。 Cureus 2024-04-12

研究比較了GPT-4、GPT-3.5、Bard和Claude在NBME臨床科目考試樣本問題上的表現，結果發現GPT-4得分最高，達100%，Claude次之，接著是GPT-3.5和Bard。GPT-4在醫學、兒科、家庭醫學和門診護理等科目表現優異。研究指出GPT-4在醫學教育和實務上有潛力，呼籲持續評估和改進LLMs在醫學領域的重要性。 PubMed DOI

Evaluating AI Proficiency in Nuclear Cardiology: Large Language Models take on the Board Preparation Exam.
評估人工智慧在核心臟學的能力：大型語言模型挑戰考試準備考試。 medRxiv 2024-07-29

這項研究評估了四個大型語言模型（LLMs）的表現，包括 GPT-4、GPT-4 Turbo、GPT-4omni（GPT-4o）和 Gemini，針對 2023 年美國核心臟病學會的考試問題進行回答。分析了 168 道問題，結果顯示 GPT-4o 的正確回答中位數為 63.1%，優於其他模型。GPT-4、GPT-4 Turbo 和 Gemini 的中位數分別為 56.8%、60.7% 和 40.5%。GPT-4o 在文字問題上表現佳，但在醫學影像解讀方面仍需改進。 PubMed DOI

Comparative Evaluation of LLMs in Clinical Oncology.
臨床腫瘤學中大型語言模型的比較評估。 NEJM AI 2024-08-12

隨著人工智慧工具的普及，患者和醫療專業人員越來越依賴這些工具提供的醫療資訊。本研究評估了五個大型語言模型（LLaMA 1、PaLM 2、Claude-v1、GPT-3.5和GPT-4）在2044個腫瘤學相關問題上的表現。結果顯示，GPT-4在與人類基準比較中表現最佳，達到第50百分位以上。雖然GPT-4的準確率高達81.1%，但所有模型仍存在顯著錯誤率，顯示出持續評估這些AI工具的重要性，以確保其安全應用於臨床實踐。 PubMed DOI

Comparing Vision-Capable Models, GPT-4 and Gemini, With GPT-3.5 on Taiwan's Pulmonologist Exam.
比較具視覺能力的模型 GPT-4 和 Gemini 與 GPT-3.5 在台灣肺科醫師考試中的表現。 Cureus 2024-08-26

這項研究評估了先進大型語言模型（LLMs）在醫學考試中的視覺能力，特別是GPT-4和Google的Gemini。研究比較了它們在台灣專科醫師考試（肺部與重症醫學）的表現，並以僅處理文本的GPT-3.5為基準。結果顯示，GPT-4的表現持續優於Gemini和GPT-3.5，經常超過60的及格門檻，接近人類考生的水準。相對而言，Gemini的表現較低，而GPT-3.5得分最低，顯示出新模型在解讀複雜醫療資訊方面的優勢。 PubMed DOI

Evaluating the Capabilities of Generative AI Tools in Understanding Medical Papers: Qualitative Study.
評估生成式 AI 工具在理解醫學論文中的能力：質性研究。 JMIR Med Inform 2024-09-04

這項研究探討大型語言模型（LLMs）在理解醫學研究論文的能力，特別是使用STROBE檢查表進行評估。研究比較了六個LLMs的表現，包括GPT-3.5-Turbo和GPT-4系列，與專業醫學教授的評估。分析了50篇來自PubMed的論文，結果顯示GPT-3.5-Turbo的準確率最高（66.9%），而Gemini Pro和GPT-4-0613的得分最低。研究強調LLMs在醫學文獻理解上的潛力，但也指出需進一步研究以克服現有限制。 PubMed DOI

Assessing AI efficacy in medical knowledge tests: A study using Taiwan's internal medicine exam questions from 2020 to 2023.
評估人工智慧在醫學知識測試中的效能：以2020至2023年台灣內科考試題目為例。 Digit Health 2024-10-21

這項研究評估了生成式人工智慧模型在正式醫學考試中的表現，使用了台灣內科醫學會的考題。測試了三個AI模型：GPT-4o、Claude_3.5 Sonnet和Gemini Advanced。結果顯示，GPT-4o在2022年達到最高分86.25，Claude_3.5 Sonnet在精神科和腎臟科表現優異，最高分88.13，而Gemini Advanced的平均分較低。所有模型在文字題上表現較好，顯示AI在醫學教育中有潛力，但不同專科和問題類型的熟練程度仍有差異。 PubMed DOI

Performance Assessment of GPT 4.0 on the Japanese Medical Licensing Examination.
GPT 4.0 在日本醫學執照考試中的表現評估。 Curr Med Sci 2024-10-26

這項研究評估了GPT-4.0在2021至2023年日本醫學執照考試的表現，重點在於準確性和醫學知識解析能力。問題依難度和類型分類，包括一般和臨床部分，以及單選和多選題。GPT-4.0的正確回答率達80.4%，顯示出合格的表現，但不同問題的準確性有顯著差異。研究結果顯示，雖然GPT-4.0在醫學教育和研究中有價值，但仍需大量醫學數據來提升準確性，整合ChatGPT進醫學領域可能帶來新機會。 PubMed DOI

Large language models (LLMs) in radiology exams for medical students: Performance and consequences.
放射科考試中大型語言模型（LLMs）對醫學生的影響與表現。 Rofo 2024-11-04

這項研究分析了大型語言模型（LLMs），特別是OpenAI的GPT-3.5和GPT-4，在醫學生放射學考試中的表現。使用151道選擇題，結果顯示GPT-3.5的正確率為67.6%，而GPT-4則達到88.1%（p<0.001），表現明顯優於前者。GPT-4在各類問題上都表現良好，顯示其在醫學教育中的潛力。不過，研究也提醒使用者要警惕LLMs可能提供錯誤答案的風險。總體來看，LLMs在放射學教育上有提升的可能性。 PubMed DOI

Performance of Multimodal Large Language Models in Japanese Diagnostic Radiology Board Examinations (2021-2023).
2021-2023 年日本診斷放射學考試中多模態大型語言模型的表現。 Acad Radiol 2024-11-09

這項研究評估了五種多模態大型語言模型（LLMs）在日本診斷放射學委員會考試中的表現，涵蓋2021至2023年的考題。測試模型包括GPT-4o、Claude 3 Opus等，準確率介於30.21%到45.00%之間，GPT-4o表現最佳。雖然Claude 3 Opus在無圖像問題中表現較好，但添加圖像並未顯著提升準確性，甚至有模型表現下降。所有模型均未達到60%的及格標準，顯示目前LLMs在放射學的應用仍需進一步發展。 PubMed DOI

原始文章

站上相關主題文章列表