研究比較了ChatGPT在英文和日文對麻醉學問題的回應品質，英文回答在準確性、全面性、安全性、理解力、同理心和道德等方面優於日文。結果顯示不同語言的人工智慧表現有差異，強調改善少數語言的醫療人工智慧回應的重要性。 PubMed DOI

這項系統性回顧評估了ChatGPT（特別是GPT-3.5、4和4V）在日本醫療和健康執照考試中的有效性。研究分析了2022年1月到2024年4月間的22篇文章，結果顯示GPT-4雖能通過文字考試，但表現不如實際考生。此外，最新的GPT-4V在圖像識別上表現不佳，對視覺問題的回應也不夠充分。這些結果顯示，為了提升評估結果，仍需在精確度上進行改進。 PubMed DOI

這項研究評估了GPT-4 V在日本國家臨床工程師執照考試的表現，分析了2012至2023年的2,155道題目。該模型的平均正確率為86.0%，在臨床醫學和基礎醫學領域特別高（≥ 90%）。不過，在醫療設備安全管理等領域的表現較差，正確率僅64.8%到76.5%。涉及圖形和計算的問題準確率更低，特別是需要了解日本工業標準的問題，正確率僅31.0%。研究指出ChatGPT在圖像識別和理解特定標準方面的局限性，使用時需謹慎。 PubMed DOI

這項研究評估了ChatGPT 4.0在日本物理治療師國考中的表現，針對其回答複雜問題的能力進行分析。研究涵蓋了1,000道題目，結果顯示整體正確率為73.4%，符合及格標準。一般性問題的正確率較高，達80.1%，但實務問題僅46.6%。文字問題表現良好（80.5%），但涉及圖片和表格的問題則較差（35.4%）。這顯示ChatGPT在文字問題上有優勢，但在實務及視覺數據問題上仍需改進，未來在臨床復健和教育方面有潛力，但需進一步提升。 PubMed DOI

這項研究評估了GPT-4.0在2021至2023年日本醫學執照考試的表現，重點在於準確性和醫學知識解析能力。問題依難度和類型分類，包括一般和臨床部分，以及單選和多選題。GPT-4.0的正確回答率達80.4%，顯示出合格的表現，但不同問題的準確性有顯著差異。研究結果顯示，雖然GPT-4.0在醫學教育和研究中有價值，但仍需大量醫學數據來提升準確性，整合ChatGPT進醫學領域可能帶來新機會。 PubMed DOI

這項研究評估了ChatGPT，特別是GPT-4 Omni版本，在第118屆日本醫學執照考試中的表現，分析了文字和影像兩種問題。整體來看，這個模型的準確率相當高，且在兩種問題類型之間沒有明顯差異。不過，它在臨床判斷和優先順序上出現了一些常見錯誤，顯示出在醫學教育和實踐中，持續改進AI的使用是很有必要的。 PubMed DOI

本研究評估了ChatGPT（GPT-4V）在日本醫療資訊技術人員（HCIT）認證考試中的表現。經過三年，分析了476道考題，結果顯示ChatGPT的正確回答率達84%，成功通過考試。簡單選擇題的表現優於多選題，且帶圖片的問題和需要計算的題目正確率較低。總體而言，ChatGPT具備HCIT認證所需的基本知識和技能，顯示其在醫療資訊領域的潛力。 PubMed DOI

這項研究比較了ChatGPT-3.5和4在產生日文核醫檢查說明的表現，由19位技術師評分。結果顯示，ChatGPT-4表現明顯較佳，大多數說明被評為中上或優秀。不過，專家監督仍不可少，未來還需進一步研究風險與安全性。 PubMed DOI

這項研究發現，ChatGPT（GPT-4o）在日本生物醫學工程一級認證考試的答對率約為58%到68%，只有一年有及格。主要錯誤來自知識不足、理解錯誤或亂編答案。雖然有一定表現，但目前還不夠穩定，無法完全信賴。 PubMed DOI

這項研究發現，ChatGPT-4 和 Copilot 在日本護理師國考題目上表現及格，ChatGPT-3.5 則沒過關。三款模型在涉及日本特有法律和社會保障制度的題目上表現最差，顯示需要在地知識時，LLMs 容易出錯。整體來說，較新版本的 LLMs 準確度較高。 PubMed DOI