原始文章

這項研究探討大型語言模型(LLMs),如ChatGPT和Microsoft Bing Chat,在皮膚科、性病學和麻風問題上的回答效果。研究比較了這些AI模型與12位研究所學生的準確性,並評估了人工幻覺的情況。 研究於2023年8月進行,包含60個問題。結果顯示,Bing Chat的表現最佳,平均正確率為78.2%,ChatGPT為59.8%,人類受訪者則為43%。Bing Chat在簡單和中等難度問題上表現更佳,而ChatGPT在較難問題上較強。研究指出,儘管LLMs表現優於人類,但在某些領域準確性仍不足,需制定規範以防止濫用。 PubMed DOI


站上相關主題文章列表

你們團隊對於未付費的AI聊天機器人在皮膚科病患面對面回應的研究聽起來很有趣。透過評估它們在常見皮膚病診斷上的有效性,可能會發現許多寶貴的見解,包括它們的優勢,如快速檢索資訊和可及性,還有局限性,如不準確性或缺乏個人化照護。強調聊天機器人在皮膚科醫生旁的互補角色,突顯人類專業知識在準確診斷和量身訂做病患照護中的重要性,這樣的做法可能為更整合的醫療解決方案鋪路,結合科技與人性關懷。 PubMed DOI

這項研究評估了五個大型語言模型(LLMs)在回答眼表疾病相關問題的表現,包括ChatGPT-4、ChatGPT-3.5、Claude 2、PaLM2和SenseNova。研究團隊設計了100道單選題,涵蓋角膜炎等主題。結果顯示,ChatGPT-4的準確性和可信度最佳,成功率為59%,但仍有28%的錯誤率。PaLM2在答案準確性上表現良好,相關係數達0.8。整體而言,這些模型在醫學教育和臨床實踐中展現了潛力,特別是ChatGPT-4的表現尤為突出。 PubMed DOI

這項研究評估了多種大型語言模型(LLMs)在處理眼科緊急情況的表現,並與英國國民健康服務(NHS)111的系統進行比較。研究涵蓋21個緊急情境問題,測試的模型包括ChatGPT-3.5、Google Bard、Bing Chat和ChatGPT-4.0。結果顯示,93%的LLM回應至少得分為「良好」,顯示它們提供的資訊正確且無重大錯誤。整體來看,這些模型在提供即時資訊和指導方面,顯示出作為有效工具的潛力,能提升患者護理及醫療可及性。 PubMed DOI

這項研究評估了三個大型語言模型(LLMs)—ChatGPT-3.5、ChatGPT-4.0 和 Google Gemini 在回答乙型肝炎病毒(HBV)相關問題的表現。醫療專業人員對其準確性進行評分,並評估可讀性。 主要發現包括: - 所有 LLM 在主觀問題上得分高,ChatGPT-4.0 準確性最高。 - 在客觀問題上,ChatGPT-4.0 準確率為 80.8%,優於其他兩者。 - ChatGPT-4.0 在診斷上表現佳,Google Gemini 在臨床表現強勁。 - 所有 LLM 的可讀性分數高於標準八級,對一般讀者來說可能過於複雜。 結果顯示,LLMs,特別是 ChatGPT-4.0,可能成為有關 HBV 的資訊工具,但不應取代醫生的個人化建議。 PubMed DOI

這項研究評估了兩個人工智慧語言模型,ChatGPT 和 BingAI Precise,在回答全國研究生入學考試(NEET-PG)練習題的表現。研究顯示,兩者都達到及格分數,但 BingAI 在準確性上持續優於 ChatGPT。統計分析確認了它們的正確答案率有顯著差異。結論指出,這兩個模型可作為醫學執照考試的學習輔助工具,未來若能在影像解讀上改進,將進一步強化其在教育和臨床環境中的應用。 PubMed DOI

這項研究評估了大型語言模型(LLMs),如ChatGPT和Google Bard,對美學整形手術的回應可靠性,並與經驗豐富的外科醫生的見解進行比較。研究分析了三十位患者對皮膚填充劑、肉毒桿菌注射和眼瞼手術等問題的回應。十三位外科醫生根據可及性、準確性和實用性評估了LLM的回應。結果顯示,雖然聊天機器人的回應通常清晰且準確,但缺乏來源透明度限制了其可信度。研究建議在依賴LLMs作為主要信息來源時需謹慎,並呼籲進一步研究以增強其在醫療保健中的可靠性。 PubMed DOI

這項研究評估了大型語言模型(LLMs),如ChatGPT 3.5、ChatGPT 4.0和Gemini,對自體免疫疾病臨床問題的回答效果。共提出46個問題,並由專家根據五個質量維度進行評估。結果顯示,ChatGPT 4.0在所有維度上表現優於其他兩者,平均得分為199.8,顯示其在相關性、正確性、完整性、有用性和安全性方面的顯著優勢。整體而言,ChatGPT 4.0在提供準確且有用的醫療資訊上,顯示出更高的效能,顯示大型語言模型在醫療服務中的潛力。 PubMed DOI

這項研究發現,ChatGPT 3.5在皮膚科住院醫師考題表現不如資深醫師,只能應付簡單題目;4.0版雖然進步,能達到部分初中階醫師水準,但遇到難題還是有瓶頸。整體來說,ChatGPT 4.0在皮膚科教育有潛力,但目前還無法取代資深醫師,未來若持續進步,對醫學訓練會更有幫助。 PubMed DOI

這項研究比較七款主流多模態大型語言模型在診斷皮膚病的表現,GPT-4o準確率最高達67.8%。不同疾病和圖片的診斷準確度差異大,有些圖片所有模型都誤判。部分模型遇到敏感圖片會拒絕診斷。整體來說,這些模型在皮膚科影像判讀有潛力,但目前還有不少限制,未來需結合臨床資料才能更可靠。 PubMed DOI

這項研究比較了ChatGPT-4o和ChatGLM-4兩款AI,針對家長常問的兒童異位性皮膚炎問題,請皮膚科醫師評分。結果發現,兩者表現差不多,回答品質跟專家差不多,能有效提供兒童異位性皮膚炎的照護和治療建議。 PubMed DOI