原始文章

這項研究評估了ChatGPT對臨床問題的回答,與人類撰寫的網站Pearls4Peers.com進行比較,重點在可用性和可靠性。研究發現,ChatGPT的回答質量有顯著差異,約14%的回答被認為不實用,13%不準確。與人類來源相比,ChatGPT在可用性和可靠性方面的表現均不佳,超過30%的情況下表現不如人類。總體來看,這顯示在臨床決策中使用ChatGPT需謹慎。 PubMed DOI


站上相關主題文章列表

2022年11月,OpenAI推出了ChatGPT,引發了對其在醫學領域有效性的討論。研究專注於ChatGPT對髕股疼痛的回答能力,並比較一般民眾、非骨科醫生及專家的評價。使用12個問題進行評估,結果顯示專家對ChatGPT的評分普遍較低,尤其在複雜問題上。雖然ChatGPT提供的資訊質量不錯,但隨著問題複雜度增加,其表現下降,顯示出人類專業知識在醫療中的重要性。 PubMed DOI

隨著人工智慧和機器學習的進步,像ChatGPT這樣的工具對現代醫學和病人教育產生影響。本研究評估了ChatGPT對全膝關節置換術(TKA)和全髖關節置換術(THA)術前問題的回答有效性。結果顯示,ChatGPT引用的109個來源中,只有36%是準確的,且大多數來源的出版時間集中在2011至2015年。雖然其準確性評分為4.4/6,但引用不準確文獻的比例高達64.22%。因此,使用ChatGPT進行醫學查詢時需謹慎。 PubMed DOI

生成式 AI 工具如 ChatGPT 在醫療查詢中越來越受歡迎,特別是在解答髕腱病相關問題上。一項研究評估了 ChatGPT-4 的表現,收集了 48 個問題並由專家評估其回應。結果顯示,只有 33% 的回應準確,但 75% 是全面的。治療相關問題的準確率僅 17%。回應的可讀性達到大學水平,且可理解性良好(83%),但可行性較低(60%)。總體而言,ChatGPT-4 提供了豐富資訊,但準確性不足,且對於低學歷者不易理解。 PubMed DOI

這項研究評估了ChatGPT 3.5和4.0在藥物諮詢服務中的表現。結果顯示,ChatGPT 3.5在80%的案例中提供了不錯的答案,而ChatGPT 4.0的表現更佳,98%的回應與醫生的回答相似或更好。不過,兩者的回應都缺乏參考文獻,有時也未能充分解決臨床相關問題。雖然ChatGPT 4.0的答案品質相當高,但在提供參考和臨床解釋方面的不足,顯示它不太適合成為臨床環境中的主要資訊來源。 PubMed DOI

AICHECK的研究評估了ChatGPT在生成持續醫學教育內容的有效性,特別針對痤瘡的回應與NICE指導方針進行比較。研究使用23項問卷,由五位皮膚科醫生評估ChatGPT版本4的輸出。結果顯示質量、可讀性和全面性評分高,但準確性和與指導方針的一致性較低。雖然參考文獻的相關性和適切性獲得好評,但僅62.3%被認為是最新的。研究強調對於有爭議的主題,AI生成內容需嚴格評估和專家監督,以確保準確性。 PubMed DOI

這項研究評估了ChatGPT對脊柱側彎問題的回答在可靠性、有用性、品質和可讀性方面的表現。選擇了十六個常見問題,由兩位專家評分。結果顯示,可靠性平均得分4.68,有用性得分4.84,整體品質得分4.28,評價普遍正面。雖然一般資訊的回答表現不錯,但針對治療和個人化問題的回答仍需加強。可讀性方面,回答需具備高中三年級到大學程度的閱讀能力。總體來說,ChatGPT提供的脊柱側彎資訊可靠,但在特定問題上仍需謹慎使用。 PubMed DOI

這項研究評估了ChatGPT在回答過敏學問題的表現,顯示它對於等待專科門診的病患來說是一個方便的資源。研究針對120個問題進行評估,結果顯示ChatGPT的整體準確性不錯(平均4.1分),但在兒科問題的完整性和人性化程度上較低。特別是與兒童食物過敏相關的錯誤,可能會造成生命危險。這強調了ChatGPT在提供過敏學建議上的局限性,並建議諮詢專業醫師的重要性。調整AI工具以適應特定醫療情境,可能會提升其臨床有效性。 PubMed DOI

這項研究評估了手部手術相關的線上醫療資訊,並比較了Google、ChatGPT-3.5和ChatGPT-4.0的回應。研究針對腕隧道症候群、網球肘和富血小板血漿用於拇指關節炎三個問題進行分析。 主要發現包括: 1. **可讀性**:Google的回應較易讀,平均在八年級水平,而ChatGPT則在大學二年級水平。低共識主題的可讀性普遍較差。 2. **可靠性與準確性**:ChatGPT-4的可靠性與3.5相似,但低共識主題的可讀性較低,準確性差異不大。 3. **覆蓋範圍**:ChatGPT-4和Google在疾病原因和程序細節的覆蓋上有所不同,但在解剖學和病理生理學上相似。 總結來說,雖然ChatGPT能提供可靠的醫療資訊,但可讀性較差,醫療提供者需注意其局限性。 PubMed DOI

這項德國研究發現,醫師和醫學生用ChatGPT查職業性肺病資料時,在找有害物質等研究任務上表現較好,也覺得自己專業知識有提升。但在臨床決策(像是否通報職業病)時,自己查資料的答對率反而更高。總結:ChatGPT適合輔助醫學研究,但臨床決策還是不能只靠它。 PubMed DOI

這項研究比較了三種ChatGPT版本在回答幽門螺旋桿菌相關問題的表現。結果顯示,ChatGPT-4o答得最準確但穩定性較差,3.5版則最穩定但偶有錯誤。整體來說,AI聊天機器人能有效協助病患衛教,也能幫醫師提供可靠醫療資訊。 PubMed DOI