原始文章

這項研究探討不同提示工程技術對大型語言模型(如ChatGPT3.5和GPT4)在回答視網膜疾病相關問題時的影響。研究中使用了二十個常見問題,並在獨立問題、優化提示(提示A)及加上長度和閱讀水平限制的提示B下進行測試。三位視網膜專家評估回應的準確性和全面性,結果顯示兩個模型在各指標上無顯著差異,但提示B的可讀性較高,卻以準確性和全面性為代價。研究建議未來需進一步探討LLM在病人教育中的有效性及倫理問題。 PubMed DOI


站上相關主題文章列表

研究發現,大型語言模型(LLMs)生成的兒童青光眼患者教育資料(PEMs)質量高、易讀且準確。其中,ChatGPT-4生成的PEMs最易讀。在改進現有線上資訊方面,只有ChatGPT-4達到六年級閱讀水平。總結來說,LLMs是提升PEMs品質和兒童青光眼資訊易讀性的寶貴工具。 PubMed DOI

這項研究探討大型語言模型(LLMs),特別是GPT-4,如何生成符合病人和醫師需求的醫療建議回應。研究團隊透過人員參與的迭代過程,優化提示,提升回應質量。經過三次迭代後,臨床醫師對草擬回應的接受度從62%提升至84%,且74%的回應被評為「有幫助」。病人也認為優化後的回應在語氣和質量上更佳,76%的病人無法分辨人類與LLM生成的回應。研究顯示,根據醫師和病人的反饋來精煉提示,能有效生成有用的醫療建議。 PubMed DOI

這項研究評估了大型語言模型(LLM)ChatGPT 在青光眼領域的表現。研究人員提出了24個臨床問題,並由三位專家評分。結果顯示,ChatGPT的平均得分為3.29,整體表現良好,但有29.2%的回應得分低於3分。經過自我修正後,得分從2.96提升至3.58,滿分回應比例也從30.6%增至57.1%。這顯示ChatGPT在青光眼領域有潛力,但仍需更多研究來驗證其應用。 PubMed DOI

這篇論文探討了兩個大型語言模型(LLMs),ChatGPT4 和 PaLM2,對於年齡相關黃斑變性(AMD)患者常見問題的回答效果。研究強調患者了解病情對於慢性疾病管理的重要性。從專注於 AMD 的網站整理了143個問題,並讓這兩個模型及三位眼科醫生回答。結果顯示,ChatGPT4 在臨床共識、潛在危害等方面表現優於 PaLM2,顯示出這些模型在患者教育上的潛力,但仍需謹慎使用,不能取代專業醫療建議。 PubMed DOI

這項研究評估了不同提示技術對GPT-3.5在回答美國醫學執照考試(USMLE)第一階段考題的影響。研究分析了1000個GPT-4生成的問題和95個真實考題,結果顯示各種提示類型的準確性差異不大,直接提示成功率為61.7%,思考鏈為62.8%,修改版思考鏈為57.4%。所有p值均高於0.05,顯示無顯著差異。結論認為,思考鏈提示並未顯著提升GPT-3.5的醫學問題處理能力,顯示人工智慧工具可有效融入醫學教育中,無需複雜提示策略。 PubMed DOI

這項研究評估了ChatGPT(4.0版)在生成與常見視網膜疾病相關回應的表現,依據美國眼科醫學會的指導方針進行。研究包含130個問題,涵蓋12個領域,專家評估回應的相關性和準確性。結果顯示,ChatGPT的平均得分為4.9分,與指導方針高度一致,但外科管理得分最低。回應可讀性較低,需大學以上理解能力,且在診斷和治療選擇上有錯誤。整體而言,雖然顯示潛力,但仍需臨床醫師監督及改進。 PubMed DOI

這項研究探討了提示工程對大型語言模型(LLM),特別是GPT-4,在醫療提供者回應病人詢問時的影響。研究持續8個月,參與者有27位醫療提供者,主要評估LLM生成訊息的使用情況及提供者的情感變化。 結果顯示,7605條訊息中僅17.5%被使用,負面情感顯著減少,但整體使用量卻下降。隨著護士的加入,使用量提升至35.8%。雖然提示工程改善了內容質量,但整合LLM進工作流程仍面臨挑戰,未來需更注重人因因素以提升可用性和有效性。 PubMed DOI

這項研究評估了三個大型語言模型(LLMs)—ChatGPT-3.5、ChatGPT-4 和 Google Bard 在製作小兒白內障病人教育材料的效果。研究使用三個提示來測試模型的表現,並根據質量、可理解性、準確性和可讀性進行評估。結果顯示,所有模型的回應質量都很高,但沒有一個被認為是可行的。特別是,ChatGPT-4 生成的內容最易讀,並能有效將材料調整至六年級的閱讀水平。總體來看,ChatGPT-4 是生成高質量病人教育材料的有效工具。 PubMed DOI

這項研究評估了大型語言模型(LLMs)在回答結膜炎相關問題的有效性,於復旦大學眼耳鼻喉醫院進行。研究分為兩階段,第一階段四個LLM(GPT-4、Qwen、Baichuan 2和PaLM 2)回答22個問題,專家評估其正確性、完整性等。結果顯示GPT-4表現最佳,Qwen在有用性和安全性上也不錯。第二階段中,30名結膜炎患者與GPT-4或Qwen互動,滿意度高。研究結論認為LLMs能提升患者教育,但需改善個性化和複雜性處理能力。 PubMed DOI

這項研究探討如何透過提示工程提升ChatGPT-4在放射學問題上的表現,特別針對2022年美國放射學會的測試題。雖然ChatGPT-4在文字任務上表現優異,但在影像問題上則較弱。研究人員設計了四種角色,使用不同提示來評估其對準確性的影響。結果顯示,鼓勵性提示或責任免責聲明能提高準確性,而威脅法律行動的提示則降低準確性,且未回答問題的比例較高。這強調了提示背景在優化大型語言模型回應中的重要性,並呼籲在醫療環境中負責任地整合人工智慧的進一步研究。 PubMed DOI