研究評估使用人工智慧模型ChatGPT生成臨床研究論文摘要的效果。30篇基礎研究論文透過ChatPDF生成摘要，專家評估後發現，生成摘要質量低、格式差異大、結論不正確，且與原摘要相似度低。使用ChatGPT生成摘要時，可能會有質量和準確性問題。 PubMed DOI

最新研究評估了ChatGPT在從隨機對照試驗（RCT）數據中產生科學摘要的表現，結果顯示ChatGPT的摘要雖然更易讀，但品質不如原始摘要。ChatGPT 3.5版和4版在遵循CONSORT-A檢查表方面表現較差。有必要進一步研究ChatGPT在醫學研究中的應用價值。 PubMed DOI

研究發現，審稿人經驗對區分人類和ChatGPT寫作摘要有影響。30位審稿人評估了10篇人類和10篇ChatGPT寫作的摘要，結果顯示人類摘要較易被辨識。資深審稿人辨識率高於初級審稿人和住院醫師，經驗和對人工智慧熟悉程度與辨識率有關。ChatGPT摘要有46.3%被正確辨識，與經驗豐富的審稿人相關。 PubMed DOI

研究比較人類審查員和AI檢測軟體在醫學領域摘要辨識的表現，結果顯示AI較佳但有限制。Grammarly指出原創摘要問題多於AI。建議未來醫學研究需明確AI使用指南，因AI普及需求增加。 PubMed DOI

評審人員在肩膀和肘部手術領域的測試中，發現區分人工智慧生成和原創研究摘要的挑戰。他們對人工智慧生成的辨識率為62%，但有38%的原創摘要被誤認為人工智慧生成。GPTZero工具生成的摘要被認為具有較高的人工智慧概率。在抄襲檢測方面，人工智慧生成的摘要得分較低。評審人員表示區分人類和人工智慧生成的內容相當困難，不實際的數據有助於識別人工智慧生成的摘要，而寫作風格則導致原創摘要被誤認。 PubMed DOI

這項研究評估了ChatGPT 3.5和4.0版本在生成和評分醫學研究摘要的能力。研究期間為2023年8月至2024年2月，訓練聊天機器人根據文獻創建10個摘要，並與現有摘要進行比較。五位外科醫生評審發現，AI生成的摘要與人類撰寫的質量相當，評分中位數相似。雖然版本1的評分接近評審者的評價，但版本2則偏向給予較高分數。整體而言，研究顯示AI能有效生成難以區分的醫學摘要，顯示其在醫學研究中的潛力。 PubMed DOI

這項研究探討了在足踝外科領域中，醫生能否區分由人工智慧（特別是ChatGPT 3.0）生成的摘要與人類撰寫的摘要。研究中，九位醫生參加了盲測，結果顯示他們的準確率僅為50.5%，幾乎等同於隨機猜測。評審者的經驗和對人工智慧的熟悉度對準確性影響不大，且評審者之間的可靠性隨時間下降。這顯示人工智慧生成的摘要與人類撰寫的相似度高，讓識別變得困難。 PubMed DOI

這項研究探討醫療專家與人文學者在辨識醫學生與ChatGPT生成文本的能力。研究於2023年5月至8月進行，35位專家分析了兩篇醫學主題的文本，並被要求找出AI生成的部分。結果顯示，專家們在70%的情況下正確識別AI文本，兩組專家之間差異不大。雖然內容錯誤影響不大，但冗餘、重複和連貫性等風格特徵對他們的判斷至關重要。研究建議未來可在不同學術領域進一步探討，以提升辨識能力。 PubMed DOI

這項研究評估人類是否能區分由人類撰寫的醫學手稿與AI生成的手稿，特別是使用ChatGPT 3.5。研究於2023年10月進行，51位醫師參與，隨機審閱三篇手稿。結果顯示，參與者識別作者的準確率不高，特異性55.6%，敏感性31.2%。高影響因子的手稿較易識別，而影響因子低的則較難。與AI互動頻率高的人更能正確識別作者。總之，研究顯示生成式AI的醫學手稿難以區分，凸顯學術出版的潛在影響及對AI內容認識的需求。 PubMed DOI

這項研究探討了如何區分人類撰寫的摘要與ChatGPT生成的摘要，分析了160篇摘要，並使用了三種AI檢測工具和一個抄襲檢測器。研究發現，所有方法對摘要來源的判斷都有誤，學者的經驗影響檢測準確性，資深學者表現最佳。GPTZero和相似性檢測器在識別來源上特別有效。研究建議人類專家與AI工具合作，能提升識別學術摘要的準確性。 PubMed DOI