原始文章

在2024年進行的一項研究評估了人類與人工智慧(AI)生成的論文在中風護理領域的質量。這項競賽共收到34篇論文,經《Stroke》期刊的專家審查。結果顯示,人類與AI論文的整體評分相似,但AI論文的寫作質量較高。審稿人識別作者類型的準確率僅50%,且有經驗的審稿人在區分上表現較好。研究建議科學期刊應教育審稿人關於AI的角色,並制定相關政策。 PubMed DOI


站上相關主題文章列表

這項研究評估了GPT-4撰寫放射學社論的能力,並與人類撰寫的社論進行比較。分析了來自八本期刊的十六篇社論,結果顯示AI撰寫的社論在評分上表現較好,但人類撰寫的文章在整體感知上仍較受青睞。編輯們在配對評估中,有82%更傾向於出版人類撰寫的文章。研究結論指出,雖然GPT-4能產出高品質文章,但編輯對人類內容的偏好依然明顯。 PubMed DOI

這項研究探討了AI語言模型ChatGPT對科學寫作的影響,模擬發表情境,參與者包括48位醫學生、住院醫師及專家。他們評估了三個特應性皮膚炎病例報告:人類撰寫(HUM)、AI生成(AI)及合作撰寫(COM)。 主要發現顯示,專家識別準確率較高,參與者偏好AI輔助版本,且AI和COM在寫作時間上大幅減少,質量也有所提升。不過,專家指出AI的參考文獻質量較低,可能影響發表機會。研究強調人類監督對準確性及倫理的重要性,並指出AI與人類合作的潛在好處。 PubMed DOI

這項研究探討了人類評審、重複量化分析(RQA)和AI檢測工具GPTZero在辨別人類與AI生成的個人陳述的有效性,特別針對物理治療師教育計畫的申請。研究分析了50份梅奧診所的申請者陳述與50份由Google Gemini生成的陳述。結果顯示,人類評審在辨識上表現一致且準確,而RQA和GPTZero也各有優勢。研究強調,未來應結合這些方法,以提升對個人陳述的評估,確保學術誠信。 PubMed DOI

這項研究探討人類評審者在辨識ChatGPT生成的科學摘要與原始摘要的準確性。來自不列顛哥倫比亞大學的41名外科實習生和教職員參加了線上調查,結果顯示只有40%能正確識別原始摘要,而63.4%偏好AI生成的摘要。分析指出,偏好原始摘要的受訪者更容易正確識別。這顯示人類在區分AI與人類生成內容上面臨挑戰,並且對AI生成的摘要有明顯偏好,突顯了AI在學術寫作中的影響及其倫理考量。 PubMed DOI

這項研究比較了人類撰寫的神經外科文章與ChatGPT生成的文章,評估其品質差異。研究選取10篇文章,5篇由人類撰寫,5篇由ChatGPT撰寫,並由專家根據整體印象、可讀性等進行評估。結果顯示,兩者在整體品質上無顯著差異,但ChatGPT的可讀性較高。專家識別作者的準確率為61%,偏好幾乎相等。結論指出,ChatGPT能產出與人類相當的文章,且可讀性更佳,顯示其在學術寫作中的潛在價值。 PubMed DOI

這項研究探討醫療專家與人文學者在辨識醫學生與ChatGPT生成文本的能力。研究於2023年5月至8月進行,35位專家分析了兩篇醫學主題的文本,並被要求找出AI生成的部分。結果顯示,專家們在70%的情況下正確識別AI文本,兩組專家之間差異不大。雖然內容錯誤影響不大,但冗餘、重複和連貫性等風格特徵對他們的判斷至關重要。研究建議未來可在不同學術領域進一步探討,以提升辨識能力。 PubMed DOI

這項研究評估人類是否能區分由人類撰寫的醫學手稿與AI生成的手稿,特別是使用ChatGPT 3.5。研究於2023年10月進行,51位醫師參與,隨機審閱三篇手稿。結果顯示,參與者識別作者的準確率不高,特異性55.6%,敏感性31.2%。高影響因子的手稿較易識別,而影響因子低的則較難。與AI互動頻率高的人更能正確識別作者。總之,研究顯示生成式AI的醫學手稿難以區分,凸顯學術出版的潛在影響及對AI內容認識的需求。 PubMed DOI

這篇文章探討了作者對兩份匿名同行評審報告的懷疑,認為可能是人工智慧生成的。作者回顧了事件的經過,從2023年12月提出疑慮後,與期刊互動兩個月,最終撤回投稿。期刊未承認倫理違規,也未明確回應人工智慧的指控。作者提供了證據支持其主張,並對其他作者提出建議,包括在投稿前討論人工智慧的使用、收集證據及倡導期刊制定透明政策。強調需負責任的同行評審,以防止人工智慧的濫用。 PubMed DOI

這項研究探討審稿人的經驗是否影響他們辨識人類撰寫與ChatGPT生成的摘要的能力。三十位審稿人被分為資深、初級和住院醫師,評估20篇摘要。結果顯示,整體正確識別率為50%,資深審稿人表現最佳,達60%。經驗和對AI的熟悉度與識別率有顯著關聯,顯示經驗在評估AI生成內容時的重要性。 PubMed DOI

這項研究發現,四種大型語言模型(LLM)在審查口腔顎面外科論文時,評分一致性高,和人類審稿人有中等共識,但AI退稿率明顯較低。雖然AI內部標準穩定,但審查沒有人類嚴格,建議AI作為輔助工具,協助而非取代專業審稿人。 PubMed DOI