Can large language models help predict results from a complex behavioural science study?
大型語言模型能否幫助預測複雜行為科學研究的結果？ R Soc Open Sci 2024-09-26

在研究中，我探討了大型語言模型（LLMs），特別是GPT-3.5和GPT-4，對複雜行為科學實驗結果的預測能力。結果顯示，GPT-4在預測情感、性別和社會認知方面，與119位人類專家的表現相當，相關性高達0.89，而GPT-3.5則僅有0.07。在另一項研究中，讓大學參與者與GPT-4驅動的聊天機器人互動，提升了他們的預測準確性。這些結果顯示，人工智慧在預測行為主張的實證支持上，可能成為有價值的工具，並強調人類與AI合作的潛力。 PubMed DOI

Evaluating large language models for selection of statistical test for research: A pilot study.
評估大型語言模型在研究統計檢定選擇中的應用：一項初步研究。 Perspect Clin Res 2024-11-25

這項研究評估了四個大型語言模型（LLMs），包括OpenAI的ChatGPT3.5、Google Bard、Microsoft Bing Chat和Perplexity，來推薦適合的統計測試。研究人員使用27個已發表文獻的案例，將這些模型的建議與人類專家的建議進行比較。結果顯示，所有模型的建議一致性超過75%，接受度超過95%。特別是ChatGPT3.5的符合度最高，達85.19%，而Microsoft Bing Chat則為96.3%。研究顯示這些模型能有效協助選擇統計測試，但無法完全取代人類專業知識。 PubMed DOI

Evaluating the ability of large language models to emulate personality.
評估大型語言模型模擬個性的能力。 Sci Rep 2025-01-02

最近，GPT-4在大型語言模型（LLMs）方面的進展，可能會改變社會科學的研究方式。研究探討了GPT-4在模擬擁有不同大五人格特徵的個體的有效性，進行了兩項模擬研究。第一項模擬顯示，GPT-4生成的個性反應比人類反應更具一致性，且與人類自我報告的分數高度相關，顯示其能有效模仿真實個性。第二項模擬則指出，隨著角色複雜度增加，GPT-4的表現會下降，但加入人口統計信息後，模擬的準確性有所提升。總體而言，這些結果顯示使用GPT-4創造多樣個性的代理人，對理解人類行為的研究有很大潛力，並為未來的研究提供了新方向。 PubMed DOI

Deploying large language models for discourse studies: An exploration of automated analysis of media attitudes.
部署大型語言模型於話語研究：媒體態度自動分析的探索。 PLoS One 2025-01-09

這項研究探討如何利用大型語言模型（LLM）分析媒體對中國的態度，以香港的《東方日報》為例。研究強調分析媒體數據集對理解公眾意見的重要性，並指出傳統方法常忽略隱性態度。研究使用Martin和White的框架來分類態度，並運用Meta的開源Llama2（13b）模型進行分析，針對40,000條與中國相關的表達進行量化。結果顯示，LLM能有效識別顯性和隱性態度，準確率約80%，與人類編碼者相當。研究也討論了實施過程中的挑戰及其解決策略。 PubMed DOI

Echoes of authenticity: Reclaiming human sentiment in the large language model era.
真實性的回聲：在大型語言模型時代重拾人類情感。 PNAS Nexus 2025-02-26

這篇論文探討大型語言模型（LLMs）如ChatGPT在編輯用戶生成內容（UGC）時的意外影響，特別是情感變化。分析氣候變遷推文後發現，LLMs重述的推文通常情感更中立，這可能扭曲依賴UGC的研究結果。為了應對這些偏見，論文提出兩種策略：一是使用預測模型識別原始情感，二是微調LLMs以更好地對齊人類情感。整體而言，研究強調了LLMs對UGC情感的影響，並提供減少偏見的實用方法，確保情感分析的可靠性。 PubMed DOI

Large Language Models' Accuracy in Emulating Human Experts' Evaluation of Public Sentiments about Heated Tobacco Products on Social Media: Evaluation Study.
大型語言模型在模擬人類專家對社交媒體上加熱煙草產品公共情緒評估的準確性：評估研究。 J Med Internet Res 2025-03-07

這項研究分析大型語言模型（LLMs），特別是GPT-3.5和GPT-4 Turbo，對加熱煙草產品（HTPs）相關社交媒體訊息的情感分析效果。研究分析了1,000則訊息，結果顯示GPT-3.5在Facebook的準確率為61.2%，Twitter為57%；而GPT-4 Turbo則在Facebook達到81.7%，Twitter為77%。即使只用三個回應，GPT-4 Turbo的準確率也可達99%。研究指出，LLMs在分析HTPs討論情感上有效，但不同情感類別的準確性差異可能會影響整體結果，未來需進一步探討。 PubMed DOI

Leveraging Large Language Models for Sentiment Analysis in Educational Contexts.
在教育環境中利用大型語言模型進行情感分析。 Stud Health Technol Inform 2025-04-09

這份報告探討了使用大型語言模型（LLMs）進行教育情感分析的初步結果。我們分析了學生報告中的質性描述，以評估他們對學業表現的情感狀態和態度。情感分析揭示了學生參與度的重要見解，並指出需要改進的地方。研究顯示，LLMs能有效分析文本數據，提供比傳統方法更深入的情感理解，顯示出在改善教育評估和干預方面的潛力。 PubMed DOI

Using Large Language Models for sentiment analysis of health-related social media data: empirical evaluation and practical tips.
運用大型語言模型進行健康相關社群媒體資料的情感分析：實證評估與實用建議 AMIA Annu Symp Proc 2025-05-26

這篇論文比較了 GPT-3.5-Turbo、FLAN-T5 和 BERT 等大型語言模型在健康社群媒體情感分析的表現。結果顯示，LLMs 比傳統工具（像 VADER）表現更好，但準確度還有進步空間。透過調整提示語和微調，尤其是 BERT，效果會更好。研究也建議未來要在標註資料少的情況下，持續優化這些模型。 PubMed

Evaluating the capacity of large language models to interpret emotions in images.
大型語言模型解讀影像中情緒能力之評估 PLoS One 2025-06-03

這項研究發現，GPT-4在辨識圖片情緒（愉悅度和激發度）時，表現和人類相近，但對細微情緒還是有點吃力。這代表未來用GPT-4來自動篩選和驗證情緒刺激，有機會大幅減少人力、提升效率。 PubMed DOI

Large Language Models and the Analyses of Adherence to Reporting Guidelines in Systematic Reviews and Overviews of Reviews (PRISMA 2020 and PRIOR).
大型語言模型與系統性回顧及回顧之總覽中報告指引遵循性分析（PRISMA 2020 與 PRIOR） J Med Syst 2025-06-12

這項研究比較四款熱門免費大型語言模型在檢查健康研究報告是否遵守PRISMA 2020和PRIOR指引的表現。結果發現，所有模型在PRISMA 2020的判斷上都高估了合規情況，準確度不如人類專家；但在PRIOR指引上，ChatGPT表現和專家差不多。這是首篇針對此任務的比較研究，未來還需更多探討AI在健康研究審查的應用。 PubMed DOI

原始文章

站上相關主題文章列表