Deploying large language models for discourse studies: An exploration of automated analysis of media attitudes.
部署大型語言模型於話語研究：媒體態度自動分析的探索。 PLoS One 2025-01-09

這項研究探討如何利用大型語言模型（LLM）分析媒體對中國的態度，以香港的《東方日報》為例。研究強調分析媒體數據集對理解公眾意見的重要性，並指出傳統方法常忽略隱性態度。研究使用Martin和White的框架來分類態度，並運用Meta的開源Llama2（13b）模型進行分析，針對40,000條與中國相關的表達進行量化。結果顯示，LLM能有效識別顯性和隱性態度，準確率約80%，與人類編碼者相當。研究也討論了實施過程中的挑戰及其解決策略。 PubMed DOI

Scaling language model size yields diminishing returns for single-message political persuasion.
擴大語言模型的規模對單一訊息的政治說服效果產生遞減效益。 Proc Natl Acad Sci U S A 2025-03-07

這項研究探討大型語言模型（LLMs）在生成政治訊息的說服力。研究人員使用24種不同大小的LLMs創造720條關於10個政治議題的訊息，並進行了接近26,000人的大規模調查來評估這些訊息的有效性。結果顯示，較大的模型在說服力上僅比小型模型稍強，且當考慮一致性和相關性等任務完成因素時，模型大小與說服力的關聯性會減弱。總之，僅增加LLMs的大小並不會顯著提升政治訊息的說服力，因為目前的模型已經表現得相當不錯。 PubMed DOI

LLM services in the management of social communications.
社交溝通管理中的 LLM 服務。 Front Artif Intell 2025-03-28

這篇論文探討如何透過行為經濟學和人工智慧工具來增強社會溝通管理。研究分析社會溝通對公民行為的影響，並利用大型語言模型（LLMs）評估其有效性。基於卡尼曼的雙重過程理論，作者提出一個新系統，強調身份和社會規範對行為的影響。研究結果顯示，雖然原始訊息反響良好，但為促進社會轉型而修改的訊息可能導致負向變化，顯示修改時需謹慎，以確保與受眾的共鳴。 PubMed DOI

Comparing large Language models and human annotators in latent content analysis of sentiment, political leaning, emotional intensity and sarcasm.
比較大型語言模型與人類標註者在情感、政治傾向、情緒強度和諷刺的潛在內容分析中的表現。 Sci Rep 2025-04-03

這項研究分析了七種大型語言模型（LLMs）在潛在內容分析的有效性，並與人類標註者進行比較。研究涵蓋情感、政治傾向、情感強度和諷刺檢測。結果顯示，無論是人類還是LLMs，在情感和政治分析上表現一致，LLMs的可靠性通常超過人類。不過，人類在情感強度評分上較高，兩者在諷刺檢測上都面臨挑戰。總體來看，LLMs，特別是GPT-4，能有效模仿人類的分析能力，但人類專業知識仍然重要。 PubMed DOI

Testing the limits of large language models in debating humans.
大型語言模型在人類辯論中的極限測試 Sci Rep 2025-04-22

**重點摘要：** 大型語言模型（LLMs）可以參與以辯論為基礎的社會學實驗，通常比人類更能專注在主題上，進而提升團隊的生產力。不過，人類覺得LLM代理人比較不具說服力，也比較沒有自信，而且這些代理人在辯論時的行為和人類有明顯差異，因此很容易被辨識出是非人類參與者。 PubMed DOI

Robustness of large language models in moral judgements.
大型語言模型在道德判斷上的穩健性 R Soc Open Sci 2025-04-24

過去有研究說能測量大型語言模型的道德偏好，但其實這些結果很容易被問題或選項的呈現方式影響，像是把「Case 1」改成「(A)」就可能讓模型答案大不同。所以，這類研究的結論不太可靠。作者建議，未來要用更嚴謹的方法來研究LLM的道德判斷。 PubMed DOI

Testing theories of political persuasion using AI.
使用 AI 檢驗政治說服理論 Proc Natl Acad Sci U S A 2025-05-02

生成式AI能協助政治說服研究，突破資料限制。實驗發現，AI產生的說服訊息能有效改變受試者態度和投票意向，但個人化或互動式訊息並未特別更有效。雖然AI能影響意見，但對提升對立陣營包容度或減少敵意幫助有限，顯示改變想法不等於減少社會極化。 PubMed DOI

On the conversational persuasiveness of GPT-4.
GPT-4 對話說服力之探討 Nat Hum Behav 2025-05-19

研究發現，GPT-4在辯論時若能根據個人資料客製化論點，有64%機率比人類更有說服力，能更有效改變他人看法。這顯示AI說服力很強，也提醒我們未來要注意如何管理這類技術。 PubMed DOI

A semantic embedding space based on large language models for modelling human beliefs.
基於大型語言模型的人類信念語意嵌入空間 Nat Hum Behav 2025-06-04

這項研究用微調過的大型語言模型，把線上辯論中的各種信念轉成神經嵌入，來分析信念間的關聯。這方法能看出信念極化、連結模式，還能預測個人未來可能的信念，並用信念距離估算認知失調。結果顯示，結合語言模型和線上資料，有助於了解人類信念的形成和互動原則。 PubMed DOI

A large-scale replication of scenario-based experiments in psychology and management using large language models.
使用大型語言模型進行心理學與管理學情境式實驗的大規模重複研究 Nat Comput Sci 2025-07-09

大型語言模型能準確重現多數心理學實驗，效果有時甚至比真人還明顯。不過，遇到社會敏感議題或原研究沒發現效果時，模型容易高估結果。LLMs 適合做初步、快速研究，但遇到複雜或敏感議題，還是得靠真人參與才能更全面。 PubMed DOI

原始文章

站上相關主題文章列表