這篇論文探討大型語言模型（LLMs）的理性推理能力，評估它們在認知心理學任務中的表現。研究發現，LLMs展現出與人類相似的非理性，但其非理性特徵與人類偏見不同。當LLMs給出錯誤答案時，這些錯誤不符合典型的人類偏見，顯示出獨特的非理性。此外，這些模型的回應顯示出顯著的不一致性，進一步增添了非理性的層面。論文也提出了評估和比較LLMs理性推理能力的方法論貢獻。 PubMed DOI

這篇論文探討大型語言模型（LLMs）在不同上下文中的價值表達穩定性，並分析了認知能力、知識和模型大小等因素。研究涵蓋21個來自六個家族的LLM，重點在於人際和個體層級的穩定性。主要發現包括：某些模型（如Mixtral和GPT-3.5）在價值表達上較為穩定，而模擬特定個性時，模型的穩定性會下降。研究建議未來需進一步探討LLMs如何模擬多樣化的人格，並發展更全面的評估方法。論文為理解LLMs的價值穩定性提供了基礎，並附上研究代碼。 PubMed DOI

這項研究探討大型語言模型（LLMs）與人類的推理能力，使用有限理性的認知心理學工具進行比較。實驗中，我們分析了人類參與者和不同預訓練LLMs在經典認知任務上的表現。結果顯示，許多LLMs的推理錯誤與人類相似，且受到啟發式影響。然而，深入分析後發現，人類與LLMs的推理存在顯著差異，較新的LLMs表現出更少的限制。雖然可以提升表現的策略存在，但人類和LLMs對提示技術的反應卻不同。我們討論了這些發現對人工智慧及認知心理學的意義，特別是在比較人類與機器行為的挑戰上。 PubMed DOI

這篇文章探討大型語言模型（如Claude、Bard、GPT-3.5和GPT-4）中嵌入的價值觀如何影響初級醫療的倫理決策。研究使用Schwartz的價值觀理論，評估這些模型的價值觀輪廓，並與超過53,000名受訪者的數據進行比較。結果顯示，每個模型的價值觀獨特，偏向普遍主義和自我導向，可能反映西方中心的偏見。這些模型的建議顯示出其內在價值觀對決策的影響，因此在臨床應用前需謹慎考量，並調整以符合多元文化觀點。 PubMed DOI

這項研究探討大型語言模型（LLMs）在推薦系統中作為「公平性識別者」的角色，重點在於它們識別和促進公平推薦的能力。研究人員分析了MovieLens和LastFM數據集，並比較了有無公平性策略的變分自編碼器（VAE）生成的推薦。他們發現LLMs能有效識別不公平的推薦，並提出用公平VAE生成的替代品來改善推薦的公平性。結果顯示，這種方法顯著提升了性別基礎群體的公平性與效用比率，實現了公平性與效用的更好平衡。 PubMed DOI

這項研究指出，雖然大型語言模型（LLMs）在明確的社會偏見測試中表現良好，但它們仍可能隱藏著類似人類的偏見。研究人員提出了兩種新方法來測量這些隱性偏見：LLM詞彙聯想測試和LLM相對決策測試。結果顯示，在種族、性別、宗教和健康等四個社會類別中，八個價值對齊的模型仍存在顯著的刻板印象偏見，顯示這些模型雖然在標準評估中看似無偏，但實際上反映了社會偏見。 PubMed DOI

這項研究比較了52種大型語言模型在自駕車道德決策上的表現，發現參數超過100億、尤其是專有模型，判斷較接近人類。不過，模型新舊不一定影響道德判斷，且有些模型會過度偏向特定倫理原則。實際應用時，還是要在判斷品質、運算資源和文化差異間取得平衡。 PubMed DOI

**重點摘要：** 這篇論文建議，評估大型語言模型（LLMs）的方法可以參考人類判斷與決策相關的研究經驗。作者認為，目前常用的評估方式太過侷限，如果能採用更細緻、貼近現實情境的評估方式——就像我們評估人類推理能力一樣——將能讓LLM的表現評估更可靠、更有意義。 PubMed DOI

雖然大型語言模型有時能模仿人類回應，但在像 11-20 money request game 這類需要複雜推理的任務上，表現常常和人類差很多，還會受到提示語和安全機制影響，出錯方式也很難預測。所以，社會科學研究如果想用 LLMs 取代人類，真的要特別小心。 PubMed DOI

**重點摘要：** 這項研究比較了人類、大型語言模型（LLMs）以及強化學習（RL）在一個為期多天的通勤決策遊戲中的表現，目的是評估AI取代人類決策的能力。LLMs展現出類似人類的學習能力，也能做出穩定的決策，但在團體合作、理解他人選擇，以及應用現實世界知識方面仍有困難。 PubMed DOI