原始文章

這項研究評估了七種大型語言模型(LLMs)在新基準上的理解能力,要求它們回答基於短文本的問題,並與400名人類的回答進行比較。結果顯示,這些模型的表現僅達到隨機準確率,且回答變異性大。相比之下,人類在數量和質量上都明顯優於這些模型,LLMs的錯誤也顯示出非人類特徵。這表明,雖然AI模型在某些應用中有效,但它們的語言理解仍無法與人類相提並論,可能因為無法有效處理語法和語義信息。 PubMed DOI


站上相關主題文章列表

在人工智慧研究界,有一場辯論是關於大型預訓練語言模型是否真正像人類一樣理解語言及其背景。討論了支持和反對這種理解的觀點,以及對智能科學的更廣泛問題。作者建議可以發展一個更全面的智能科學,來探索不同理解模式、它們的能力,以及各種認知形式的整合。 PubMed DOI

大型語言模型(LLMs)在推理任務上表現優秀,挑戰傳統模型。雖然有限制,但透過提供範例和擴展網絡等方法,可以增強性能,類似人類思考。分析LLM的錯誤可洞察人類偏見。LLMs帶來希望,從聯想主義角度研究智能和推理,透過認知心理學工具更深入了解人類思維。 PubMed DOI

研究測試大型語言模型如GPT-3和ChatGPT對各種語言現象的判斷能力。結果顯示,這些模型在辨識正確語法的句子上表現有差異,但對不符合語法的句子準確度較低,且回答偏向「是」。研究指出,這些模型在辨識語法規則方面不如人類,顯示它們目前可能不適合用於人類語言理論。 PubMed DOI

大型語言模型(LLMs)在理解語言方面有進展,但在語言能力和認知方面看法不同。研究評估LLMs的形式語言能力和功能語言能力,人類神經科學顯示這兩種能力依賴不同神經機制。LLMs在形式能力表現優異,但在功能任務上表現不穩,可能需要額外調整或外部模組。為了達到人類般的語言使用,模型可能需掌握兩種能力,並提供專門機制。 PubMed DOI

研究比較人類和大型語言模型(LLM)在心智理論任務上的表現,發現像GPT-4這樣的LLM在識別間接要求和虛假信念等任務上表現與或優於人類,但在偵測社交失言方面表現不佳。LLaMA2在社交失言偵測方面表現優於人類,但進一步分析顯示這是由於一種偏見。表現差異歸因於LLM採用保守方法,需要系統性測試才能準確比較人類和人工智能。 PubMed DOI

這段論述指出大型語言模型(LLMs)在理解人類語言的學習與演變上有其限制。主要有兩個觀點: 1. **功能與機制的差異**:雖然LLMs能生成類似人類的語言,但其學習過程與人類不同。人類透過多種感官互動學習語言,而LLMs主要依賴文本數據,這使得它們的相似性只是表面現象。 2. **語言行為的範疇**:人類的語言使用範圍更廣,而LLMs的設計限制了它們對語言意義的理解及自然互動的能力。 因此,LLMs應被視為輔助語言研究的工具,而非語言理論本身,這強調了謹慎應用的必要性。 PubMed DOI

這項研究探討大型語言模型(LLMs)與人類的推理能力,使用有限理性的認知心理學工具進行比較。實驗中,我們分析了人類參與者和不同預訓練LLMs在經典認知任務上的表現。結果顯示,許多LLMs的推理錯誤與人類相似,且受到啟發式影響。然而,深入分析後發現,人類與LLMs的推理存在顯著差異,較新的LLMs表現出更少的限制。雖然可以提升表現的策略存在,但人類和LLMs對提示技術的反應卻不同。我們討論了這些發現對人工智慧及認知心理學的意義,特別是在比較人類與機器行為的挑戰上。 PubMed DOI

這項研究針對大型語言模型(LLMs),如GPT-3.5、GPT-4、Claude2和Llama2的智力進行調查,特別關注前額葉功能。結果顯示,雖然GPT-3.5在某些領域表現不錯,但在計畫和理解意圖上不太穩定,Claude2也有類似情況。相對之下,Llama2在大部分測試中表現不佳。值得一提的是,GPT-4在所有任務中表現良好,顯示出更接近人類的認知能力。研究證實,傳統神經心理測試能有效評估LLM的表現。 PubMed DOI

一項研究評估了十一個大型語言模型(LLMs),使用40個專門的錯誤信念任務,這些任務對於評估人類的心智理論(ToM)非常重要。結果顯示,較舊的模型無法解決任何任務,而GPT-3-davinci-003和ChatGPT-3.5-turbo僅解決了20%。相比之下,ChatGPT-4的成功率達到75%,與6歲兒童的表現相當。這顯示出心智理論的能力可能是LLMs語言能力增強的副產品,預示著更先進的人工智慧的崛起,帶來正負面影響。 PubMed DOI

大型語言模型(LLMs)因在知識性任務上表現優於人類而受到關注,但在社會情境的準確評估和建議適當行為方面仍有不確定性。一項研究中,五個聊天機器人與276名人類參與者進行比較,結果顯示Claude、Copilot和you.com的智能助手在社交情境建議上超越人類,且其行為評價接近專家意見。這顯示LLMs在社會判斷上具潛力,但其廣泛應用仍面臨挑戰與風險。 PubMed DOI