原始文章

最新研究發現,人類大腦在理解語意時,會把單字和周圍單字的神經反應結合起來,這跟transformer語言模型的自我注意力機制很像。大腦也會編碼單字在句子裡的位置,類似模型的「位置編碼」。而且,大腦加權上下文單字的方式,跟語言模型的self-attention權重也很接近,顯示兩者語言處理策略可能相似。 PubMed DOI


站上相關主題文章列表

這項研究探討成年人在忽略一位講者的情況下,如何處理來自兩位不同講者的語音,並利用腦電圖(EEG)測量神經反應。研究重點在於語音的聲學特徵、單字頻率及單字的可預測性,後者是透過GPT-4估算的。結果顯示,英語母語者在分辨目標講者與干擾講者上表現較佳,而視覺任務能減少詞彙處理。當單字可預測性低時,聽眾更專注於聲學特徵,顯示語音感知涉及聽覺與詞彙處理的複雜互動,突顯在挑戰性聆聽環境中的適應性。 PubMed DOI

這項研究探討大型語言模型(LLMs)與人類大腦在處理敘事資訊上的差異。雖然LLMs能預測與敘事相關的神經信號,但它們是平行分析大量文本,與大腦逐步處理的方式不同。研究使用219名參與者的fMRI數據,發現LLMs在短期上下文中表現較好。研究人員開發了一個增量上下文模型,結合短期與持續更新的長期上下文,顯著改善了對長期處理腦區活動的預測。這結果顯示大腦整合資訊的能力,對認知神經科學和人工智慧的發展提供了新見解。 PubMed DOI

這項研究探討如何利用大型語言模型(LLMs)來進行大規模的人類記憶實驗,特別是針對自然敘事的分析。研究發現,隨著敘事長度增加,記憶表現會改善,但參與者常常只會總結長敘事,而非回憶具體細節。當敘事順序被打亂時,回憶表現顯著下降,但識別表現穩定,顯示參與者仍能根據理解重建故事。研究還利用LLM生成的文本嵌入來測量敘事的語義相似度,與回憶可能性有強相關性,顯示LLMs在記憶研究中的潛力。 PubMed DOI

這項研究探討人類大腦在聽語音時如何編碼單詞意義,特別是海馬體的角色。研究人員記錄了數百個神經元的活動,發現單詞意義是透過不同語義類別的神經元綜合表現來表示的。結果顯示,神經反應距離與語義距離相關,這與大型語言模型(如BERT)相似,但在非上下文模型(如Word2Vec)中則未見此現象,顯示上下文對理解意義的重要性。此外,神經反應範圍與詞彙多義性有關,進一步強調上下文的關鍵角色。總體而言,結果支持海馬體使用向量編碼原則來表示語義信息。 PubMed DOI

這篇評論探討大型語言模型(LLMs)的推理過程,特別是注意力頭的角色。雖然LLMs在長文本理解和數學推理上表現接近人類,但其運作仍然像黑箱一樣難以理解。作者提出一個四階段框架,分析注意力頭的功能,並回顧相關研究,強調實驗方法的重要性。評論也總結了評估方法和基準,並指出目前研究的限制,建議未來的探索方向,以增進對LLMs推理能力的理解。 PubMed DOI

大型語言模型常會產生看似正確但其實錯誤的回答,這跟人類接受性失語症很像。研究發現,LLMs的內部運作和失語症患者大腦的資訊處理方式很相似,特別是在狀態轉換和停留時間上。這種分析方法未來有機會幫助改進LLMs,也可能應用在失語症診斷上。 PubMed DOI

這項研究提出用輔助交叉注意力網路(ACAN)來幫AI代理人挑選最相關的記憶,並首次用大型語言模型(LLM)來訓練這套記憶檢索系統。這種做法能讓代理人在模擬環境中表現更穩定、反應更靈活,對提升生成式AI代理人的記憶管理和行為表現很有幫助。 PubMed DOI

最新的商業大型語言模型(像GPT-4o),在神經影像的中繼資料標註上,表現幾乎跟專業人員一樣好(zero-shot下得分0.91–0.97),錯誤率也差不多,很多分歧其實不是錯誤。這代表LLM很適合大規模自動標註。作者也建議大家建立並分享標註基準資料集,方便未來測試。 PubMed DOI

這篇論文提出新方法,測試大型語言模型(LLMs)能否監控和調整自己的神經激活狀態,也就是「後設認知」能力。結果發現,LLMs能學會回報並影響部分內部活動,但只侷限在較低維度的範圍。這對理解AI運作和提升AI安全性有重要意義。 PubMed

這項研究用fMRI和GPT語言模型分析真實對話時的大腦活動。結果發現,大腦有些區域在說話和聽話時處理語言很像,但也有些區域會根據你是說還是聽,出現不同活動,這跟大腦怎麼整合語境有關。代表理解和產生對話時,大腦有共同也有獨特的處理方式,會在不同時間尺度下運作。 PubMed DOI