認知障礙是全球健康的重要議題，急需早期檢測與介入。傳統診斷方法主觀且成本高，資源不足地區更難取得。我們在INTERSPEECH 2024 TAUKADIAL挑戰中，針對169名英語和中文使用者，自動檢測輕度認知障礙（MCI）並預測認知分數。利用Whisper語音模型提取語音嵌入，並採用集成模型，我們在MCI分類中達到81.83%的召回率，認知分數預測則有1.196的均方根誤差，分別排名第二和第一。研究顯示，語言特有的細微差別對準確預測認知障礙至關重要，展現了在多語言環境中進行非侵入性評估的潛力。 PubMed DOI

這項研究探討大型語言模型（LLMs）與人類大腦在處理敘事資訊上的差異。雖然LLMs能預測與敘事相關的神經信號，但它們是平行分析大量文本，與大腦逐步處理的方式不同。研究使用219名參與者的fMRI數據，發現LLMs在短期上下文中表現較好。研究人員開發了一個增量上下文模型，結合短期與持續更新的長期上下文，顯著改善了對長期處理腦區活動的預測。這結果顯示大腦整合資訊的能力，對認知神經科學和人工智慧的發展提供了新見解。 PubMed DOI

這項研究探討大腦在即時對話中如何處理語言，利用fMRI技術測量參與者的神經活動。研究指出，理解和產生語言的神經系統是相互連結的，卻常被分開研究。透過分析大型語言模型的上下文詞嵌入，發現負責語言產出和理解的腦區有顯著重疊，並延伸至與社會認知相關的區域，顯示大腦的語言處理系統與溝通的更廣泛網絡有共同特徵。 PubMed DOI

這項研究探討了從非侵入性腦部錄音重建語言的挑戰，傳統上是透過分類方法將腦部數據與預定語言候選項匹配。作者提出一種新方法，利用自回歸生成技術，讓大型語言模型（LLM）直接將功能性磁共振成像（fMRI）解碼後的腦部表徵作為輸入，省去預先構建候選項的步驟。這種方法能生成高品質內容，特別對意外內容的反應更佳，並在各種任務中表現優於傳統分類方法，顯示腦語言介面的潛力。 PubMed DOI

這項研究探討了閱讀理解的挑戰，這是許多學習者常遇到的困難。研究者利用腦機介面（BCI）技術，預測閱讀的單詞與目標推論單詞的相關性。他們結合腦電圖（EEG）和眼動追蹤數據，運用大型語言模型（LLMs）創建新的閱讀嵌入表示。結果顯示，九名受試者的平均準確率為68.7%，最佳可達71.2%。此外，對BERT模型進行微調後，達到92.7%的準確率。這項研究在增強閱讀技能工具的開發上邁出了重要一步，相關代碼和數據已在GitHub上公開。 PubMed DOI

大型語言模型常會產生看似正確但其實錯誤的回答，這跟人類接受性失語症很像。研究發現，LLMs的內部運作和失語症患者大腦的資訊處理方式很相似，特別是在狀態轉換和停留時間上。這種分析方法未來有機會幫助改進LLMs，也可能應用在失語症診斷上。 PubMed DOI

年長者常有聽懂語音的困難，但現有測驗不夠貼近生活情境，也多只用單一語言。這項研究用大型語言模型自動產生和評分故事型語音理解測驗，涵蓋11種語言，並能準確反映記憶表現。這種方法更貼近真實生活，未來在臨床上很有幫助。 PubMed DOI

這項研究用fMRI和GPT語言模型分析真實對話時的大腦活動。結果發現，大腦有些區域在說話和聽話時處理語言很像，但也有些區域會根據你是說還是聽，出現不同活動，這跟大腦怎麼整合語境有關。代表理解和產生對話時，大腦有共同也有獨特的處理方式，會在不同時間尺度下運作。 PubMed DOI

研究用 GPT-3 分析精神病患和健康者的語音，發現精神病患對長語境不敏感，語言較混亂，這能預測正性思考障礙（如語無倫次），但無法預測負性症狀（如語言貧乏）。這方法可自動、客觀評估語言混亂，並連結臨床症狀與語言處理差異。 PubMed DOI

最新研究發現，人類大腦在理解語意時，會把單字和周圍單字的神經反應結合起來，這跟transformer語言模型的自我注意力機制很像。大腦也會編碼單字在句子裡的位置，類似模型的「位置編碼」。而且，大腦加權上下文單字的方式，跟語言模型的self-attention權重也很接近，顯示兩者語言處理策略可能相似。 PubMed DOI