原始文章

這項研究探討BERT語言模型如何處理論證結構建構(ASC),基於先前的LSTM研究。研究使用2000句的數據集,分析BERT的12層標記嵌入,並運用多維縮放和t-SNE技術可視化嵌入,計算廣義區分值評估聚類情況。主要發現包括:CLS標記在第2至4層聚類最佳,OBJ標記在第10層達高峰,探測準確率從第2層起超過90%。此外,OBJ標記在區分ASC方面最有效。研究顯示BERT在語言結構處理的複雜性,並揭示其與LSTM的相似與差異。未來將探索神經影像數據以深入理解大腦中的ASC處理。 PubMed DOI


站上相關主題文章列表

立場檢測是自然語言處理中的關鍵任務,能識別作者對特定議題的觀點,對社會科學研究及應用相當重要。傳統方法多依賴維基百科數據,但因文章質量不一,效果不穩定。為解決此問題,我們利用大型語言模型(LLMs)進行立場檢測,並提出推理蒸餾方法,將LLMs的推理能力轉移至更小型的語言模型(SLMs),提升效率而不影響性能。我們的LOGIC模型在VAST數據集上表現優異,超越了GPT-3.5 Turbo和GPT-4 Turbo等先進模型。 PubMed DOI

這項研究探討心理概念重疊的問題,這種重疊讓數據解釋變得複雜,增加了參與者的負擔。研究引入了一種名為嵌入式語義分析方法(ESAA),利用自然語言處理技術檢測心理量表中的冗餘。透過OpenAI的text-embedding-3-large模型,ESAA生成高維語義向量,並用層次聚類識別相似項目。 研究進行了三個實驗,評估ESAA在識別相似項目、區分不同項目及揭示冗餘方面的有效性。結果顯示,ESAA表現穩定且優於基於GPT-4的聊天機器人,顯示其在心理研究中的潛力。 PubMed DOI

這項研究探討了閱讀理解的挑戰,這是許多學習者常遇到的困難。研究者利用腦機介面(BCI)技術,預測閱讀的單詞與目標推論單詞的相關性。他們結合腦電圖(EEG)和眼動追蹤數據,運用大型語言模型(LLMs)創建新的閱讀嵌入表示。結果顯示,九名受試者的平均準確率為68.7%,最佳可達71.2%。此外,對BERT模型進行微調後,達到92.7%的準確率。這項研究在增強閱讀技能工具的開發上邁出了重要一步,相關代碼和數據已在GitHub上公開。 PubMed DOI

這項研究探討了兩個大型語言模型(LLMs),BERT-base 和 Llama-2-13b,對複合詞如「snowman」的理解能力。根據心理語言學理論,理解複合詞需拆解成組成部分並連結其隱含意義。研究發現,當複合詞被同義詞替換時,嵌入變化與同義詞的合理性呈反比,這在舊有和新穎複合詞中皆有觀察到。雖然對新穎複合詞的結果較弱,舊的分佈模型表現更佳,但LLMs仍能有效近似複合詞的內部結構,成為建模隱含詞義的有用工具。 PubMed DOI

這項研究探討如何將人工智慧(AI)模組整合進傳統與現代的主題建模技術,特別是潛在狄利克雷分配(LDA)和BERTopic,以分析女性在處方類鴉片相關的心血管風險。研究從PubMed檢索了1,837篇相關摘要,並比較了兩種方法的效果。結果顯示,雖然LDA仍有其價值,但BERTopic在語義連貫性和可解釋性上表現更佳,成為更有效的文本分析工具。 PubMed DOI

學術論文的接受過程相當複雜,主要依賴同行評審,且常常資源密集且存在偏見。隨著深度學習的進步,研究人員開始探索自動化預測論文接受情況的方法。目前的方法通常分析整篇論文,效率不高且可能包含不相關資訊。為了解決這些問題,本研究提出LMCBert,結合大型語言模型與動量對比學習,專注於提取論文核心語義,減少冗餘,並提升對學術寫作的理解。實證結果顯示LMCBert表現良好,相關代碼與數據可在 https://github.com/iioSnail/LMCBert 獲取。 PubMed DOI

這項研究分析了七種大型語言模型(LLMs)在潛在內容分析的有效性,並與人類標註者進行比較。研究涵蓋情感、政治傾向、情感強度和諷刺檢測。結果顯示,無論是人類還是LLMs,在情感和政治分析上表現一致,LLMs的可靠性通常超過人類。不過,人類在情感強度評分上較高,兩者在諷刺檢測上都面臨挑戰。總體來看,LLMs,特別是GPT-4,能有效模仿人類的分析能力,但人類專業知識仍然重要。 PubMed DOI

這篇研究發現,大型語言模型(像GPT-J)在處理英語形容詞名詞化時,比起死背規則,更傾向用類比的方式來推論,尤其遇到不規則或變化多的情況時更明顯。而且LLM對單字出現頻率很敏感,這也支持類比型的解釋。總結來說,LLM在語言泛化上,比較像是在「舉一反三」,而不是照本宣科。 PubMed DOI

這篇研究比較人類和ChatGPT在財經、醫療建議文本中動詞-論元構式(VACs)的使用。結果發現,雙方在VACs的類型和頻率很接近,但ChatGPT較依賴常見語法結構,且用的動詞和表達意思還是有差異。新版GPT在動詞-VAC的表現更像人類,但整體文本長度等特徵還是不同。VACs可用來分析AI語言變化。 PubMed DOI

這項研究用微調過的大型語言模型,把線上辯論中的各種信念轉成神經嵌入,來分析信念間的關聯。這方法能看出信念極化、連結模式,還能預測個人未來可能的信念,並用信念距離估算認知失調。結果顯示,結合語言模型和線上資料,有助於了解人類信念的形成和互動原則。 PubMed DOI