這項研究探討BERT語言模型如何處理論證結構建構(ASC),基於先前的LSTM研究。研究使用2000句的數據集,分析BERT的12層標記嵌入,並運用多維縮放和t-SNE技術可視化嵌入,計算廣義區分值評估聚類情況。主要發現包括:CLS標記在第2至4層聚類最佳,OBJ標記在第10層達高峰,探測準確率從第2層起超過90%。此外,OBJ標記在區分ASC方面最有效。研究顯示BERT在語言結構處理的複雜性,並揭示其與LSTM的相似與差異。未來將探索神經影像數據以深入理解大腦中的ASC處理。
PubMed
DOI