最近在自然語言處理和人工智慧的進展，使大型語言模型（LLMs）在自動化作文評分（AES）中應用更為廣泛，提供高效且無偏見的評估。本研究評估了LLMs在AES中的可靠性，特別是評分的一致性及其與人類評審者的對齊程度。結果顯示，提示工程對LLMs的可靠性至關重要，且GPT-4的表現優於其他模型，尤其在「想法」和「組織」維度上表現突出。研究建議未來應擴展到不同寫作類型和參與者，以深入了解LLMs在教育中的影響。 PubMed DOI

這段論述指出大型語言模型（LLMs）在理解人類語言的學習與演變上有其限制。主要有兩個觀點： 1. **功能與機制的差異**：雖然LLMs能生成類似人類的語言，但其學習過程與人類不同。人類透過多種感官互動學習語言，而LLMs主要依賴文本數據，這使得它們的相似性只是表面現象。 2. **語言行為的範疇**：人類的語言使用範圍更廣，而LLMs的設計限制了它們對語言意義的理解及自然互動的能力。 因此，LLMs應被視為輔助語言研究的工具，而非語言理論本身，這強調了謹慎應用的必要性。 PubMed DOI

您的分析顯示人類撰寫的新聞與大型語言模型（LLMs）生成的內容有明顯差異。主要發現包括： 1. **語言變異性**：人類文本在句子長度和詞彙多樣性上更豐富，LLM則較一致。 2. **句法結構**：人類使用較短的成分和更優化的依賴距離。 3. **情感語調**：人類文本表達更強烈的負面情緒，LLM則較少快樂情感。 4. **毒性與客觀性**：LLM的毒性隨模型增大而增加，顯示更客觀的語言特徵。 5. **代名詞使用**：LLM使用的代名詞較多，反映敘事風格差異。 6. **偏見**：兩者均顯示性別歧視，LLM往往放大這種偏見。 7. **比較差異**：人類與LLM文本的差異更明顯。 總體而言，這些發現突顯了人類寫作與AI生成內容的獨特特徵。 PubMed DOI

這項研究探討大型語言模型（LLMs）在中文語法錯誤修正的表現，這領域尚未被廣泛研究。研究使用語料庫語言學的方法，透過MaxMatch分數等標準指標評估LLMs，並進行關鍵字和n-gram分析，找出LLM輸出與人類標註者的語言特徵差異。結果顯示，LLMs在多位標註者的數據集上表現較佳，但在複雜推理情境中仍面臨挑戰。研究建議未來應著重解決過度修正的問題，並提升在複雜語義情境中的表現。 PubMed DOI

這項研究探討預訓練的大型語言模型（LLMs）在理解和表達方式隱含意義的能力，特別是與格賽方式準則相關的語用推論。研究發現，雖然某些LLMs在區分中性關係和必然性方面表現超過隨機，但在更細微的區分上則表現不佳。此外，LLMs的上下文嵌入與靜態嵌入相比，幾乎沒有明顯優勢。總體來說，研究強調目前的預訓練方法未能顯著提升LLMs在理解方式隱含意義的能力，呼籲改進數據集設計和基準指標。 PubMed DOI

這項研究探討如何利用大型語言模型（LLM）分析媒體對中國的態度，以香港的《東方日報》為例。研究強調分析媒體數據集對理解公眾意見的重要性，並指出傳統方法常忽略隱性態度。研究使用Martin和White的框架來分類態度，並運用Meta的開源Llama2（13b）模型進行分析，針對40,000條與中國相關的表達進行量化。結果顯示，LLM能有效識別顯性和隱性態度，準確率約80%，與人類編碼者相當。研究也討論了實施過程中的挑戰及其解決策略。 PubMed DOI

這篇論文探討了將日文定語從句翻譯成中文的挑戰，特別是名詞語義角色對翻譯的影響。研究指出目前機器翻譯工具的局限性，並透過範例分析提出了一種經ChatGPT測試的三步驟提示鏈接策略，翻譯品質顯著提升，平均分數提高超過43%。結果強調語言學知識在設計提示時的重要性，對於提升複雜句子的翻譯準確性至關重要。這項研究不僅連結了語言學理論與機器翻譯，還為優化大型語言模型的提示及改善語言教育工具提供了新見解。 PubMed DOI

這項研究分析了七種大型語言模型（LLMs）在潛在內容分析的有效性，並與人類標註者進行比較。研究涵蓋情感、政治傾向、情感強度和諷刺檢測。結果顯示，無論是人類還是LLMs，在情感和政治分析上表現一致，LLMs的可靠性通常超過人類。不過，人類在情感強度評分上較高，兩者在諷刺檢測上都面臨挑戰。總體來看，LLMs，特別是GPT-4，能有效模仿人類的分析能力，但人類專業知識仍然重要。 PubMed DOI

傳統自動作文評分系統只看單字和句子，無法掌握文章結構和語意。我們提出結合多層次語言特徵的混合模型，利用大型語言模型提升作文連貫性和品質評估。實驗證明，我們的方法比現有技術更準確，有助提升學生寫作評量的公正性與精確度。 PubMed DOI

這項研究發現，中文母語者在寫英文前，和真人夥伴討論比用GPT-4或沒討論，寫作表現更好。兩種互動都能增加主題熟悉度、信心，減少困難感。建議GPT-4可當輔助工具，但不能取代真人夥伴。 PubMed DOI