最近在自然語言處理和人工智慧的進展，使大型語言模型（LLMs）在自動化作文評分（AES）中應用更為廣泛，提供高效且無偏見的評估。本研究評估了LLMs在AES中的可靠性，特別是評分的一致性及其與人類評審者的對齊程度。結果顯示，提示工程對LLMs的可靠性至關重要，且GPT-4的表現優於其他模型，尤其在「想法」和「組織」維度上表現突出。研究建議未來應擴展到不同寫作類型和參與者，以深入了解LLMs在教育中的影響。 PubMed DOI

這項研究探討大型語言模型（LLMs），特別是GPT-4，如何應用於分析課堂對話，以評估教學品質和診斷教育需求。傳統質性分析方法耗時且需專業知識，研究旨在確認LLMs是否能簡化此過程。研究使用中學數學和中文課的數據，將專家手動編碼的結果與GPT-4生成的結果進行比較。結果顯示，GPT-4能顯著節省時間，且編碼一致性高，顯示LLMs在教學評估和教育改進上具潛力。 PubMed DOI

這項研究透過電話訪談，調查印度醫學生對大型語言模型（LLMs）在醫學教育中的看法。25名學生的回應經過分析後，整理出三個主要主題：使用情境、增強學習和LLMs的限制。學生們表示，LLMs幫助他們澄清複雜主題、尋找客製化答案、解決選擇題、創建簡化筆記及簡化作業。他們欣賞這些工具的易用性和省時優勢，但也擔心不準確性、可靠性和隱私問題。學生強調需要培訓，以有效整合LLMs進醫學教育。總體而言，LLMs有潛力提升醫學教育，但需解決挑戰以發揮其優勢。 PubMed DOI

近年來，大型語言模型（LLMs）在教育領域的應用越來越普遍，然而創建個性化學習環境仍面臨挑戰。文章提到三大挑戰：首先是可解釋性，需增強對LLMs如何理解學習者的認識；其次是適應性，需開發技術提供個性化教學支持；最後是創作與評估，需建立基於LLM的教育代理。克服這些挑戰將有助於打造更符合學生需求的AI輔導員，進而提升學習成效。 PubMed DOI

這項研究探討如何利用大型語言模型（LLMs）來識別青少年抑鬱症訪談中的心理治療結果。作者建立了一個編碼框架，能夠捕捉多樣的治療結果，並評估五個開源LLM的分類能力。實驗結果顯示，這些模型能有效分類31種結果，ROC曲線下面積得分在0.6到1.0之間，成功識別出友誼和學業表現等重要結果。研究強調了臨床數據的應用，顯示詳細編碼治療結果的可行性，並有助於量化重要結果。 PubMed DOI

這項研究探討大型語言模型（LLMs）在依據標準評分的有效性，以及提示工程的影響。透過使用既定的人類基準進行定量分析，結果顯示即使是免費的LLMs也能有效評分，顯示出對標準的深刻理解。這表明，對主題內容的理解比模型的複雜性更重要。研究結果顯示，LLMs在教育環境中提供可擴展的反饋具有很大的潛力。 PubMed DOI

這項研究探討如何利用大型語言模型（LLMs）為高中生提供個性化建議，以提升他們的福祉和學業表現。研究分析了12名學生的數據，包括Fitbit指標和學校表現，並針對每位學生生成建議。結果顯示，雖然建議通常清晰可行，但與學生個別數據的對應程度有所不同，顯示出改進空間。研究強調了LLMs在個性化支持的潛力，但也需進一步驗證和完善，未來應聚焦於介入研究及解決倫理和數據隱私問題。 PubMed DOI

這項案例研究探討大型語言模型（LLMs）在自我發展測量中的應用，這對成人個性成長至關重要。研究評估專家與LLMs生成的自我發展階段分類的一致性，結果顯示加權Kappa值為0.779，顯示出顯著一致性，證明LLMs能有效自動化此過程。不過，在單句分析上仍有改進空間。研究結果顯示，自動化系統能提供穩健的數據，適用於多層次分析，對組織心理學和企業分析具價值。整體而言，這方法論可應用於其他LLMs的分類任務，展現其在文本分析中的潛力。 PubMed DOI

這項研究分析了七種大型語言模型（LLMs）在潛在內容分析的有效性，並與人類標註者進行比較。研究涵蓋情感、政治傾向、情感強度和諷刺檢測。結果顯示，無論是人類還是LLMs，在情感和政治分析上表現一致，LLMs的可靠性通常超過人類。不過，人類在情感強度評分上較高，兩者在諷刺檢測上都面臨挑戰。總體來看，LLMs，特別是GPT-4，能有效模仿人類的分析能力，但人類專業知識仍然重要。 PubMed DOI

這份報告探討了將大型語言模型（LLMs）與可穿戴技術結合的初步成果，目的是提供個性化建議，提升學生的福祉與學業表現。我們分析了學生的數據，包括可穿戴設備的指標和學術報告的質性反饋，進行情感分析以評估情緒狀態。研究顯示，LLMs能有效分析文本數據，提供實用見解，幫助了解學生的參與度並找出改進空間，顯示出LLMs在教育上的潛力，能更深入理解學生需求。 PubMed DOI