原始文章

這篇論文探討了一種新方法,透過檢索增強生成(RAG)框架來評估教師與學生的模擬教學。傳統方法需教師直接參與,增加工作負擔,限制學生獨立練習。研究使用開源工具,如FastChat和Whisper,搭配本地大型語言模型(LLM)分析教學音頻。評估了三個7B參數的開源中文LLM,結果顯示internlm2模型在分析教學音頻及提供反饋方面表現優異。研究還對10名參賽者的模擬教學進行系統分析,並由專家手動評分,驗證系統有效性,顯示先進語言技術在教育評估中的潛力。 PubMed DOI


站上相關主題文章列表

研究發現人工智慧輔助英語學習對中國學生的寫作能力和學習動機有正面影響。學生使用人工智慧後,寫作能力和動機都有明顯進步。不同意見也顯示了人工智慧的優勢和疑慮。研究強調了教育領域持續發展和適應人工智慧工具的重要性。 PubMed DOI

最近在自然語言處理和人工智慧的進展,使大型語言模型(LLMs)在自動化作文評分(AES)中應用更為廣泛,提供高效且無偏見的評估。本研究評估了LLMs在AES中的可靠性,特別是評分的一致性及其與人類評審者的對齊程度。結果顯示,提示工程對LLMs的可靠性至關重要,且GPT-4的表現優於其他模型,尤其在「想法」和「組織」維度上表現突出。研究建議未來應擴展到不同寫作類型和參與者,以深入了解LLMs在教育中的影響。 PubMed DOI

這項研究探討大型語言模型(LLMs),特別是GPT-4,如何應用於分析課堂對話,以評估教學品質和診斷教育需求。傳統質性分析方法耗時且需專業知識,研究旨在確認LLMs是否能簡化此過程。研究使用中學數學和中文課的數據,將專家手動編碼的結果與GPT-4生成的結果進行比較。結果顯示,GPT-4能顯著節省時間,且編碼一致性高,顯示LLMs在教學評估和教育改進上具潛力。 PubMed DOI

這項研究探討了使用大型語言模型(LLM),特別是ChatGPT 3.5,來評估伊利諾伊大學醫學院臨床前醫學生的批判性評估作業。研究發現,ChatGPT與教師評分的協議率達67%,顯示出合理的一致性,且能有效減少教師評分時間五倍,潛在節省約150小時。總體而言,這項研究建議使用ChatGPT等LLM能有效協助醫學教育中的作業評估,減輕教師負擔。 PubMed DOI

這項研究提出了一種新穎的增強檢索生成(RAG)系統,結合微調的大型語言模型(LLMs)與向量數據庫,充分發揮結構化數據檢索的優勢。主要方法包括LoRA和QLoRA,專注於高效的參數微調和記憶優化。獨特之處在於納入用戶反饋,讓模型持續適應用戶需求,提升性能。此外,研究還引入量化影響度量(QIM)作為AI評審機制,增強結果選擇的準確性。這些成果為未來聊天機器人技術的發展提供了重要見解,並已公開相關數據集和工具供社群使用。 PubMed DOI

這篇論文探討了傳統大型語言評估的限制,特別是在聽力和口語方面。聽力評估常無法真實反映互動能力,而口語則受限於任務格式。雖然自動化評估有潛力,但仍面臨挑戰。論文提出利用大型語言模型來增強自動化題目生成,創造更複雜的評估內容。具體而言,為Duolingo英語測試開發的互動聽力任務能更真實地評估考生的對話能力。研究顯示,這種方法有效且能改善語言測試中的互動能力評估。 PubMed DOI

這項研究探討大型語言模型(LLMs)在依據標準評分的有效性,以及提示工程的影響。透過使用既定的人類基準進行定量分析,結果顯示即使是免費的LLMs也能有效評分,顯示出對標準的深刻理解。這表明,對主題內容的理解比模型的複雜性更重要。研究結果顯示,LLMs在教育環境中提供可擴展的反饋具有很大的潛力。 PubMed DOI

這項研究評估了多種大型語言模型(LLMs)在中國醫學教育CDLE考試中的表現。研究人員選擇並修訂了200道考題,並在三種情境下測試七個高效能的LLMs。結果顯示,Doubao-pro 32k和Qwen2-72b的準確性最高,分別達到81%和98%的最佳一致性比率。雖然模型之間的教學效果有顯著差異,但都能提供有效的教學內容。研究建議未來應進一步探討LLM輸出的可解釋性及減少醫學教育中不準確性的策略。 PubMed DOI

大型語言模型(LLMs)有潛力改變高中數學的教學方式。雖然大部分研究專注於輔導學生,但對於如何幫助教師的探討仍然不足。本研究提出利用LLMs增強教學計畫,透過模擬教師與學生的互動並生成教學反思,進而指導LLM改善教學計畫。人類評估顯示,這種方法顯著提升了LLM生成的教學計畫質量,與人類教師創建的計畫相當。這不僅幫助教師排練模擬,還提供了完善教學計畫的見解,展現了LLMs在教學準備中的實際應用。 PubMed DOI

這項研究分析了四種人工智慧大型語言模型(LLMs)對有學習障礙和沒有學習障礙學生的反饋、挫折感、同情心及未來失敗期望的評估。結果顯示,LLMs對有學習障礙的學生表現出較低的挫折感和較高的同情心,且對未來失敗的期望也低於實習教師。特別是ChatGPT4對兩組學生提供了更多正面反饋。整體而言,LLMs可能促進對有學習障礙學生的包容態度,但仍需調整以增強文化和情感的敏感性。 PubMed DOI