Understanding Naturalistic Facial Expressions with Deep Learning and Multimodal Large Language Models.
利用深度學習和多模式大型語言模型理解自然面部表情。 Sensors (Basel) 2024-01-13

這篇論文探討在自然環境中辨識面部表情的先進系統。它討論使用深度學習模型的用戶友好工具箱，以實現準確識別，儘管面臨著光線和頭部位置變化等挑戰。它還深入探討了多模態大型語言模型（MLLMs），這些模型可以通過考慮上下文因素來增強情緒分析，潛在地改變情緒研究和建模的方式。 PubMed DOI

Speech Emotion Recognition Using openSMILE and GPT 3.5 Transformer.
使用 openSMILE 和 GPT 3.5 Transformer 的語音情感識別。 Stud Health Technol Inform 2024-08-23

近年來，人工智慧和機器學習的進步顯著改變了許多領域，尤其是在語音情感識別上。本文提出一種檢測羅馬尼亞語情感的方法，結合了GPT Transformer的語義分析和openSMILE的聲學分析。研究顯示準確率達74%，精確率接近82%。不過，由於數據集的限制和質量不佳，研究面臨挑戰。儘管如此，這項研究為未來在識別心理健康障礙的情感分析探索奠定了基礎。 PubMed DOI

DepressionEmo: A novel dataset for multilabel classification of depression emotions.
DepressionEmo：一個用於抑鬱情緒多標籤分類的新數據集。 J Affect Disord 2024-08-30

這篇論文介紹了一個新的資料集，名為DepressionEmo，專注於分析與憂鬱症相關的八種情緒，使用了6,037篇Reddit長文。資料集透過預訓練模型的零樣本分類進行創建，並經過標註者和ChatGPT的驗證，顯示出良好的評分一致性。研究探討情緒間的相關性，並評估多種文本分類方法，包括機器學習和深度學習模型。雖然BART和BERT的F1 Macro分數相同，但BERT因參數較少被視為最有效。該資料集可在GitHub上公開獲取。 PubMed DOI

LLM-Enhanced Multi-Teacher Knowledge Distillation for Modality-Incomplete Emotion Recognition in Daily Healthcare.
LLM增強的多教師知識蒸餾於日常醫療中不完整模態情感識別的應用。 IEEE J Biomed Health Inform 2024-09-30

隨著醫療保健中情緒監測的重要性提升，基於腦電圖（EEG）的多模態情緒識別系統逐漸受到重視。然而，日常醫療環境中獲取EEG信號的困難，常導致數據不完整。為了解決這個問題，研究人員提出了一個多教師知識蒸餾框架，結合大型語言模型（LLM）來增強特徵學習。透過LLM提取時間特徵，圖卷積神經網絡則負責空間特徵，並引入因果遮罩和信心指標以提升特徵轉移的相關性。實驗結果顯示，該模型在不完整模態下表現優於現有方法，顯示大型模型在醫療情緒識別中的潛力。相關代碼已公開，網址為 https://github.com/yuzhezhangEEG/LM-KD。 PubMed DOI

Language-specific representation of emotion-concept knowledge causally supports emotion inference.
情感概念知識的語言特定表徵因果支持情感推理。 iScience 2024-12-13

這項研究探討語言與情感理解的關聯，利用大型語言模型（LLMs）來分析語言如何影響AI在新情境中推斷情感。研究人員找出了十四個與人類情感相關的獨特屬性，並發現這些屬性由特定神經元群體表徵。透過操控這些神經元，研究證明情感知識對生成情感推論至關重要。結果顯示，LLMs能透過語言學習情感，而不需依賴感官或運動經驗，語言知識對情感推論非常重要。 PubMed DOI

Harnessing multimodal approaches for depression detection using large language models and facial expressions.
利用多模態方法結合大型語言模型和面部表情進行抑鬱症檢測。 Npj Ment Health Res 2024-12-23

這項研究提出了一種新方法，利用E-DAIC數據集自動預測憂鬱症的嚴重程度。研究人員運用大型語言模型（LLMs）從訪談文字中提取憂鬱症指標，並用患者健康問卷-8（PHQ-8）分數訓練預測模型。他們還結合視頻中的面部數據，發展多模態方法。結果顯示，增強文字數據的語音質量能達到最佳表現，平均絕對誤差為2.85，均方根誤差為4.02。整體來看，這項研究強調了自動化憂鬱症檢測的有效性，並建議多模態分析的優勢。 PubMed DOI

Child-Centric Robot Dialogue Systems: Fine-Tuning Large Language Models for Better Utterance Understanding and Interaction.
以兒童為中心的機器人對話系統：微調大型語言模型以改善語句理解和互動。 Sensors (Basel) 2025-01-08

這個對話系統的目的是改善機器人與孩子的互動，透過更好地理解孩子獨特的語言特徵，如不完整句子和發音錯誤。現有的大型語言模型在解讀孩子意圖時不如人類準確，因此系統採用微調方法，利用人類對孩子回應的判斷差異來訓練。這樣一來，系統能更自然地理解孩子的語言，並進行適應性的對話。其有效性透過機器人社交屬性量表和合理性指標進行評估，顯示能理解並回應孩子的話語。 PubMed DOI

EmoAtlas: An emotional network analyzer of texts that merges psychological lexicons, artificial intelligence, and network science.
EmoAtlas：一個融合心理詞彙、人工智慧和網絡科學的文本情感網絡分析器。 Behav Res Methods 2025-01-27

EmoAtlas是一個情感分析計算庫，能從18種語言的文本中提取情感與詞彙聯想。它運用可解釋的人工智慧進行語法解析，根據Plutchik理論識別八種情感，並在英語和意大利語的情感檢測上表現優於BERT和ChatGPT 3.5。其憤怒檢測準確率達85.6%，速度比BERT快12倍，且無需微調。EmoAtlas還能分析文本中情感的表達，提供如酒店評論等情境下的客戶情感見解，作為獨立資源發布，旨在提取可解釋的見解。 PubMed DOI

Fine-tuning large language models for improved health communication in low-resource languages.
為低資源語言改善健康溝通的大型語言模型微調。 Comput Methods Programs Biomed 2025-02-23

這項研究提出了一種方法，旨在為越南語這種低資源語言的醫療資訊創建訓練數據集，以微調大型語言模型（LLMs）。目的是改善醫療資訊的獲取，增強發展中國家的醫療溝通。研究過程中，選擇基礎模型並彙編約337,000對提示-回應對，使用低秩適應技術進行微調。微調後的模型在多項指標上表現優於基礎模型，顯示出其在越南語健康查詢中的潛力。雖然本地部署可提升數據隱私，但高計算需求和成本仍是挑戰，研究呼籲關注醫療差距，促進全球健康公平。 PubMed DOI

Exploring emotional climate recognition in peer conversations through bispectral features and affect dynamics.
透過雙頻特徵和情感動態探索同儕對話中的情感氣候識別。 Comput Methods Programs Biomed 2025-03-26

這項研究介紹了一種名為MLBispec的新型AI方法，專注於增強對話中的情感識別，特別是情感氣候的識別。MLBispec透過雙頻譜分析提取語音信號特徵，並結合情感動態進行處理。測試結果顯示，該方法在多個數據集上表現優於現有深度學習技術，對喚起的準確率達82.6%，對價值的準確率為75.4%。此外，跨語言實驗證實了其穩健性，顯示MLBispec能有效識別對話中的情感氣候，對醫療保健、人機互動等應用有顯著提升。 PubMed DOI

原始文章

站上相關主題文章列表