原始文章

這篇論文探討了人體與機器人互動中,單一模式數據的限制,特別是在廚房環境下,並提出新的多模態數據收集方法。研究收集了來自20位成人的數據,使用17種廚房工具,涵蓋觸覺、肌電圖(EMG)、音頻、全身運動和眼動追蹤等多種數據類型。這個數據集包含680個片段,約11小時的數據,並在七種模態中有56,000個標註。研究旨在提升多樣數據在具身人工智慧中的整合,為機器人技能學習設定新基準。 PubMed DOI


站上相關主題文章列表

物聯網產生大量數據,但因處理和互通性限制,數據未被充分運用。歐洲提倡改善感應器數據訪問,尊重知識產權。新方法利用語言模型轉換數據,提高可重複使用性。GPT-4在實驗中表現出高精確度和召回率,顯示其潛力。 PubMed DOI

TrollLabs比較了人類參與者和生成式人工智慧在駭客松活動中的表現,提供了116個原型和433條邊緣供分析。這個數據集對於研究人員、學生和業界專業人士來說是一個寶貴的資源,可用於了解人工智慧在設計中的影響和限制,並提供更好的整合建議。 PubMed DOI

傳統的飲食評估方式可能不夠客觀且耗時,但現在有人工智慧(AI)解決方案可以自動化這個過程。這項研究使用GPT-4V模型驅動ChatGPT進行飲食評估,表現出在檢測食物和識別菜餚方面的潛力。這個方法不需要特定訓練數據,並且可以根據上下文提示來估計食物份量,提高評估的準確性。 PubMed DOI

隨著醫療保健中情緒監測的重要性提升,基於腦電圖(EEG)的多模態情緒識別系統逐漸受到重視。然而,日常醫療環境中獲取EEG信號的困難,常導致數據不完整。為了解決這個問題,研究人員提出了一個多教師知識蒸餾框架,結合大型語言模型(LLM)來增強特徵學習。透過LLM提取時間特徵,圖卷積神經網絡則負責空間特徵,並引入因果遮罩和信心指標以提升特徵轉移的相關性。實驗結果顯示,該模型在不完整模態下表現優於現有方法,顯示大型模型在醫療情緒識別中的潛力。相關代碼已公開,網址為 https://github.com/yuzhezhangEEG/LM-KD。 PubMed DOI

隨著人工智慧的快速進步,服務機器人在日常生活中越來越普遍,這要求它們能準確識別人類意圖。現有方法在複雜環境中常常無法達標。為了解決這個問題,我們提出了一個基於大型語言模型和知識圖譜的意圖識別框架(LKIRF)。這個框架結合了大型語言模型和知識圖譜,提升了服務機器人的意圖識別能力。實驗結果顯示,LKIRF在各種場景中的預測準確性超越傳統方法,並增強了意圖推理的透明度和可解釋性。 PubMed DOI

這篇論文探討了多模態大型語言模型(MLLMs)的最新進展,特別是像GPT-4V這類結合語言處理與多模態任務的模型。作者強調了MLLMs的獨特能力,例如從圖像生成敘事及進行複雜推理,顯示出朝向人工通用智慧的潛力。論文提供了MLLMs的全面概述,包括架構、訓練策略和評估方法,並探討了增強其適應性的方法。此外,還討論了多模態幻覺等問題及未來研究方向,以提升MLLM的能力。 PubMed DOI

這篇文章探討感測器技術(如環境感測器、生物識別和物聯網設備)與對話式人工智慧(如ChatGPT 4.0)的整合。強調即時數據如何增強AI對環境和使用者情境的理解。內容涵蓋感測器網路的科學原理、數據處理技術,以及這些技術如何與生成模型結合,創造智能互動系統。主要主題包括ChatGPT分析感測器數據進行情境對話、醫療應用(如穿戴式感測器和AI聊天機器人)及智慧家庭互動,旨在促進感測器技術與AI開發的研究進展。 PubMed DOI

這項研究提出了一種新方法,利用大型語言模型(LLMs)為機器人生成複雜的長期任務計畫。過去的研究多集中於簡單的任務規劃,動作指令通常不超過十個。新方法透過讓LLM主動收集資訊並進行問答,精煉任務計畫,並能識別和解決長期任務中的模糊性,增強計畫細節。研究以烹飪任務為例,實驗結果顯示,這種方法成功提升了任務計畫的資訊量,填補了長期機器人任務研究的空白。 PubMed DOI

這項研究探討自閉症兒童的挑戰性行為,特別是攻擊性和自我傷害。修訂版家庭觀察量表第三版(FOS-R-III)是一個用於評估這些行為的工具。以往的AI方法多集中於視覺數據,缺乏臨床相關量表。本研究引入AV-FOS模型,結合音頻和視覺數據,並基於FOS-R-III進行編碼,能準確識別互動風格。此外,研究還使用多模態大型語言模型GPT4V進行比較,認為這些進展將提升自閉症研究的臨床應用。 PubMed DOI

功能性動作篩檢(FMS)對於評估運動技能及預防運動傷害非常重要,但現有的深度學習自動評估方法僅提供排名分數,缺乏詳細反饋,影響其有效性。為了解決這個問題,我們開發了LLM-FMS數據集,包含1812個關鍵幀圖像及七個FMS動作的詳細數據。我們還提出了一個新框架,利用大型語言模型(LLMs)來評估動作質量,結合專家規則和關鍵骨骼特徵,提供更準確且可解釋的評估結果,顯示出我們方法的潛力。 PubMed DOI