這篇論文探討了在人機合作環境中運用大型語言模型（LLMs）如GPT進行口語溝通的方法。介紹了一個以GPT為核心的機器人代理在Unity VR環境中的模擬框架。透過12位參與者的使用者研究，探討了GPT-4在多機器人環境中的效用。研究結果顯示，使用者可能對與機器人互動有先入為主的看法，但透過自然語言溝通的探索，可以帶來更有效的互動。同時提供了寶貴的教訓和未來研究的建議。 PubMed DOI

虛擬助手能模仿人類對話，對提升醫療保健，特別是血管外科，潛力巨大。它們可協助醫生與病人進行診斷、管理疾病，並處理行政事務。隨著血管疾病增加，這些數位工具能減輕醫療人員的負擔。隨著人工智慧和自然語言處理的進步，像GPT-4的模型能推動虛擬助手的發展，促進多學科護理。然而，實施時需考量設計、安全性及倫理等問題，以確保技術的公平與有效使用。本文將探討虛擬助手在血管外科的應用及其優缺點。 PubMed DOI

人機協作（HRC）是一種創新的製造方式，結合人類與機器人的優勢，提升客製化任務的效率與靈活性。不過，現有的HRC系統在環境感知和任務推理上仍有挑戰，特別是對新物體的適應性不足。為了解決這些問題，本文提出利用基礎模型（FMs），如大型語言模型（LLMs）和視覺基礎模型（VFMs），來增強HRC系統的靈活性與泛化能力。透過提示學習和多模型整合，這些方法能有效提升任務推理與場景感知的能力，並在實驗中證實其有效性。 PubMed DOI

動態視覺與語言導航（DynamicVLN）任務旨在改善傳統的視覺與語言導航（VLN），融入了如車輛移動、交通信號、行人活動和天氣變化等動態因素。這項新任務要求代理不僅要遵循指示，還需在面對突發事件時展現推理和適應能力。為此，研究者創建了十個動態導航場景，並利用CARLA模擬器和大型語言模型建立了包含11,261個實例的數據集，提供真實的訓練環境，並引入基準模型以提升導航能力，目標是開發能在複雜環境中運作的強大代理。 PubMed DOI

這個專案專注於為電動輪椅打造一個互動控制系統，使用機器人操作系統（ROS）。系統具備友善的網頁介面和由 Google Gemini 驅動的聊天機器人，提升用戶的控制與個性化體驗。 主要方法包括： 1. **API 整合**：存取用戶偏好資料庫。 2. **臉部識別**：根據用戶身份調整回應。 3. **群體識別**：協助導航。 4. **自適應聊天機器人回應**：提供量身定制的互動。 測試結果顯示，系統能根據用戶偏好調整輪椅行為，提升安全性與個性化導航，顯著改善使用者的自主性與生活品質。 PubMed DOI

這項工作介紹了一個名為 Voice in Head (ViH) 的新框架，利用大型語言模型 (LLMs) 和語意理解來提升機器人的導航與互動能力。系統結合了 GPT 和 Gemini LLMs，並透過強化學習 (RL) 進行持續學習。它還具備由 Azure AI Search 支持的語意搜尋功能，讓使用者能用自然語言互動。為了確保安全性，系統內建人類反饋的強化學習 (RLHF) 元件。ViH 框架成功率高達 94.54%，顯示出在認知機器人技術上的重大進展。 PubMed DOI

遠端視覺輔助（RSA）技術透過即時視訊連結視力障礙者與有視力的代理人，協助他們導航。研究發現使用者和代理人面臨四大挑戰：定位困難、環境解讀問題、情境資訊提供挑戰，以及網路不良影響。研究識別了15個導航挑戰，並提出10個新興問題，強調人類與人工智慧（AI）合作的重要性。隨著大型語言模型的發展，RSA與AI的整合有望提升視覺輔助技術的效能。 PubMed DOI

大型語言模型（LLMs）已經在實驗室工作流程中帶來了顯著進展，特別是在化學研究的自主化方面。本報告介紹了ChemAgents，這是一個由多代理系統和Llama-3.1-70B LLM驅動的機器人AI化學家。ChemAgents能在少量人類介入下執行複雜實驗，並協調文獻閱讀、實驗設計、計算執行和機器人操作等四個專門代理。系統在六個實驗任務中展現了其有效性，並成功在新機器人化學實驗室中自主進行光催化反應，顯示出其可擴展性和適應性，為化學研究的自主化鋪平道路。 PubMed DOI

機器人單目姿態估計是神經網絡中的重要技術，結合了單目同時定位與地圖建構（SLAM）和單視角物體姿態估計（OPE）。這些技術的核心包括深度預測網絡、語意理解、神經隱式表示和大型語言模型（LLMs）。若能開發出一個完整的單目姿態估計系統，將大幅提升機器人的實際能力。未來的研究可能會著重於提高準確性和效率，並探討這些技術在實際應用中的整合可能性。 PubMed DOI