原始文章

這篇論文介紹了一種新策略,稱為導航思維鏈(NavCoT),旨在提升大型語言模型(LLMs)在視覺與語言導航(VLN)中的表現。由於訓練數據與VLN任務之間的差距,LLMs常面臨挑戰。NavCoT透過領域內訓練,幫助LLM進行自我引導的導航決策,包含三個步驟:想像觀察結果、選擇最匹配的結果、決定行動。實驗顯示,NavCoT在多個VLN基準測試中表現優於傳統方法,並在R2R數據集上實現7%的提升。研究代碼已在GitHub公開。 PubMed DOI


站上相關主題文章列表

大型語言模型對機器人任務規劃有幫助,但執行任務時有困難。提出多層模型,逐層分解任務以改善處理。視覺語言模型可幫助環境感知,整合任務目標與環境數據,進行精確運動規劃。語義對齊方法可增強任務可執行性。無人載具實驗驗證了此方法對應機器人任務規劃與執行的有效應對。 PubMed DOI

這個研究旨在幫助代理人更好地理解自然語言指令,探索使用大型語言模型在決策任務中的應用。新方法CPMI整合LLMs和輔助模組,提升了在執行指令方面的表現,尤其在數據有限的情況下。 PubMed DOI

視覺語言導航(VLN)是指代理根據語言指示到達目標位置。現有的VLN代理在新場景中難以準確對齊地標。CONSOLE提出了一種新方法,利用ChatGPT和CLIP等大型模型解決地標發現問題,並透過評分模組糾正噪音,提高準確性。這種方法在VLN基準測試中表現優於基準線,實現了R2R和R4R的最新成果。 PubMed DOI

新興的思維鏈 (CoT) 推理能力可以透過改善表現和可解釋性,提升大型語言模型 (LLMs)。這項研究比較了最近六個LLMs在各種問答資料集上使用零提示的CoT推理策略。結果顯示,CoT推理策略在不同模型和資料集上都是有效的,其中GPT-4受益最多。 PubMed DOI

立場檢測是自然語言處理中的關鍵任務,能識別作者對特定議題的觀點,對社會科學研究及應用相當重要。傳統方法多依賴維基百科數據,但因文章質量不一,效果不穩定。為解決此問題,我們利用大型語言模型(LLMs)進行立場檢測,並提出推理蒸餾方法,將LLMs的推理能力轉移至更小型的語言模型(SLMs),提升效率而不影響性能。我們的LOGIC模型在VAST數據集上表現優異,超越了GPT-3.5 Turbo和GPT-4 Turbo等先進模型。 PubMed DOI

動態視覺與語言導航(DynamicVLN)任務旨在改善傳統的視覺與語言導航(VLN),融入了如車輛移動、交通信號、行人活動和天氣變化等動態因素。這項新任務要求代理不僅要遵循指示,還需在面對突發事件時展現推理和適應能力。為此,研究者創建了十個動態導航場景,並利用CARLA模擬器和大型語言模型建立了包含11,261個實例的數據集,提供真實的訓練環境,並引入基準模型以提升導航能力,目標是開發能在複雜環境中運作的強大代理。 PubMed DOI

這項研究提出了一種新方法,利用大型語言模型(LLMs)為機器人生成複雜的長期任務計畫。過去的研究多集中於簡單的任務規劃,動作指令通常不超過十個。新方法透過讓LLM主動收集資訊並進行問答,精煉任務計畫,並能識別和解決長期任務中的模糊性,增強計畫細節。研究以烹飪任務為例,實驗結果顯示,這種方法成功提升了任務計畫的資訊量,填補了長期機器人任務研究的空白。 PubMed DOI

這項工作介紹了一個名為 Voice in Head (ViH) 的新框架,利用大型語言模型 (LLMs) 和語意理解來提升機器人的導航與互動能力。系統結合了 GPT 和 Gemini LLMs,並透過強化學習 (RL) 進行持續學習。它還具備由 Azure AI Search 支持的語意搜尋功能,讓使用者能用自然語言互動。為了確保安全性,系統內建人類反饋的強化學習 (RLHF) 元件。ViH 框架成功率高達 94.54%,顯示出在認知機器人技術上的重大進展。 PubMed DOI

這份調查探討大型語言模型(LLMs)與強化學習(RL)的整合,強調它們在多任務學習、樣本效率和高層次任務規劃等方面的潛力。作者將LLMs在RL中的角色分為四個功能:資訊處理者、獎勵設計者、決策者和生成器,並針對每個角色提出方法論和未來研究方向。這份調查旨在澄清研究領域,並提供框架,應用於機器人、自動駕駛和能源系統等領域,並討論LLMs增強RL的潛在應用與挑戰。 PubMed DOI

S2ERS 技術旨在提升大型語言模型(LLMs)在迷宮環境中的空間推理能力,改善路徑規劃。它採用了三個關鍵策略:首先,透過圖結構提取,幫助 LLMs 理解空間關係,減少錯誤;其次,納入狀態-行動價值函數(Q),指導 LLM 的決策,避免陷入死胡同;最後,透過多步推理,動態插入局部 Q 表,讓 LLM 同時生成多個行動步驟。實驗顯示,S2ERS 顯著減少了空間幻覺問題,成功率和最佳率分別提高約 29% 和 19%。 PubMed DOI