原始文章

LLMs 只靠語言就能學到像人類一樣的抽象概念,但在感官和動作相關的概念上,跟人類還是有落差。加入視覺等多感官訓練後,LLMs 在這些領域的表現會更接近人類。這說明多感官經驗對 LLMs 形成完整人類概念很重要。 PubMed DOI


站上相關主題文章列表

大型語言模型(LLMs)與人形機器人的結合,能顯著提升機器人透過自然互動學習的能力。首先,LLMs幫助機器人理解人類語言,促進更流暢的互動。其次,機器人能透過對話學習情境行為,並根據反饋調整行動。此外,LLMs提供社交知識,幫助機器人理解情感與社交規範。它們還能作為知識庫,讓機器人動態學習新概念。最後,透過模擬與角色扮演,機器人能在安全環境中練習複雜的社交互動。 PubMed DOI

隨著城市成為人類活動的核心,城市感知的重要性日益提升。大型語言模型(LLMs)透過其語言框架,為城市感知帶來新機會。本文探討LLMs在理解城市機制上的潛力,重點在於改善人類與LLMs的知識轉移、提升對城市運作的認識,以及透過LLM代理實現自動化決策。雖然LLMs能提供更深入的城市動態理解,但也面臨多模態數據整合、時空推理、文化適應性和隱私等挑戰。未來的城市感知需善用LLMs的智慧,並克服這些挑戰,以促進智能和可持續的城市發展。 PubMed DOI

大型語言模型像GPT-4雖然能解簡單的心智理論題目,但遇到複雜、貼近人類的推理還是有困難。它們的表現可能只是剛好符合測驗方式,並不代表真的理解。現有研究多用文字題,忽略人類社會認知的多元面向。這篇評論提醒大家,LLMs不等於真正的人類心智理論,未來評估方式要更貼近現實。 PubMed DOI

大型語言模型正帶動材料科學革新,讓自動化材料發現成真,像是資料擷取、性質預測都更有效率。不過,目前還有專業知識整合不夠、資源消耗大等問題。未來要加強LLM的適應性、效率和可信度,才能讓這些技術在實際應用上更可靠、更公平。 PubMed DOI

近期有研究質疑大型語言模型(LLMs)是否真的會類比推理,還是只是在模仿資料。雖然有些測試顯示LLMs表現不佳,但本研究發現,只要讓LLMs能寫和執行程式碼,即使在全新題型上也能舉一反三,證明它們真的有類比推理能力,不只是死背或模仿。 PubMed DOI

作者發現,單純的VLMs在影像分類上表現比結合LLMs還好,但LLMs在需要推理或外部知識時有優勢。為此,他們提出一個輕量級的LLM router,能自動分配任務給最適合的模型。這方法用超過250萬組資料訓練,效果不輸GPT-4V等先進系統,且成本更低。 PubMed DOI

這篇論文提出新方法,測試大型語言模型(LLMs)能否監控和調整自己的神經激活狀態,也就是「後設認知」能力。結果發現,LLMs能學會回報並影響部分內部活動,但只侷限在較低維度的範圍。這對理解AI運作和提升AI安全性有重要意義。 PubMed

大型語言模型在視覺化任務中,特別有專家指引時,能模擬人類評分與推理,且在專家信心高時表現與人類相近。不過,LLMs在穩定性和偏誤上仍有限,適合用來快速原型評估,但還是無法完全取代傳統使用者研究。 PubMed DOI

大型語言模型能準確重現多數心理學實驗,效果有時甚至比真人還明顯。不過,遇到社會敏感議題或原研究沒發現效果時,模型容易高估結果。LLMs 適合做初步、快速研究,但遇到複雜或敏感議題,還是得靠真人參與才能更全面。 PubMed DOI

這篇論文探討用大型語言模型從非結構化或半結構化文本中自動擷取感測器資料,並強調設計精確提示語讓模型輸出標準 JSON 格式。實驗發現 GPT-4 效果最好,但資料結構明確時,開源模型表現也不差。小型模型處理自由文本較弱,但對表格資料還行;大型模型則更穩定可靠。 PubMed DOI