原始文章

VOICE 是一套結合大型語言模型和互動視覺化的科學溝通工具,能用語音指令即時操作 3D 模型並獲得解說。它採雙層代理架構、微調和提示工程,並以分子視覺化為例,經用戶研究證實能有效滿足需求。更多資訊可見 https://osf.io/g7fbr。 PubMed DOI


站上相關主題文章列表

可解釋的人工智慧(XAI)是一個快速發展的領域,旨在讓機器學習模型更透明易懂。在化學領域,XAI 對於揭示分子結構與性質的關係特別重要,但現有方法多數針對專業人士,限制了普及性。 為了解決這個問題,我們提出了 XpertAI 框架,結合 XAI 技術與大型語言模型(LLMs),能夠自動生成化學數據的自然語言解釋,讓更多人能理解。 我們進行了五個案例研究,結果顯示 XpertAI 成功結合了 LLMs 和 XAI 工具,提供具體且科學準確的解釋,讓複雜的化學數據更易於理解。 PubMed DOI

這項工作介紹了一個名為 Voice in Head (ViH) 的新框架,利用大型語言模型 (LLMs) 和語意理解來提升機器人的導航與互動能力。系統結合了 GPT 和 Gemini LLMs,並透過強化學習 (RL) 進行持續學習。它還具備由 Azure AI Search 支持的語意搜尋功能,讓使用者能用自然語言互動。為了確保安全性,系統內建人類反饋的強化學習 (RLHF) 元件。ViH 框架成功率高達 94.54%,顯示出在認知機器人技術上的重大進展。 PubMed DOI

LightVA 框架旨在透過整合大型語言模型 (LLM) 代理,簡化視覺分析過程,幫助分析師更有效地規劃和執行任務。其主要組成包括: 1. **任務提案與規劃**:將複雜任務分解為可管理的部分,提升組織與執行效率。 2. **數據建模與視覺化**:執行者負責生成視覺化圖表及數據分析。 3. **動態控制**:控制器協調規劃者與執行者的互動,隨任務變化調整複雜度。 4. **用戶互動**:提供任務流程圖和互動式視覺化面板,增強用戶控制感。 實際場景與專家研究顯示,LightVA 有潛力改善視覺分析工作流程,讓其更智能且友善於用戶。 PubMed DOI

大型語言模型(LLMs)因為能用簡單的提示處理各種自然語言任務而受到廣泛歡迎,讓非專家也能輕鬆使用。不過,撰寫有效的提示卻不容易,因為需要特定知識。為了幫助用戶改善提示,我們開發了PROMPTAID,這是一個互動式的視覺分析系統,能讓用戶創建、精煉和測試提示。PROMPTAID透過協調視覺化,促進關鍵字擾動、意義重述和選擇最佳範例,並經過專家意見和用戶研究驗證,讓用戶能輕鬆迭代提示,生成多樣選項,並有效分析提示表現。 PubMed DOI

這篇文件探討擴增實境(XR)的快速發展,並強調大型語言模型(LLMs)整合進XR系統的潛力。它提出三個主要支柱:感知與情境意識、知識建模與推理,以及視覺化與互動。這種整合在神經康復、安全訓練和建築設計等領域具有顯著好處,同時也需考量隱私、透明度和包容性等倫理問題。文件鼓勵進一步研究,目的是創造更智能且以使用者為中心的XR系統。 PubMed DOI

大型語言模型(LLMs)如GPT-4與擴增實境(XR)技術結合,能創造沉浸式環境,並透過自然語言與使用者互動。不過,XR環境的複雜性使得提取上下文數據變得困難,導致成本上升和錯誤產生。為了解決這些問題,我們推出了LLMER框架,利用LLMs生成的JSON數據來構建互動式XR世界。LLMER能有效減少應用崩潰和延遲,初步研究顯示其令牌消耗減少超過80%,任務完成時間減少約60%。使用者反饋也指出了優化的空間。 PubMed DOI

這篇論文介紹一套得獎的3D超擬真互動數位人系統,採用模組化客戶端-伺服器架構,結合LLM、語音辨識、自然語言處理和情感TTS技術。透過電腦圖學和AI,打造擬真3D虛擬人,目標是革新數位內容的製作和應用方式,並探討未來發展潛力。 PubMed DOI

這篇論文介紹一套語音超市助理系統,評比四種語音辨識工具,發現 OpenAI 的 Whisper 準確度最高。團隊還開發多LLM聊天機器人架構,使用體驗比單一GPT-4 Turbo更好,能把回應連結到貨架位置,方便機器人導航。結果顯示,結合多個專業模型比只用一個大型模型更有效。 PubMed DOI

這篇論文介紹「Visualizationary」系統,結合 ChatGPT 與視覺化設計指引,能針對使用者的圖表給予個人化、具體的改進建議,且不需寫程式。13 位參與者的研究顯示,透過 LLM 以自然語言指導,能有效提升不同經驗者的視覺化設計能力。補充資料可在 https://osf.io/v7hu8 查詢。 PubMed DOI

大型語言模型在視覺化任務中,特別有專家指引時,能模擬人類評分與推理,且在專家信心高時表現與人類相近。不過,LLMs在穩定性和偏誤上仍有限,適合用來快速原型評估,但還是無法完全取代傳統使用者研究。 PubMed DOI