原始文章

VOICE 是一套結合大型語言模型和互動視覺化的科學溝通工具,能用語音指令即時操作 3D 模型並獲得解說。它採雙層代理架構、微調和提示工程,並以分子視覺化為例,經用戶研究證實能有效滿足需求。更多資訊可見 https://osf.io/g7fbr。 PubMed DOI


站上相關主題文章列表

本文探討了如何透過大型語言模型(LLM)推動人機互動,並超越傳統的可解釋人工智慧(XAI)範式,考慮LLM的認知解釋。作者方法著重於認知建模、遺傳算法、神經網絡、因果循環動力學和特徵實現等解決方案,使XAI更具目的性和持續性。研究結果顯示,在信息處理中應用LLM需要特定結構條件,尤其在戰略規劃情境下,可加速集體問題解決。這研究有助於各領域發展可解釋的LLM。 PubMed DOI

這段文字探討自然語言在人工與機器互動中的新角色,特別是在生物化學任務上,如性質預測和分子挖掘。作者提出「對話式分子設計」,讓使用者能用自然語言描述和編輯分子。為此,他們開發了ChatMol,一個結合實驗數據和化學知識的生成式預訓練模型。研究證明這種方法的有效性,並提供了未來在分子發現中自然語言互動的見解,相關資源也在GitHub上公開。 PubMed DOI

大型語言模型(LLMs)在智能視覺化系統中有很大潛力,尤其在專業應用上,但整合時面臨挑戰,包括領域特定問題、視覺化過程及用戶互動。為解決這些問題,我們提出了一個框架,利用微調的LLMs來改善視覺互動。 在教育領域,智能視覺化系統能支持初學者的自我調節學習。我們介紹了Tailor-Mind,一個互動式視覺化系統,幫助AI初學者進行自我調節學習。研究顯示,Tailor-Mind能提供個性化建議,增強學習體驗,驗證了我們框架的有效性。 PubMed DOI

可解釋的人工智慧(XAI)是一個快速發展的領域,旨在讓機器學習模型更透明易懂。在化學領域,XAI 對於揭示分子結構與性質的關係特別重要,但現有方法多數針對專業人士,限制了普及性。 為了解決這個問題,我們提出了 XpertAI 框架,結合 XAI 技術與大型語言模型(LLMs),能夠自動生成化學數據的自然語言解釋,讓更多人能理解。 我們進行了五個案例研究,結果顯示 XpertAI 成功結合了 LLMs 和 XAI 工具,提供具體且科學準確的解釋,讓複雜的化學數據更易於理解。 PubMed DOI

這項工作介紹了一個名為 Voice in Head (ViH) 的新框架,利用大型語言模型 (LLMs) 和語意理解來提升機器人的導航與互動能力。系統結合了 GPT 和 Gemini LLMs,並透過強化學習 (RL) 進行持續學習。它還具備由 Azure AI Search 支持的語意搜尋功能,讓使用者能用自然語言互動。為了確保安全性,系統內建人類反饋的強化學習 (RLHF) 元件。ViH 框架成功率高達 94.54%,顯示出在認知機器人技術上的重大進展。 PubMed DOI

LightVA 框架旨在透過整合大型語言模型 (LLM) 代理,簡化視覺分析過程,幫助分析師更有效地規劃和執行任務。其主要組成包括: 1. **任務提案與規劃**:將複雜任務分解為可管理的部分,提升組織與執行效率。 2. **數據建模與視覺化**:執行者負責生成視覺化圖表及數據分析。 3. **動態控制**:控制器協調規劃者與執行者的互動,隨任務變化調整複雜度。 4. **用戶互動**:提供任務流程圖和互動式視覺化面板,增強用戶控制感。 實際場景與專家研究顯示,LightVA 有潛力改善視覺分析工作流程,讓其更智能且友善於用戶。 PubMed DOI

大型語言模型(LLMs)因為能用簡單的提示處理各種自然語言任務而受到廣泛歡迎,讓非專家也能輕鬆使用。不過,撰寫有效的提示卻不容易,因為需要特定知識。為了幫助用戶改善提示,我們開發了PROMPTAID,這是一個互動式的視覺分析系統,能讓用戶創建、精煉和測試提示。PROMPTAID透過協調視覺化,促進關鍵字擾動、意義重述和選擇最佳範例,並經過專家意見和用戶研究驗證,讓用戶能輕鬆迭代提示,生成多樣選項,並有效分析提示表現。 PubMed DOI

大型語言模型(LLMs)如GPT-4與擴增實境(XR)技術結合,能創造沉浸式環境,並透過自然語言與使用者互動。不過,XR環境的複雜性使得提取上下文數據變得困難,導致成本上升和錯誤產生。為了解決這些問題,我們推出了LLMER框架,利用LLMs生成的JSON數據來構建互動式XR世界。LLMER能有效減少應用崩潰和延遲,初步研究顯示其令牌消耗減少超過80%,任務完成時間減少約60%。使用者反饋也指出了優化的空間。 PubMed DOI

這篇論文介紹一套得獎的3D超擬真互動數位人系統,採用模組化客戶端-伺服器架構,結合LLM、語音辨識、自然語言處理和情感TTS技術。透過電腦圖學和AI,打造擬真3D虛擬人,目標是革新數位內容的製作和應用方式,並探討未來發展潛力。 PubMed DOI

這篇論文介紹「Visualizationary」系統,結合 ChatGPT 與視覺化設計指引,能針對使用者的圖表給予個人化、具體的改進建議,且不需寫程式。13 位參與者的研究顯示,透過 LLM 以自然語言指導,能有效提升不同經驗者的視覺化設計能力。補充資料可在 https://osf.io/v7hu8 查詢。 PubMed DOI