原始文章

隨著籃球越來越受歡迎,許多球迷在快速且複雜的比賽中感到難以跟上。為了解決這個問題,我們推出了Sportify,一個視覺問答系統,幫助球迷理解籃球戰術。Sportify提供三種動作視覺化—傳球、切入和掩護,並利用大型語言模型來解釋球員的行動。我們測試了Sportify的效果,結果顯示它顯著提升了球迷的戰術理解,並豐富了觀賽體驗,特別是第三人稱敘述提供了詳細解釋,而第一人稱則增強了參與感。 PubMed DOI


站上相關主題文章列表

資料影片越來越受歡迎,透過結合視覺化和敘述方式有效地講述數據故事。製作這些影片需要各種技能和手動工作。一種名為「資料播放器」的新方法通過生成動態資料影片與敘述-動畫互動來自動化這個過程。它通過將視覺元素與文字輸入相連,使用語言模型來連接文字和視覺,並根據敘述推薦適合的動畫,簡化了透過敘述創建資料影片的過程。評估結果顯示,「資料播放器」能夠製作出與人類創建的高質量資料影片相似的作品。 PubMed DOI

討論了KnowledgeVIS,一個視覺分析系統,協助研究人員和工程師理解大型語言模型運作方式。使用者可比較預測結果、創建提示變化、分析預測單詞,透過互動式視覺化發現見解。經專家反饋測試,適用於生物醫學、刻板印象評估,以及發現通用模型中的事實和關係。 PubMed DOI

這篇論文探討了在教育領域運用生成式人工智慧(AI)的好處,專注於設計AI教育影片助手以提升多元學習體驗。這個工具整合了轉錄、參與度和強化模組,運用自動語音識別技術。研究結果透過人工評估和自動指標的綜合方式評估了這個工具對學習體驗的影響,顯示對參與度、內容組織和可用性有積極影響,呈現AI強化教育設計並提供個人化學習體驗的潛力。 PubMed DOI

記者們現在越來越喜歡運用數據分析和視覺化來增加新聞的吸引力和資訊性。然而,新聞業缺乏專門支援的工具。這項研究專注於自然語言處理,自動生成體育新聞。系統SNIL結合人類和語言模型,修改文本和圖形內容。使用者研究顯示了系統的可用性,以及在新聞業中分析和溝通任務之間建立橋樑的好處。 PubMed DOI

研究探討如何利用大型語言模型(LLMs)協助資料素養較低者理解複雜的視覺化,結果顯示LLM能有效幫助使用者理解圖表並鼓勵進一步探索。然而,過度依賴LLM代理人可能導致洞察不足,呈現潛在風險。研究建議妥善平衡利用LLMs提升視覺化素養的方法。 PubMed DOI

研究探討了低成本虛擬逃脫遊戲中使用GPT人工智慧語言模型的可行性。結果顯示GPT透過語音互動能幫助解決虛擬實境中的邏輯挑戰,使用者對其協助給予正面回饋,但也指出處理複雜挑戰的限制。研究提出GPT在解決問題中有潛力,但在拼圖難度和情境理解方面仍有改進空間。這項研究討論了整合GPT等人工智慧模型在虛擬遊戲中的機會和挑戰,為未來發展提供了洞察。 PubMed DOI

這篇論文介紹了Cap4Video++,一個新框架,透過整合用戶生成的元數據(特別是視頻字幕)來提升視頻理解。框架分為三個階段: 1. **輸入階段**:利用語義對樣本選擇從字幕中挑選有用樣本,支援對比學習。 2. **中間階段**:進行視頻-字幕跨模態互動和自適應字幕選擇,增強視頻與字幕的表徵。 3. **輸出階段**:設有互補的字幕-文本匹配分支,精煉相似度計算,改善視頻表徵。 實驗結果顯示,Cap4Video++在九個基準測試中表現優於現有模型,證明自動生成字幕能有效增強視頻理解。 PubMed DOI

這項研究專注於利用名為Smartboard的互動系統,提升對籃球戰術的理解與客製化。作者與籃球專家合作,開發了一種漸進式的方法,讓使用者能在板上草擬戰術,並由教練代理模擬行動,視覺化結果。系統整合大型語言模型,方便使用者與教練代理溝通。Smartboard提供結構化流程,讓使用者能設置、模擬及演變戰術,進行針對特定情境的探索。案例研究顯示該系統在戰術分析和比賽設計上具有效性與實用性。 PubMed DOI

大型語言模型(LLMs)在智能視覺化系統中有很大潛力,尤其在專業應用上,但整合時面臨挑戰,包括領域特定問題、視覺化過程及用戶互動。為解決這些問題,我們提出了一個框架,利用微調的LLMs來改善視覺互動。 在教育領域,智能視覺化系統能支持初學者的自我調節學習。我們介紹了Tailor-Mind,一個互動式視覺化系統,幫助AI初學者進行自我調節學習。研究顯示,Tailor-Mind能提供個性化建議,增強學習體驗,驗證了我們框架的有效性。 PubMed DOI

新興的多模態大型語言模型(MLLMs)在圖表問題回答(CQA)上展現出潛力,但目前的研究存在一些不足。首先,過度關注數據量的收集,卻忽略了視覺編碼和特定QA任務的需求,導致數據分佈不均。其次,現有方法多針對自然圖像,未考慮圖表的獨特性。為了解決這些問題,我們提出了一種視覺參考的指令調整方法,並透過新數據引擎篩選高質量數據,改善模型的細粒度識別。實驗結果顯示,我們的方法在基準測試中持續超越其他CQA模型,並提供了未來研究的數據集劃分。相關代碼和數據集可在 https://github.com/zengxingchen/ChartQA-MLLM 獲得。 PubMed DOI