新興的多模態大型語言模型（MLLMs）在圖表問題回答（CQA）上展現出潛力，但目前的研究存在一些不足。首先，過度關注數據量的收集，卻忽略了視覺編碼和特定QA任務的需求，導致數據分佈不均。其次，現有方法多針對自然圖像，未考慮圖表的獨特性。為了解決這些問題，我們提出了一種視覺參考的指令調整方法，並透過新數據引擎篩選高質量數據，改善模型的細粒度識別。實驗結果顯示，我們的方法在基準測試中持續超越其他CQA模型，並提供了未來研究的數據集劃分。相關代碼和數據集可在 https://github.com/zengxingchen/ChartQA-MLLM 獲得。 相關文章 PubMed DOI ♡

這項研究強調參照手勢在數據視覺化討論中的溝通重要性。傳統的逐字稿和錄影常忽略這些手勢，影響會議表現。為了解決這個問題，作者提出一個新框架，能捕捉游標手勢數據與音頻，並轉換成互動文件。透過大型語言模型，框架能識別口語與手勢的聯繫，提供豐富的上下文註解。用戶研究顯示，參與者更喜歡這種自動化的互動文檔，並初步建立游標手勢分類法，為協作數據分析的應用改進鋪路。 相關文章 PubMed DOI ♡

這項研究評估了GPT-4的視覺能力，特別是在視覺素養任務上的表現。結果顯示，GPT-4能識別趨勢和極端值，對視覺設計原則有一定理解，但在沒有原始數據的情況下，對簡單數值檢索表現不佳，且在區分圖表顏色時也有困難，可能出現幻覺和不一致的情況。研究反映了模型的優缺點，並探討了未來在視覺化研究中的潛力。所有相關資料可在提供的連結中找到。 相關文章 PubMed DOI ♡

這篇論文探討了自然語言轉視覺化（NL2VIS）的挑戰，並指出大型語言模型（LLMs）在此領域的潛力。作者提到，缺乏全面的基準測試使得評估LLMs的視覺化能力變得困難。為了解決這個問題，他們提出了名為VisEval的新基準測試，包含來自146個資料庫的2,524個查詢，並附有準確的標籤。此外，還引入了一種自動評估方法，評估有效性、合法性和可讀性。透過VisEval的應用，作者揭示了共同挑戰，並為未來的NL2VIS研究提供了重要見解。 相關文章 PubMed DOI ♡

大型語言模型（LLMs）在智能視覺化系統中有很大潛力，尤其在專業應用上，但整合時面臨挑戰，包括領域特定問題、視覺化過程及用戶互動。為解決這些問題，我們提出了一個框架，利用微調的LLMs來改善視覺互動。 在教育領域，智能視覺化系統能支持初學者的自我調節學習。我們介紹了Tailor-Mind，一個互動式視覺化系統，幫助AI初學者進行自我調節學習。研究顯示，Tailor-Mind能提供個性化建議，增強學習體驗，驗證了我們框架的有效性。 相關文章 PubMed DOI ♡

這項研究專注於利用名為Smartboard的互動系統，提升對籃球戰術的理解與客製化。作者與籃球專家合作，開發了一種漸進式的方法，讓使用者能在板上草擬戰術，並由教練代理模擬行動，視覺化結果。系統整合大型語言模型，方便使用者與教練代理溝通。Smartboard提供結構化流程，讓使用者能設置、模擬及演變戰術，進行針對特定情境的探索。案例研究顯示該系統在戰術分析和比賽設計上具有效性與實用性。 相關文章 PubMed DOI ♡

隨著籃球越來越受歡迎，許多球迷在快速且複雜的比賽中感到難以跟上。為了解決這個問題，我們推出了Sportify，一個視覺問答系統，幫助球迷理解籃球戰術。Sportify提供三種動作視覺化—傳球、切入和掩護，並利用大型語言模型來解釋球員的行動。我們測試了Sportify的效果，結果顯示它顯著提升了球迷的戰術理解，並豐富了觀賽體驗，特別是第三人稱敘述提供了詳細解釋，而第一人稱則增強了參與感。 相關文章 PubMed DOI ♡

這篇論文介紹了KNOWNET，一個結合大型語言模型（LLMs）和知識圖譜（KGs）的視覺化系統，旨在提升健康資訊的準確性和探索性。它針對LLMs可能產生的錯誤資訊，透過提取結構化數據並與外部KGs驗證來降低風險。KNOWNET還提供結構化探索功能，根據KGs中的相關實體建議後續步驟，幫助使用者深入了解健康主題。此外，系統具備漸進式圖形視覺化功能，能追蹤過去查詢並連結當前查詢與建議。其有效性透過使用案例和專家訪談得以證實。 相關文章 PubMed DOI ♡

這篇論文探討了VILA管道的開發，該管道能自動生成多選視覺化項目，以評估視覺化素養。作者創建了1,404個候選項目，涵蓋12種圖表類型和13種視覺化任務，並與專家合作制定評估規則，最終形成約1,100個高品質的VILA資料庫。研究指出VILA管道的局限性，強調人類監督的重要性。此外，作者還開發了VILA-VLAT測試，顯示出良好的效度。最後，論文提供了對VILA的應用建議及實用指導，相關材料可在線獲取。 相關文章 PubMed DOI ♡

LLM Comparator 是一款視覺分析工具，透過並排比較來提升對大型語言模型（LLMs）的評估。它解決了 LLM 評估中可擴展性和可解釋性的問題，讓使用者能分析為何某模型表現優於另一模型。這工具與 Google 專業人士合作開發，提供深入分析個別範例的流程，並讓使用者視覺化探索數據，識別模式、形成假設，並獲得改進模型的見解。LLM Comparator 已整合進 Google 的評估平台，並開源供更多人使用。 相關文章 PubMed DOI ♡