原始文章

大型語言模型(LLMs)雖然受到廣泛關注,但其潛在的濫用風險也令人擔憂,特別是越獄提示(jailbreak prompts)這類攻擊。雖然LLMs會定期更新安全措施,但惡意用戶常隱藏成功的提示,讓識別漏洞變得困難。為了解決這個問題,我們提出了JailbreakHunter,一個視覺分析工具,能夠識別對話數據中的越獄提示。它包含三個分析層級,幫助用戶了解對話分佈、追蹤進展及探索提示的相似性,顯示出增強LLM互動中越獄提示檢測的潛力。 PubMed DOI


站上相關主題文章列表

大型語言模型(LLMs)雖然在文本生成和對話式AI上帶來革命,但也伴隨著安全風險,如越獄攻擊,可能被惡意利用來散播錯誤資訊。為了解決這些問題,Prompt Guarding(Prompt-G)利用向量資料庫和嵌入技術來評估生成文本的可信度,並即時檢測有害內容。經過分析自我提醒攻擊的數據集,Prompt-G 成功降低了越獄攻擊的成功率至 2.08%。該模型的源代碼可在這裡找到:https://doi.org/10.5281/zenodo.13501821。 PubMed DOI

這篇論文介紹了一種新的網路安全異常檢測方法,叫做「透過引導提示的表格異常檢測」(TAD-GP)。它使用了一個擁有70億參數的開源大型語言模型,並結合了多種創新策略,如數據樣本引入和思考鏈推理。實驗結果顯示,這個方法在三個數據集上F1分數顯著提升,分別增加了79.31%、97.96%和59.09%。特別是較小的TAD-GP模型在性能上超越了大型模型,顯示出在資源有限環境中的有效性,適合私有部署,填補了網路安全異常檢測的重要空白。 PubMed DOI

這項研究指出醫療領域的視覺語言模型(VLMs)存在重大安全漏洞,容易受到提示注入攻擊。這些攻擊能在不接觸內部參數的情況下,生成有害資訊。研究評估了四個先進的VLMs,發現它們皆有脆弱性,尤其是將微妙提示嵌入醫學影像中,可能導致難以察覺的有害輸出。這對VLMs在臨床上的安全使用構成風險,顯示在廣泛應用前需制定相應的防範措施。 PubMed DOI

LightVA 框架旨在透過整合大型語言模型 (LLM) 代理,簡化視覺分析過程,幫助分析師更有效地規劃和執行任務。其主要組成包括: 1. **任務提案與規劃**:將複雜任務分解為可管理的部分,提升組織與執行效率。 2. **數據建模與視覺化**:執行者負責生成視覺化圖表及數據分析。 3. **動態控制**:控制器協調規劃者與執行者的互動,隨任務變化調整複雜度。 4. **用戶互動**:提供任務流程圖和互動式視覺化面板,增強用戶控制感。 實際場景與專家研究顯示,LightVA 有潛力改善視覺分析工作流程,讓其更智能且友善於用戶。 PubMed DOI

大型語言模型(LLMs)因為能用簡單的提示處理各種自然語言任務而受到廣泛歡迎,讓非專家也能輕鬆使用。不過,撰寫有效的提示卻不容易,因為需要特定知識。為了幫助用戶改善提示,我們開發了PROMPTAID,這是一個互動式的視覺分析系統,能讓用戶創建、精煉和測試提示。PROMPTAID透過協調視覺化,促進關鍵字擾動、意義重述和選擇最佳範例,並經過專家意見和用戶研究驗證,讓用戶能輕鬆迭代提示,生成多樣選項,並有效分析提示表現。 PubMed DOI

這篇論文評估了兩個大型語言模型(LLMs)的視覺素養,分別是 OpenAI 的 GPT 和 Google 的 Gemini。研究目的是建立它們在視覺化能力上的基準。雖然這些模型在生成描述和圖表設計上有潛力,但它們的視覺化評估能力仍未被充分檢視。透過修改過的 53 項視覺素養評估測試(VLAT),結果顯示這些 LLMs 的視覺素養水平低於普通公眾,且在回答問題時多依賴先前知識,而非視覺化呈現的信息。 PubMed DOI

資訊保障和網路安全隨著科技進步和威脅複雜化而不斷演變。本研究利用大型語言模型和自然語言處理技術,分析1967年至2024年的文獻,資料來自62,000多份Scopus文件。研究分為兩個階段:主題檢測和自動摘要,並針對不同時間區間進行分析。結果顯示,綜合方法在關鍵字定義任務中有顯著改進,生成的摘要在多項指標上表現優異,並保持書目參考的邏輯完整性,突顯資訊保障的焦點轉變及未來趨勢。 PubMed DOI

ACBreaker 是一套用大型語言模型(LLM)協助找出物聯網裝置網頁介面存取控制漏洞的新方法。它會先把韌體程式碼拆成小區塊,再用 LLM 萃取裝置細節,最後結合模糊測試來找漏洞。實測 11 款裝置,發現 39 個新漏洞,部分還拿到 CVE 編號。 PubMed DOI

這篇論文介紹一套由大型語言模型協助的分析框架,專門用來研究如何繞過LLM安全限制的jailbreak攻擊。作者開發了JailbreakLens視覺化工具,能自動評估攻擊成效、分析提示特徵,並協助優化攻擊方式。這套系統能提升安全評估效率,幫助找出模型弱點,並已獲專家肯定。 PubMed DOI

這項研究發現,LLM像ChatGPT-4o能快速抓到結構和後勤主題,但人類分析師更能掌握情感和心理細節。結合兩者分析,有助提升健康研究的廣度和深度。作者建議未來可採用這種混合方式。 PubMed DOI