原始文章

這篇論文提出 AFSPrompt,一種免訓練的新方法,專門用來挑選和組織知識型視覺問答的範例。它用語意概念來描述範例,讓選擇過程更透明、可信。AFSPrompt 先用多模態嵌入過濾不相關範例,再用模糊集合邏輯排序,適合小型語言模型,減少對大型 API 依賴。實驗證明能有效提升 VQA 表現。程式碼:https://github.com/afs001/AFSPrompt PubMed DOI


站上相關主題文章列表

視覺語言模型(VLMs)在跨模態推理上表現優異,因為它們能整合視覺與語言特徵。最近的進展集中在透過提示學習進行微調,以適應不同任務。TCP方法雖然能增強VLM的泛化能力,但固定的文本模板可能無法捕捉細微的類別差異。 為了解決這個問題,我們提出了自定義文本生成的類別感知提示調整(CuTCP),利用大型語言模型生成更具描述性的提示,提升模型對已知與未見類別的區分能力。實驗顯示,CuTCP在新類別上改善了0.74%,並在11個多樣化的圖像數據集上整體提升了0.44%。這證明CuTCP有效增強了模型的適應性與泛化能力,特別是在細粒度分類任務中。 PubMed DOI

這項研究評估了六種不同的少量樣本提示方法,針對大型語言模型在Spider4SPARQL基準測試中的表現,該測試專注於複雜的SPARQL知識圖譜問答。實驗分為兩組,第一組檢視基於樣本數量或類型的提示方法,第二組則探討如何透過LLM生成的解釋來優化提示。結果顯示,商業模型在KGQA的準確率不超過51%,顯示處理複雜查詢的挑戰。最有效的方法是結合簡單提示與本體,並使用五個隨機樣本。 PubMed DOI

這項研究提出了一種名為「GAPrompt」的新方法,旨在提升大型語言模型(LLMs)在自動化臨床評估中的應用,特別是針對電子健康紀錄(EHRs)中的中風評估。GAPrompt包含五個關鍵組件,包括選擇適合的LLM、建立增強知識庫、改善檢索、增強推理精確性及結合多重生成輸出。研究結果顯示,GAPrompt能有效分析EHRs並提供定量評估,解決傳統中風評估的勞動密集問題,顯示LLMs在醫療及其他領域的潛力。 PubMed DOI

大型語言模型(LLMs)因為能用簡單的提示處理各種自然語言任務而受到廣泛歡迎,讓非專家也能輕鬆使用。不過,撰寫有效的提示卻不容易,因為需要特定知識。為了幫助用戶改善提示,我們開發了PROMPTAID,這是一個互動式的視覺分析系統,能讓用戶創建、精煉和測試提示。PROMPTAID透過協調視覺化,促進關鍵字擾動、意義重述和選擇最佳範例,並經過專家意見和用戶研究驗證,讓用戶能輕鬆迭代提示,生成多樣選項,並有效分析提示表現。 PubMed DOI

Prophet 是一套新型的視覺問答框架,能提升大型語言模型在圖片問答時結合視覺資訊和外部知識的能力。它會先用 VQA 模型產生答案候選和範例,再整理成 prompt 給 LLM,讓回答更精準。Prophet 在多個資料集上表現優異,且能搭配不同模型使用,進階版 Prophet++ 效果更好。 PubMed DOI

這篇論文提出MSCPT新方法,專為少量樣本和弱監督下的全片影像分類設計。MSCPT結合多尺度病理知識、圖形提示和優化聚合方式,有效提升視覺-語言模型表現。多項實驗證明MSCPT優於現有方法,程式碼已開源(https://github.com/Hanminghao/MSCPT)。 PubMed DOI

這篇文章介紹了幾種常見的提示工程技巧,像是 zero-shot、few-shot 和 chain-of-thought,說明它們如何幫助提升 AI 在介入放射學領域的表現。內容也討論資料隱私、法規等挑戰,並展望未來像檢索增強生成、多模態模型等新方向。 PubMed DOI

這篇論文提出一種全新的高效轉移學習方法,專門用在視覺-語言模型。它結合了兩種特徵調整器,並利用大型語言模型自動產生更精細、具情境的提示,取代傳統模板化文字。這讓模型能更準確分辨不同類別,在11個資料集上都拿下最佳成績。程式碼和提示內容可在 GitHub 查詢。 PubMed DOI

這項研究發現,透過 embedding similarity 動態挑選最相關範例來做 few-shot prompting,可以大幅提升開源輕量級 LLM 在臨床紀錄分類的表現。這方法比 zero-shot 最多提升 39.3% macro F1 分數,也比靜態 few-shot 高出 21.1%,證明在臨床 NLP 任務上很有實用價值。 PubMed DOI

這篇論文提出CILMP方法,結合大型語言模型產生的專業醫學知識,來客製化醫學影像分類模型的提示語。CILMP能根據不同疾病和影像自動調整提示語,讓視覺-語言模型在多種醫學影像分類任務上表現更好,效果也比現有方法優秀。 PubMed DOI