原始文章

自我對弈微調(SPIN)因為能透過自我互動提升大型語言模型(LLMs)而受到關注,但在文本轉 SQL 模型上應用時遇到挑戰。目前的框架缺乏有效的反饋機制,難以捕捉自然語言問題與資料庫架構的關聯。為了解決這些問題,我們提出了 ExSPIN,一種新穎的自我對弈微調方法,並加入明確的反饋機制。ExSPIN 利用 LLM 預測的 SQL 查詢執行結果來更新模型參數,改善微調效果,並透過上下文學習提供架構提示,幫助 LLM 理解資料庫與自然語言查詢的聯繫。評估結果顯示,ExSPIN 在兩個真實世界數據集上表現優於現有方法。 PubMed DOI


站上相關主題文章列表

SPIRES是一種知識提取方法,利用大型語言模型(LLMs)通過使用者定義的模式來查詢知識庫,從文本中提取資訊並將其與指定的模式匹配,使用現有的本体論辨來識別。SPIRES已應用於各種領域,相較於現有方法,顯示出更高的準確性和靈活性。它作為OntoGPT開源套件的一部分提供。 PubMed DOI

這項研究強調微調蛋白質語言模型在各種預測任務中的有效性,顯示針對特定任務的監督式微調能提升表現。研究比較了三個先進模型(ESM2、ProtT5、Ankh)在八個任務上的表現,結果顯示高效的微調能達到類似改善,並顯著減少資源消耗和訓練時間。特別對於數據集有限的任務,如預測單個蛋白質的適應性景觀,微調的做法更具價值。作者還提供了使用者友好的筆記本,方便進行模型微調。 PubMed DOI

大型語言模型(LLMs)在智能視覺化系統中有很大潛力,尤其在專業應用上,但整合時面臨挑戰,包括領域特定問題、視覺化過程及用戶互動。為解決這些問題,我們提出了一個框架,利用微調的LLMs來改善視覺互動。 在教育領域,智能視覺化系統能支持初學者的自我調節學習。我們介紹了Tailor-Mind,一個互動式視覺化系統,幫助AI初學者進行自我調節學習。研究顯示,Tailor-Mind能提供個性化建議,增強學習體驗,驗證了我們框架的有效性。 PubMed DOI

這篇論文探討了深度學習在生物醫學文本挖掘的進展,特別是獲取高品質標註數據的挑戰,如數據稀缺和隱私問題。作者提出了LetEx-Learning方法,將可解釋性融入少量樣本學習中,利用大型語言模型生成推理解釋,提升學習效果。實驗顯示,這種方法在低資源情況下的表現提升達6.41%。LetEx模型擁有2.2億參數,推理能力優於其他模型,源代碼已公開供研究使用。 PubMed DOI

這篇論文探討了大型語言模型(LLMs)在營養與飲食應用中的表現,特別是針對註冊營養師(RD)考試的1050道問題。研究比較了GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro的準確性與一致性,並分析了不同提示技術的效果。結果顯示,GPT-4o在使用帶自我一致性的思考鏈(CoT-SC)時表現最佳,而Gemini 1.5 Pro在零提示(ZS)下則展現最高一致性。研究強調選擇合適的LLM和提示策略對減少錯誤風險的重要性。 PubMed DOI

這項研究探討如何利用大型語言模型(LLMs)來提升自然語言處理中的文本相似性理解。研究中,微調後的LLaMA模型(70億參數)在F1分數上達到84.9%,超越了先前的Siamese卷積神經網絡(82.02%)。此外,700億參數的LLaMA3.1模型也表現不俗,F1分數為74.4%。這顯示微調LLMs對特定任務的有效性,並建議可應用於履歷與職位匹配及學術投稿審稿人識別等領域。 PubMed DOI

在結構化資訊擷取(IE)領域,確保輸出符合語義和語法約束非常重要。傳統的編碼-解碼架構難以達成這些要求,因此研究者開始探索受語法約束的解碼方法。本研究檢視了微調的Longformer和Flan-T5模型在臨床試驗摘要中提取結構化資料的效果。結果顯示,受語法約束的解碼顯著提升了2型糖尿病和青光眼數據集的F1分數,而指標生成器則對性能造成負面影響。未來研究可探討大型語言模型的大小對這些解碼方法的影響。 PubMed DOI

這項研究評估了六種不同的少量樣本提示方法,針對大型語言模型在Spider4SPARQL基準測試中的表現,該測試專注於複雜的SPARQL知識圖譜問答。實驗分為兩組,第一組檢視基於樣本數量或類型的提示方法,第二組則探討如何透過LLM生成的解釋來優化提示。結果顯示,商業模型在KGQA的準確率不超過51%,顯示處理複雜查詢的挑戰。最有效的方法是結合簡單提示與本體,並使用五個隨機樣本。 PubMed DOI

最近人工智慧(AI)領域的進展,越來越多地結合大型語言模型(LLMs)與專門工具,如搜尋引擎和模擬器。不過,這些系統多由專家設計,調整過程繁瑣,影響進步速度。為了解決這個問題,我們提出了TextGrad,一個透過反向傳播優化AI系統的靈活框架。它能自動增強系統內部組件,並使用自然語言反饋,應用於解決科學問題、優化治療計畫、設計分子等,為科學家和工程師提供創建生成式AI系統的便利工具。 PubMed DOI

大型語言模型(LLMs)是先進的人工智慧系統,透過預測單詞序列來生成文本,改變了人機互動的方式。像ChatGPT和Claude等產品能與使用者進行複雜對話。微調則是針對特定數據集進一步訓練預訓練的LLM,以適應特定任務或領域。這篇評論探討了微調的各種方法,概述了一般步驟,並提供醫學子專科的例子,最後討論了微調LLM在醫學領域的優點與限制。 PubMed DOI