QuIP: 2-Bit Quantization of Large Language Models With Guarantees.
QuIP：具有保證的大型語言模型的2位量化。 Adv Neural Inf Process Syst 2024-10-17

這項研究探討大型語言模型（LLMs）的訓練後參數量化，提出了一種新方法「不一致處理量化」（QuIP）。QuIP 的重點在於，當權重和 Hessian 矩陣不一致時，量化效果更佳，這表示權重大小均勻且重要的四捨五入方向與坐標軸不對齊。QuIP 包含兩個步驟：自適應四捨五入過程和高效的前後處理，能透過隨機正交矩陣確保不一致性。研究顯示，QuIP 增強了現有量化算法，僅用兩位數就能達到有效結果，程式碼已在 GitHub 上公開。 PubMed DOI

Enabling Energy-Efficient Deployment of Large Language Models on Memristor Crossbar: A Synergy of Large and Small.
在 Memristor Crossbar 上實現大型語言模型的能源效率部署：大與小的協同作用。 IEEE Trans Pattern Anal Mach Intell 2024-10-18

大型語言模型（LLMs）因應用廣泛而受到重視，但其訓練和部署的計算需求也隨之增加。記憶電阻交叉陣列（memristor crossbars）因其小巧和高能效，成為解決方案，特別適合計算機視覺任務。然而，將LLMs部署在此技術上面臨三大挑戰：1. LLM增長超出記憶電阻晶片能力；2. 多頭注意力區塊需非靜態乘法，傳統技術無法處理；3. 複雜非線性運算表現不佳。為解決這些問題，我們提出新架構，能在單晶片上部署LLMs，測試顯示準確度損失極小，並顯著降低能量消耗。 PubMed DOI

Efficiency at scale: Investigating the performance of diminutive language models in clinical tasks.
規模效益：探討小型語言模型在臨床任務中的表現。 Artif Intell Med 2024-10-29

大型語言模型（LLMs）在研究和商業應用中越來越受重視，現在的趨勢是使用參數高效微調（PEFT）方法來開發較小的專用模型，而不需完全微調。研究發現，LoRA在各種任務中表現優異，常與完全微調的模型相當，顯示PEFT方法在臨床決策中有效，特別適合低成本運算。小型模型的優勢如快速處理和低訓練成本，超越大型LLMs的性能。此外，領域特定的預訓練對小型模型也相當重要。完整代碼可在GitHub上找到。 PubMed DOI

Reconciling the contrasting narratives on the environmental impact of large language models.
調和大型語言模型對環境影響的對立敘事。 Sci Rep 2024-11-02

大型語言模型（LLMs）的環境影響引發了不同看法。一些研究指出，訓練和使用LLMs會產生顯著的碳足跡，而另一些則認為LLMs可能比傳統方法更可持續。我們的分析顯示，儘管LLMs對環境有影響，但在美國，它們的效率可能高於人力勞動。經濟考量可能促使人類與LLMs共同工作，而非單純取代。隨著LLMs規模增長，能源消耗可能上升，這凸顯了持續研究以確保其可持續性的重要性。 PubMed DOI

Research on Fine-Tuning Optimization Strategies for Large Language Models in Tabular Data Processing.
大型語言模型在表格數據處理中的微調優化策略研究。 Biomimetics (Basel) 2024-11-26

這項研究探討如何提升大型語言模型（LLMs）在處理表格數據的表現，重點在三個策略：小數截斷、多數據集混合和隨機排列JSON鍵值對。結果顯示，小數截斷能減少噪音，提高學習效率；混合數據集增強模型的泛化能力和穩定性；隨機排列鍵值對則提升模型對不同數據結構的適應性。這些策略顯著改善了LLMs的穩健性和有效性，為未來的研究提供了重要的見解和方法。 PubMed DOI

Efficient scaling of large language models with mixture of experts and 3D analog in-memory computing.
大型語言模型的高效擴展：專家混合與3D類比內存計算。 Nat Comput Sci 2025-01-08

大型語言模型（LLMs）在各領域表現出色，但其龐大的參數數量帶來了可擴展性挑戰，如高訓練成本和能量消耗。本文探討「專家混合」（MoEs）網路，透過條件計算來管理計算需求，並保持大量參數。重點在於將MoEs應用於基於三維非揮發性記憶體的類比內存計算硬體上，解決傳統模型的瓶頸。模擬結果顯示，MoEs的條件計算機制能降低推理成本，提升可及性和能量效率。 PubMed DOI

Deploying large language models for discourse studies: An exploration of automated analysis of media attitudes.
部署大型語言模型於話語研究：媒體態度自動分析的探索。 PLoS One 2025-01-09

這項研究探討如何利用大型語言模型（LLM）分析媒體對中國的態度，以香港的《東方日報》為例。研究強調分析媒體數據集對理解公眾意見的重要性，並指出傳統方法常忽略隱性態度。研究使用Martin和White的框架來分類態度，並運用Meta的開源Llama2（13b）模型進行分析，針對40,000條與中國相關的表達進行量化。結果顯示，LLM能有效識別顯性和隱性態度，準確率約80%，與人類編碼者相當。研究也討論了實施過程中的挑戰及其解決策略。 PubMed DOI

Enhancing semantical text understanding with fine-tuned large language models: A case study on Quora Question Pair duplicate identification.
透過微調大型語言模型增強語義文本理解：以 Quora Question Pair 重複識別為案例研究。 PLoS One 2025-01-10

這項研究探討如何利用大型語言模型（LLMs）來提升自然語言處理中的文本相似性理解。研究中，微調後的LLaMA模型（70億參數）在F1分數上達到84.9%，超越了先前的Siamese卷積神經網絡（82.02%）。此外，700億參數的LLaMA3.1模型也表現不俗，F1分數為74.4%。這顯示微調LLMs對特定任務的有效性，並建議可應用於履歷與職位匹配及學術投稿審稿人識別等領域。 PubMed DOI

Fine-tuning a local LLaMA-3 large language model for automated privacy-preserving physician letter generation in radiation oncology.
在放射腫瘤學中微調本地 LLaMA-3 大型語言模型以自動生成保護隱私的醫生信函。 Front Artif Intell 2025-01-29

這項研究探討大型語言模型（LLMs），特別是LLaMA模型在放射腫瘤學中生成醫師信件的應用，重點在隱私與效率。研究發現，未經微調的LLaMA模型效果不佳，但QLoRA演算法能在有限資源下進行有效微調，使模型學習相關資訊並生成符合機構風格的信件。結果顯示，8B LLaMA-3模型在生成摘要報告上表現優於13B LLaMA-2模型。醫師評估認為，微調後的模型能有效生成信件的基本內容，並在適當審查下具實際臨床價值。 PubMed DOI

Latent Weight Quantization for Integerized Training of Deep Neural Networks.
深度神經網絡整數化訓練的潛在權重量化。 IEEE Trans Pattern Anal Mach Intell 2025-03-03

這篇論文探討深度學習中的整數化訓練挑戰，特別是低位元整數化權重與全精度潛在權重的依賴，導致高內存消耗。作者提出一種新穎的潛在權重量化方案，利用殘差量化技術來減少量化噪聲，並引入雙重量化器以保持訓練的無偏性。這種方法適用於多種架構，如ResNets和Transformers，並在圖像分類和文本生成任務中僅有輕微性能下降。此外，作者展示了在單個GPU上微調130億參數的大型語言模型的能力。 PubMed DOI

原始文章

站上相關主題文章列表