Blockwise compression of transformer-based models without retraining.
不需重新訓練的基於Transformer模型的分塊壓縮。 Neural Netw 2024-02-06

Transformer模型如GPT-3、ChatGPT和GPT-4在語言任務表現優秀但需要大量計算資源。BCT方法能在不重新訓練的情況下壓縮transformers，達到7.988倍的壓縮率。BCT以區塊方式運作，避免準確性下降和重新訓練的困擾。實驗結果顯示，BCT在GLUE數據集上表現良好，準確度僅下降不到0.9%。 PubMed DOI

Generative Quantum Machine Learning via Denoising Diffusion Probabilistic Models.
通過去噪擴散概率模型實現生成式量子機器學習。 Phys Rev Lett 2024-03-22

深度生成模型在電腦視覺、文本生成和大型語言模型中扮演重要角色。其中，去噪擴散概率模型（DDPMs）在電腦視覺領域引起關注，能生成多樣且高質量的樣本。量子生成模型利用纏繞和超位置，提供新的學習方式。我們提出了QuDDPM的量子去噪擴散概率模型，透過電路層提升表達能力，並進行多個訓練任務以避免問題。QuDDPM在學習量子數據結構上表現有效，是一個多才多藝且高效的量子生成學習方法。 PubMed DOI

Enabling Energy-Efficient Deployment of Large Language Models on Memristor Crossbar: A Synergy of Large and Small.
在 Memristor Crossbar 上實現大型語言模型的能源效率部署：大與小的協同作用。 IEEE Trans Pattern Anal Mach Intell 2024-10-18

大型語言模型（LLMs）因應用廣泛而受到重視，但其訓練和部署的計算需求也隨之增加。記憶電阻交叉陣列（memristor crossbars）因其小巧和高能效，成為解決方案，特別適合計算機視覺任務。然而，將LLMs部署在此技術上面臨三大挑戰：1. LLM增長超出記憶電阻晶片能力；2. 多頭注意力區塊需非靜態乘法，傳統技術無法處理；3. 複雜非線性運算表現不佳。為解決這些問題，我們提出新架構，能在單晶片上部署LLMs，測試顯示準確度損失極小，並顯著降低能量消耗。 PubMed DOI

Efficiency at scale: Investigating the performance of diminutive language models in clinical tasks.
規模效益：探討小型語言模型在臨床任務中的表現。 Artif Intell Med 2024-10-29

大型語言模型（LLMs）在研究和商業應用中越來越受重視，現在的趨勢是使用參數高效微調（PEFT）方法來開發較小的專用模型，而不需完全微調。研究發現，LoRA在各種任務中表現優異，常與完全微調的模型相當，顯示PEFT方法在臨床決策中有效，特別適合低成本運算。小型模型的優勢如快速處理和低訓練成本，超越大型LLMs的性能。此外，領域特定的預訓練對小型模型也相當重要。完整代碼可在GitHub上找到。 PubMed DOI

Research on Fine-Tuning Optimization Strategies for Large Language Models in Tabular Data Processing.
大型語言模型在表格數據處理中的微調優化策略研究。 Biomimetics (Basel) 2024-11-26

這項研究探討如何提升大型語言模型（LLMs）在處理表格數據的表現，重點在三個策略：小數截斷、多數據集混合和隨機排列JSON鍵值對。結果顯示，小數截斷能減少噪音，提高學習效率；混合數據集增強模型的泛化能力和穩定性；隨機排列鍵值對則提升模型對不同數據結構的適應性。這些策略顯著改善了LLMs的穩健性和有效性，為未來的研究提供了重要的見解和方法。 PubMed DOI

Efficient scaling of large language models with mixture of experts and 3D analog in-memory computing.
大型語言模型的高效擴展：專家混合與3D類比內存計算。 Nat Comput Sci 2025-01-08

大型語言模型（LLMs）在各領域表現出色，但其龐大的參數數量帶來了可擴展性挑戰，如高訓練成本和能量消耗。本文探討「專家混合」（MoEs）網路，透過條件計算來管理計算需求，並保持大量參數。重點在於將MoEs應用於基於三維非揮發性記憶體的類比內存計算硬體上，解決傳統模型的瓶頸。模擬結果顯示，MoEs的條件計算機制能降低推理成本，提升可及性和能量效率。 PubMed DOI

Enhancing semantical text understanding with fine-tuned large language models: A case study on Quora Question Pair duplicate identification.
透過微調大型語言模型增強語義文本理解：以 Quora Question Pair 重複識別為案例研究。 PLoS One 2025-01-10

這項研究探討如何利用大型語言模型（LLMs）來提升自然語言處理中的文本相似性理解。研究中，微調後的LLaMA模型（70億參數）在F1分數上達到84.9%，超越了先前的Siamese卷積神經網絡（82.02%）。此外，700億參數的LLaMA3.1模型也表現不俗，F1分數為74.4%。這顯示微調LLMs對特定任務的有效性，並建議可應用於履歷與職位匹配及學術投稿審稿人識別等領域。 PubMed DOI

An empirical study of LLaMA3 quantization: from LLMs to MLLMs.
LLaMA3 量化的實證研究：從 LLMs 到 MLLMs。 Vis Intell 2025-01-14

LLaMA系列語言模型，特別是最新的LLaMA3，因其在多項任務上的優異表現而受到矚目，這得益於其在超過15兆個標記上的預訓練。隨著低位元量化在資源有限環境中的重要性增加，本研究探討了LLaMA3在1-8位元量化下的表現。研究評估了十種後訓練量化和LoRA微調方法，並檢視了LLaVA-Next-8B模型在超低位元（2-4位元）下的效果。結果顯示，低位元量化會顯著影響模型性能，特別是在超低位元情況下，突顯未來模型開發需解決的性能差距。 PubMed DOI

Latent Weight Quantization for Integerized Training of Deep Neural Networks.
深度神經網絡整數化訓練的潛在權重量化。 IEEE Trans Pattern Anal Mach Intell 2025-03-03

這篇論文探討深度學習中的整數化訓練挑戰，特別是低位元整數化權重與全精度潛在權重的依賴，導致高內存消耗。作者提出一種新穎的潛在權重量化方案，利用殘差量化技術來減少量化噪聲，並引入雙重量化器以保持訓練的無偏性。這種方法適用於多種架構，如ResNets和Transformers，並在圖像分類和文本生成任務中僅有輕微性能下降。此外，作者展示了在單個GPU上微調130億參數的大型語言模型的能力。 PubMed DOI

LoCo: Low-Bit Communication Adaptor for Large-Scale Model Training.
LoCo: 大規模模型訓練的低位元通信適配器。 IEEE Trans Pattern Anal Mach Intell 2025-03-03

為了提升大型模型的訓練效率，低位元梯度通訊被用來壓縮全精度梯度，改善GPU之間的同步效率，但可能影響訓練質量。為了解決這個問題，我們引入了低位元通訊適配器（LoCo），在壓縮前調整梯度，提升同步效率並保持訓練質量。 LoCo透過歷史補償誤差的移動平均來準確估計和補償壓縮誤差，確保損失更小。它能與各種優化器和分片策略無縫合作。理論分析顯示，LoCo不會影響全精度優化器的收斂速度，實驗結果顯示在大型訓練框架中，LoCo顯著提升通訊效率，讓Adam的訓練速度提高14%到40%。 PubMed DOI

原始文章

站上相關主題文章列表