這份調查報告全面回顧了深度神經網絡的剪枝技術，針對資源有限環境中模型壓縮的需求進行探討。研究分為四大領域：通用/特定加速、剪枝時機、剪枝方法，以及剪枝與其他壓縮技術的整合。報告還詳細比較了各種剪枝設置，並探討了大型語言模型和視覺變壓器的剪枝等新興主題。此外，提供了選擇剪枝方法的建議及未來研究方向。作者們還建立了一個資料庫，定期更新與剪枝相關的最新進展，網址為 https://github.com/hrcheng1066/awesome-pruning。 PubMed DOI ♡
機器學習在社會扮演重要角色，推動技術進步如Alphago和ChatGPT，已整合到消費品如智慧手機和自駕車。儘管人工神經網路廣泛使用，但因模型配置和數據嘈雜，理解仍有挑戰。新數學框架將神經網路表現與特性聯繫，可用早期數據預測模型表現。框架引入神經容量指標，評估模型泛化能力，優於現有方法。 PubMed DOI