Efficient scaling of large language models with mixture of experts and 3D analog in-memory computing.
大型語言模型的高效擴展：專家混合與3D類比內存計算。 Nat Comput Sci 2025-01-08

大型語言模型（LLMs）在各領域表現出色，但其龐大的參數數量帶來了可擴展性挑戰，如高訓練成本和能量消耗。本文探討「專家混合」（MoEs）網路，透過條件計算來管理計算需求，並保持大量參數。重點在於將MoEs應用於基於三維非揮發性記憶體的類比內存計算硬體上，解決傳統模型的瓶頸。模擬結果顯示，MoEs的條件計算機制能降低推理成本，提升可及性和能量效率。 PubMed DOI

Incremental accumulation of linguistic context in artificial and biological neural networks.
人工與生物神經網絡中語言上下文的逐步累積。 Nat Commun 2025-01-17

這項研究探討大型語言模型（LLMs）與人類大腦在處理敘事資訊上的差異。雖然LLMs能預測與敘事相關的神經信號，但它們是平行分析大量文本，與大腦逐步處理的方式不同。研究使用219名參與者的fMRI數據，發現LLMs在短期上下文中表現較好。研究人員開發了一個增量上下文模型，結合短期與持續更新的長期上下文，顯著改善了對長期處理腦區活動的預測。這結果顯示大腦整合資訊的能力，對認知神經科學和人工智慧的發展提供了新見解。 PubMed DOI

Amyloid-β Deposition Prediction with Large Language Model Driven and Task Oriented Learning of Brain Functional Networks.
以大型語言模型驅動的腦功能網絡任務導向學習預測淀粉樣蛋白-β沉積。 IEEE Trans Med Imaging 2025-03-03

這篇論文提出了一個創新的深度學習框架，利用功能性磁共振影像（fMRI）數據來評估大腦中的淀粉樣蛋白β沉積，提供了一種更可及的阿茲海默症篩檢方式。框架包含三個主要組件：節點嵌入編碼器、階層式功能連結網絡學習模組，以及任務特徵一致性損失。實驗結果顯示，這種方法在預測淀粉樣蛋白β方面表現優異，並有助於深入了解阿茲海默症的機制，對其預防具有潛在價值。 PubMed DOI

Lightweight Transformer exhibits comparable performance to LLMs for Seizure Prediction: A case for light-weight models for EEG data.
輕量級 Transformer 在癲癇預測中展現出與 LLMs 相當的性能：支持輕量級模型用於 EEG 數據的案例。 Proc IEEE Int Conf Big Data 2025-03-05

提前預測癲癇發作對患者非常重要，隨著機器學習和人工智慧的進步，這項任務變得更有可能。雖然深度學習模型如CNN和LSTM已經取得了一定成果，但癲癇的複雜性需要更精密的方法。面臨的挑戰包括EEG數據質量不一、發作類型多樣、缺乏標註數據等。為此，我們提出了輕量級架構**ESPFormer**，在實時應用中表現優異。研究顯示，ESPFormer在多項基準測試中預測準確率超過其他模型，顯示其在基於EEG的癲癇預測中更具優勢。 PubMed DOI

Efficient self-attention with smart pruning for sustainable large language models.
具智慧修剪的高效自注意力以支持可持續的大型語言模型。 Sci Rep 2025-03-25

這篇論文探討了一種創新的壓縮大型語言模型（LLMs）的方法，以降低其計算需求和環境影響。主要技術包括： 1. **前向傳播剪枝（FPP）**：透過凍結和將未使用的參數設為零，減少嵌入層和前饋層的可訓練參數，提升訓練和收斂速度。 2. **權重矩陣折疊**：利用相同列壓縮和對角權重壓縮，修剪自注意力層的查詢和鍵矩陣，增強模型一致性和性能。測試結果顯示，變壓器層減少99%，整體模型壓縮約70%，同時保持相似準確性，顯著降低記憶體使用和計算需求，促進人工智慧的可持續發展。 PubMed DOI

Topology optimization of random memristors for input-aware dynamic SNN.
隨機 memristors 於輸入感知動態 SNN 的拓撲最佳化 Sci Adv 2025-04-16

PRIME 是一種模仿大腦運作的神經網路技術，結合脈衝神經網路和 memristor 硬體，能有效提升能源效率和適應力。它會根據輸入內容自動提早停止運算，減少延遲和運算量，同時維持準確度。跟傳統方法比，PRIME 更省電，也更能抵抗硬體雜訊。 PubMed DOI

CD-Tron: Leveraging large clinical language model for early detection of cognitive decline from electronic health records.
CD-Tron：運用大型臨床語言模型從電子健康紀錄早期偵測認知衰退 J Biomed Inform 2025-05-04

這項研究開發的 CD-Tron 臨床語言模型，能在 MCI 診斷前，從超過 2,000 名病患的電子病歷中，早期偵測認知衰退。CD-Tron 表現比傳統模型更好，準確率和敏感度都很高，還能用 SHAP 值解釋預測結果，提升臨床透明度，展現語言模型在醫療早期偵測的潛力。 PubMed DOI

An automated multi parameter neural architecture discovery framework using ChatGPT in the backend.
使用 ChatGPT 作為後端的自動化多參數神經網路架構發掘框架 Sci Rep 2025-05-15

LEMONADE是一套新框架，能根據使用者需求自動設計神經網路架構，特別適合邊緣AI場景（像是有限電力、體積和速度要求）。它結合專家系統和大型語言模型（如ChatGPT-4o），操作簡單，不用事先設定搜尋空間，還能考慮各種限制。實驗證明，LEMONADE設計的網路在多個資料集上表現優異，兼顧準確率和邊緣AI需求。 PubMed DOI

NeuroScale: evolutional scale-based protein language models enable prediction of neuropeptides.
NeuroScale：基於演化尺度的蛋白質語言模型促進神經肽的預測 BMC Biol 2025-05-28

NeuroScale 是新一代深度學習模型，結合演化蛋白質建模和多尺度神經網路（GoogLeNet），能精準預測神經肽（AUC 超過 0.97），不論序列相似度或長度都很穩定，非常適合用來發現神經肽和開發肽類藥物。 PubMed DOI

Bridging Large Language Models and Single-Cell Transcriptomics in Dissecting Selective Motor Neuron Vulnerability.
連結大型語言模型與單細胞轉錄體學於解析選擇性運動神經元易感性的研究 ArXiv 2025-06-04

我們提出一種新方法，結合NCBI Gene的基因描述和大型語言模型，將單細胞RNA定序資料轉換成有意義的向量。做法是先找出每個細胞表現量最高的基因，擷取基因註解，再用語言模型轉成向量，並依表現量加權。這樣不只提升解釋性，也讓細胞分群和分析更精準。 PubMed

原始文章

站上相關主題文章列表