A LLM-Based Hybrid-Transformer Diagnosis System in Healthcare.
基於 LLM 的混合變壓器診斷系統在醫療保健中的應用。 IEEE J Biomed Health Inform 2024-10-16

這篇論文介紹了一個新開發的模型，叫做混合變壓器網絡（HybridTransNet），它結合了大型語言模型和計算機視覺技術，專注於醫學影像診斷，特別是腦腫瘤檢測。傳統的卷積神經網絡和遞歸神經網絡在處理深層編碼和下採樣時容易丟失細節。HybridTransNet透過變壓器機制有效處理多模態數據，並利用自注意力機制來恢復上下文資訊。實驗結果顯示，該模型在腦腫瘤診斷上表現優於現有方法，顯示出提升醫療資訊學的潛力。 PubMed DOI

[Large Language Models: A Comprehensive Guide for Radiologists].
大型語言模型：放射科醫師的綜合指南。 J Korean Soc Radiol 2024-10-17

大型語言模型（LLMs）已經在科技界帶來重大變革，應用範圍超越自然語言處理，甚至進入放射學等專業領域。這些模型透過大規模數據預訓練，能執行多種任務，且通常不需再微調。隨著技術進步，LLMs 也在解決幻覺、偏見、高訓練成本等挑戰，並開始整合多模態輸入。對於小型本地開源 LLMs 的需求上升，因為它們能針對醫學知識進行微調，提升效率與隱私保護。本文將探討 LLMs 在放射學的現狀與未來發展。 PubMed DOI

Enabling Energy-Efficient Deployment of Large Language Models on Memristor Crossbar: A Synergy of Large and Small.
在 Memristor Crossbar 上實現大型語言模型的能源效率部署：大與小的協同作用。 IEEE Trans Pattern Anal Mach Intell 2024-10-18

大型語言模型（LLMs）因應用廣泛而受到重視，但其訓練和部署的計算需求也隨之增加。記憶電阻交叉陣列（memristor crossbars）因其小巧和高能效，成為解決方案，特別適合計算機視覺任務。然而，將LLMs部署在此技術上面臨三大挑戰：1. LLM增長超出記憶電阻晶片能力；2. 多頭注意力區塊需非靜態乘法，傳統技術無法處理；3. 複雜非線性運算表現不佳。為解決這些問題，我們提出新架構，能在單晶片上部署LLMs，測試顯示準確度損失極小，並顯著降低能量消耗。 PubMed DOI

Efficient scaling of large language models with mixture of experts and 3D analog in-memory computing.
大型語言模型的高效擴展：專家混合與3D類比內存計算。 Nat Comput Sci 2025-01-08

大型語言模型（LLMs）在各領域表現出色，但其龐大的參數數量帶來了可擴展性挑戰，如高訓練成本和能量消耗。本文探討「專家混合」（MoEs）網路，透過條件計算來管理計算需求，並保持大量參數。重點在於將MoEs應用於基於三維非揮發性記憶體的類比內存計算硬體上，解決傳統模型的瓶頸。模擬結果顯示，MoEs的條件計算機制能降低推理成本，提升可及性和能量效率。 PubMed DOI

Large Language Models and Large Multimodal Models in Medical Imaging: A Primer for Physicians.
醫學影像中的大型語言模型和大型多模態模型：醫師入門指南。 J Nucl Med 2025-01-17

大型語言模型（LLMs）對醫療保健，特別是醫學影像領域，將帶來重大影響。隨著它們發展成能處理文本與影像的多模態模型（LMMs），醫生了解這些技術的基本概念變得相當重要，以便能有效且負責任地使用。文章介紹了標記嵌入、變壓器網絡、自我監督預訓練和微調等基本原則，並深入探討LMMs的技術創建過程及其在醫學影像中的應用。 PubMed DOI

Large-scale study of human memory for meaningful narratives.
有關人類對有意義敘事記憶的大規模研究。 Learn Mem 2025-02-21

這項研究探討如何利用大型語言模型（LLMs）來進行大規模的人類記憶實驗，特別是針對自然敘事的分析。研究發現，隨著敘事長度增加，記憶表現會改善，但參與者常常只會總結長敘事，而非回憶具體細節。當敘事順序被打亂時，回憶表現顯著下降，但識別表現穩定，顯示參與者仍能根據理解重建故事。研究還利用LLM生成的文本嵌入來測量敘事的語義相似度，與回憶可能性有強相關性，顯示LLMs在記憶研究中的潛力。 PubMed DOI

Latency Adjustable Transformer Encoder for Language Understanding.
可調延遲變壓器編碼器在語言理解中的應用。 IEEE Trans Neural Netw Learn Syst 2025-03-03

這篇文章介紹了一種新型的Transformer架構，旨在優化自然語言理解模型在延遲、功耗和準確性之間的平衡。透過自適應調整推理計算成本，模型能根據所需的延遲進行加速。在微調階段，使用一種新指標「注意力上下文貢獻」來識別並移除不重要的詞向量。實驗顯示，移除上層的詞向量能顯著提升推理速度，且對整體性能影響輕微。這種方法使Llama3模型的首次標記時間提升了2.9倍，性能僅輕微下降，顯示出其有效性。 PubMed DOI

[Technical foundations of large language models].
大型語言模型的技術基礎 Radiologie (Heidelb) 2025-03-10

大型語言模型（LLMs）如ChatGPT已經改變了人機互動和語言分析。這些模型基於自然語言處理和機器學習的進步，特別是變壓器模型的引入，能更有效理解上下文。 LLMs的訓練過程分為預訓練和監督式微調，讓模型學習語法和推理能力。然而，它們也有缺陷，常生成聽起來合理但不正確的資訊，可能誤導使用者。因此，在使用LLMs時，特別是在敏感領域如放射學，必須謹慎評估其輸出。 PubMed DOI

Efficient self-attention with smart pruning for sustainable large language models.
具智慧修剪的高效自注意力以支持可持續的大型語言模型。 Sci Rep 2025-03-25

這篇論文探討了一種創新的壓縮大型語言模型（LLMs）的方法，以降低其計算需求和環境影響。主要技術包括： 1. **前向傳播剪枝（FPP）**：透過凍結和將未使用的參數設為零，減少嵌入層和前饋層的可訓練參數，提升訓練和收斂速度。 2. **權重矩陣折疊**：利用相同列壓縮和對角權重壓縮，修剪自注意力層的查詢和鍵矩陣，增強模型一致性和性能。測試結果顯示，變壓器層減少99%，整體模型壓縮約70%，同時保持相似準確性，顯著降低記憶體使用和計算需求，促進人工智慧的可持續發展。 PubMed DOI

Fine-Tuning Large Language Models for Specialized Use Cases.
針對專門使用案例微調大型語言模型。 Mayo Clin Proc Digit Health 2025-04-10

大型語言模型（LLMs）是先進的人工智慧系統，透過預測單詞序列來生成文本，改變了人機互動的方式。像ChatGPT和Claude等產品能與使用者進行複雜對話。微調則是針對特定數據集進一步訓練預訓練的LLM，以適應特定任務或領域。這篇評論探討了微調的各種方法，概述了一般步驟，並提供醫學子專科的例子，最後討論了微調LLM在醫學領域的優點與限制。 PubMed DOI

原始文章

站上相關主題文章列表