原始文章

這篇論文全面探討微型語言模型(TLMs),這些模型是大型語言模型(LLMs)如GPT和BERT的緊湊替代品,專為資源有限的設備設計,如智慧型手機和物聯網系統。論文分析了TLMs的架構與方法,強調知識蒸餾、量化和剪枝等技術,提升效率與性能。還探討了TLMs在邊緣計算、工業自動化和醫療保健的應用,並面臨模型大小與準確性之間的權衡等挑戰。最後,建議未來研究方向,包括混合壓縮技術和針對特定硬體的上下文感知模型。 PubMed DOI


站上相關主題文章列表

大型語言模型(LLMs)因其類似人類的溝通能力而受到廣泛關注,尤其在泌尿科等領域的應用逐漸被重視。不過,透明度、問責性和準確性仍然是主要的擔憂。本文探討了LLMs的倫理、技術和實際挑戰,並進行文獻回顧以評估相關研究。像OpenAI的GPT和Google的Gemini等模型在文本數據處理上展現潛力,能協助病人資訊和行政任務,但其臨床有效性仍待驗證。解決倫理和技術挑戰對於確保其負責任的應用至關重要。 PubMed DOI

可穿戴技術的發展帶來大量感測器數據,促進健康監測和個人化醫療,但也面臨數據複雜性和分析挑戰。近期,大型語言模型(如GPT-4和Llama)成為分析這些數據的新工具。本研究探討了利用這些模型進行人類活動識別的趨勢與挑戰,並分析了數據質量、計算需求、可解釋性及隱私等問題。透過案例研究,顯示LLMs在數據分析中的潛力,並建議未來研究應聚焦於預處理技術和跨學科合作。 PubMed DOI

大型語言模型(LLMs)因應用廣泛而受到重視,但其訓練和部署的計算需求也隨之增加。記憶電阻交叉陣列(memristor crossbars)因其小巧和高能效,成為解決方案,特別適合計算機視覺任務。然而,將LLMs部署在此技術上面臨三大挑戰:1. LLM增長超出記憶電阻晶片能力;2. 多頭注意力區塊需非靜態乘法,傳統技術無法處理;3. 複雜非線性運算表現不佳。為解決這些問題,我們提出新架構,能在單晶片上部署LLMs,測試顯示準確度損失極小,並顯著降低能量消耗。 PubMed DOI

大型語言模型(LLMs)在研究和商業應用中越來越受重視,現在的趨勢是使用參數高效微調(PEFT)方法來開發較小的專用模型,而不需完全微調。研究發現,LoRA在各種任務中表現優異,常與完全微調的模型相當,顯示PEFT方法在臨床決策中有效,特別適合低成本運算。小型模型的優勢如快速處理和低訓練成本,超越大型LLMs的性能。此外,領域特定的預訓練對小型模型也相當重要。完整代碼可在GitHub上找到。 PubMed DOI

這項研究探討大型語言模型(LLMs)在粒子加速器自動調整的應用,傳統上需要專業的優化和機器學習知識。研究顯示,LLMs能透過簡單的自然語言提示有效調整加速器子系統,並與先進的優化技術如貝葉斯優化和強化學習進行比較。結果顯示,LLMs能處理複雜的非線性數值優化,顯示其在日常操作中簡化自動調整算法的潛力,並可能促進自動化技術在加速器系統的應用。 PubMed DOI

隨著城市成為人類活動的核心,城市感知的重要性日益提升。大型語言模型(LLMs)透過其語言框架,為城市感知帶來新機會。本文探討LLMs在理解城市機制上的潛力,重點在於改善人類與LLMs的知識轉移、提升對城市運作的認識,以及透過LLM代理實現自動化決策。雖然LLMs能提供更深入的城市動態理解,但也面臨多模態數據整合、時空推理、文化適應性和隱私等挑戰。未來的城市感知需善用LLMs的智慧,並克服這些挑戰,以促進智能和可持續的城市發展。 PubMed DOI

這項研究首次探討大型語言模型(LLMs)在環境決策中的應用,分析其潛在優勢與限制。研究提出兩個框架:一是LLMs輔助的框架,增強人類專業知識;二是LLMs驅動的框架,自動化優化任務。透過水工程中PFAS控制的案例,顯示這兩個框架在環境決策中的優化效果。結果顯示,LLMs輔助框架在調節流量和改善PFAS攔截上表現良好,而LLMs驅動框架在複雜參數優化上則面臨挑戰。研究強調人工智慧應輔助而非取代人類專業知識,為未來的合作奠定基礎。 PubMed DOI

這篇評論強調大型語言模型(LLMs)在合成生物學(SynBio)教育與研究中的重要性,特別是在生物製造領域。文章比較了美國和中國的LLMs在解決SynBio問題上的表現,並探討了它們如何從非結構化數據中提取資訊、建立知識圖譜,及促進檢索增強生成。預期LLMs將提升代謝建模和工程中的設計-建造-測試-學習(DBTL)循環,並推動自動化實驗室的發展。最後,呼籲建立LLMs的基準、發展生物安全措施,並促進相關領域專家的合作。 PubMed DOI

大型語言模型(LLMs)徹底改變了人工智慧,特別是在生成文本方面。這些模型透過大量文本訓練,能生成連貫且具上下文的內容,應用範圍廣泛,從聊天機器人到內容創作,展現出驚人的語言理解與生成能力。它們能執行摘要、問答及創意寫作等任務,並透過微調技術針對特定需求進行客製化。隨著技術進步,LLMs 的應用也在擴展,並引發了關於倫理、偏見及社會影響的討論,標誌著人工智慧的一次重大進步。 PubMed DOI

通用大型模型的興起讓各行各業開始開發專門的模型,但在訓練和推理時面臨時間、勞力、記憶體和計算能力的挑戰。為了解決這些問題,模型壓縮成為重要的研究方向。本文回顧了模型壓縮技術的演變,包括量化、剪枝、低秩分解和知識蒸餾等方法,並強調其核心原則和最新進展。這篇綜述為研究人員和實務工作者提供了高效模型部署的策略,並為未來的模型壓縮發展鋪路。 PubMed DOI