原始文章

Softmax 函數在統計學和深度學習中非常重要,但計算時資源消耗大,尤其是大型模型。雖然已有加速策略,但效率和可擴展性仍是挑戰。我們提出了一種光子計算解決方案,利用可編程神經元高效執行 Softmax 操作。實驗顯示,這種基於衍射的系統在多種任務中表現優異,均方誤差低於 10<sup>-5</sup>。此外,我們在現實條件下評估了系統性能,這種方法不僅提升了 Softmax 操作,還有助於開發通用光電加速器模組。 PubMed DOI


站上相關主題文章列表

未來50年,物理化學將因量子化學和機器學習的進步而有大變革。等變神經網絡(NNPs)是關鍵創新,可快速又精確地進行分子模擬。這將實現狄拉克的統一物理學和化學的夢想,對材料、生物和地球科學有益。精確模擬將提供數據,用於自動化計算方法如擴散模型。大型語言模型(LLMs)將成為文獻審閱、編碼和科學寫作的重要工具。 PubMed DOI

這個工作整合了GPT-4語言模型與機器學習演算法,建立了一個人工智慧代理人,專門應用於OFETs。透過分析科學文獻,提取實驗參數,建立了一個龐大的OFETs資料庫。透過機器學習模型評估設備性能,提出了優化方案,改善了DP-DTT OFETs的電荷傳輸性能。這項研究展示了語言模型在有機光電器件領域的應用,拓展了研究可能性。 PubMed DOI

機器學習在社會扮演重要角色,推動技術進步如Alphago和ChatGPT,已整合到消費品如智慧手機和自駕車。儘管人工神經網路廣泛使用,但因模型配置和數據嘈雜,理解仍有挑戰。新數學框架將神經網路表現與特性聯繫,可用早期數據預測模型表現。框架引入神經容量指標,評估模型泛化能力,優於現有方法。 PubMed DOI

討論了大型AI模型和龐大數據的崛起,摩爾定律接近極限,需求替代計算,以及受到大腦啟發的神經形態計算潛力。透過光電子器件推動光子計算增長,實現低延遲和高並行性的超快AI神經網絡。檢視了神經形態光子AI加速器中的PCSEL激光等技術,提出創新途徑增強計算速度和能源效率。光子神經形態系統有望改變AI和科學計算。 PubMed DOI

大型語言模型(LLMs)因應用廣泛而受到重視,但其訓練和部署的計算需求也隨之增加。記憶電阻交叉陣列(memristor crossbars)因其小巧和高能效,成為解決方案,特別適合計算機視覺任務。然而,將LLMs部署在此技術上面臨三大挑戰:1. LLM增長超出記憶電阻晶片能力;2. 多頭注意力區塊需非靜態乘法,傳統技術無法處理;3. 複雜非線性運算表現不佳。為解決這些問題,我們提出新架構,能在單晶片上部署LLMs,測試顯示準確度損失極小,並顯著降低能量消耗。 PubMed DOI

大型語言模型(LLMs)在藥物傳遞材料設計中展現潛力。我們使用Hugging Face的Transformers套件,透過BigBird、Gemma和GPT NeoX等架構進行預訓練和微調,並結合化學家的指導進行優化。研究結果顯示,整合化學見解對於提升模型性能至關重要。我們設計了光響應藥物傳遞分子,並探討了人類反饋在強化學習中的角色。最終,我們建立了一個高效的設計流程,但缺乏專門數據集仍是挑戰。 PubMed DOI

語言可控的可程式化超表面旨在提升其智慧,應用於電磁操控。傳統超表面需人工介入,限制自主性。透過整合大型語言模型,這個系統能實現自主電磁操控。 該系統擁有32 × 24的二進位電子可控超原子,運作頻率約5.5 GHz,並建立了適用於三維環境的視覺語義地圖。實驗顯示,超表面能自主將複雜任務分解為可管理步驟,並在室內環境中執行。這種方法有潛力推進超表面的智能化,實現多模式的自主電磁操控。 PubMed DOI

大型語言模型(LLMs)在各領域表現出色,但其龐大的參數數量帶來了可擴展性挑戰,如高訓練成本和能量消耗。本文探討「專家混合」(MoEs)網路,透過條件計算來管理計算需求,並保持大量參數。重點在於將MoEs應用於基於三維非揮發性記憶體的類比內存計算硬體上,解決傳統模型的瓶頸。模擬結果顯示,MoEs的條件計算機制能降低推理成本,提升可及性和能量效率。 PubMed DOI

人工智慧(AI)透過深度學習技術,特別是卷積神經網絡(CNNs),已在各領域帶來重大變革。自1990年代Yann LeCun提出以來,CNNs被廣泛應用於醫療診斷、自動駕駛、金融預測及圖像識別等。分析化學方面,深度學習提升了質譜、核磁共振等數據分析的效果。隨著大型語言模型(LLMs)如ChatGPT的興起,自然語言處理也獲得了新動力。本文探討如何利用智能手機和LLM進行激光誘導擊穿光譜(LIBS)數據的互動式分析,顯示LLMs在未來分析化學中的重要性。 PubMed DOI

深度神經網絡(DNNs)如卷積神經網絡和變壓器模型的進展,雖然提升了人工智慧的應用能力,但也增加了計算和數據需求,對脈衝陣列加速器造成挑戰。傳統上,這些加速器採用擴大和擴展兩種策略,但無法同時達到高性能和能源效率。為了解決這個問題,我們提出了一種混合方法,結合兩者優勢,能在多租戶環境中優化DNN操作。實驗結果顯示,這種混合加速器能將能耗降低8%,吞吐量提高57%,相較於TPUv3表現更佳。 PubMed DOI