原始文章

Softmax 函數在統計學和深度學習中非常重要,但計算時資源消耗大,尤其是大型模型。雖然已有加速策略,但效率和可擴展性仍是挑戰。我們提出了一種光子計算解決方案,利用可編程神經元高效執行 Softmax 操作。實驗顯示,這種基於衍射的系統在多種任務中表現優異,均方誤差低於 10<sup>-5</sup>。此外,我們在現實條件下評估了系統性能,這種方法不僅提升了 Softmax 操作,還有助於開發通用光電加速器模組。 PubMed DOI


站上相關主題文章列表

材料科學中,機器學習遇到數據集建立和描述符設計挑戰。圖神經網絡如CGCNN能處理幾何信息,不需經驗描述符。GPT-4可協助建立數據庫。研究中,GPT-4從文章中提取數據,CGCNN模型準確度達0.77。模型預測40,000種材料的發射波長,並進行遷移學習微調。這種流程減少人工監督,適用於各領域。 PubMed DOI

深度生成模型在電腦視覺、文本生成和大型語言模型中扮演重要角色。其中,去噪擴散概率模型(DDPMs)在電腦視覺領域引起關注,能生成多樣且高質量的樣本。量子生成模型利用纏繞和超位置,提供新的學習方式。我們提出了QuDDPM的量子去噪擴散概率模型,透過電路層提升表達能力,並進行多個訓練任務以避免問題。QuDDPM在學習量子數據結構上表現有效,是一個多才多藝且高效的量子生成學習方法。 PubMed DOI

人工智慧近年來進步神速,像ChatGPT等模型已經相當厲害。不過,將AI用在非專業領域還是有挑戰。為此,Uni-Mol模型開發了線上工具,專注於中樞神經系統疾病藥物開發,包括NMDA受體。這些工具像是BBB滲透性預測、QSAR分析和VD-gen分子生成模型,旨在幫助加速藥物研發,彌合AI技術與專家之間的鴻溝。 PubMed DOI

未來50年,物理化學將因量子化學和機器學習的進步而有大變革。等變神經網絡(NNPs)是關鍵創新,可快速又精確地進行分子模擬。這將實現狄拉克的統一物理學和化學的夢想,對材料、生物和地球科學有益。精確模擬將提供數據,用於自動化計算方法如擴散模型。大型語言模型(LLMs)將成為文獻審閱、編碼和科學寫作的重要工具。 PubMed DOI

這個工作整合了GPT-4語言模型與機器學習演算法,建立了一個人工智慧代理人,專門應用於OFETs。透過分析科學文獻,提取實驗參數,建立了一個龐大的OFETs資料庫。透過機器學習模型評估設備性能,提出了優化方案,改善了DP-DTT OFETs的電荷傳輸性能。這項研究展示了語言模型在有機光電器件領域的應用,拓展了研究可能性。 PubMed DOI

機器學習在社會扮演重要角色,推動技術進步如Alphago和ChatGPT,已整合到消費品如智慧手機和自駕車。儘管人工神經網路廣泛使用,但因模型配置和數據嘈雜,理解仍有挑戰。新數學框架將神經網路表現與特性聯繫,可用早期數據預測模型表現。框架引入神經容量指標,評估模型泛化能力,優於現有方法。 PubMed DOI

討論了大型AI模型和龐大數據的崛起,摩爾定律接近極限,需求替代計算,以及受到大腦啟發的神經形態計算潛力。透過光電子器件推動光子計算增長,實現低延遲和高並行性的超快AI神經網絡。檢視了神經形態光子AI加速器中的PCSEL激光等技術,提出創新途徑增強計算速度和能源效率。光子神經形態系統有望改變AI和科學計算。 PubMed DOI

大型語言模型(LLMs)因應用廣泛而受到重視,但其訓練和部署的計算需求也隨之增加。記憶電阻交叉陣列(memristor crossbars)因其小巧和高能效,成為解決方案,特別適合計算機視覺任務。然而,將LLMs部署在此技術上面臨三大挑戰:1. LLM增長超出記憶電阻晶片能力;2. 多頭注意力區塊需非靜態乘法,傳統技術無法處理;3. 複雜非線性運算表現不佳。為解決這些問題,我們提出新架構,能在單晶片上部署LLMs,測試顯示準確度損失極小,並顯著降低能量消耗。 PubMed DOI

這篇論文介紹了ChatDiff,一種新穎的信息增強方法,旨在解決深度學習中的長尾數據問題。長尾分佈會導致某些類別數據稀缺,影響模型學習。ChatDiff透過從ChatGPT-3.5提取知識,增強這些類別的特徵,並利用條件擴散模型生成多樣化的正樣本,同時過濾掉負樣本以提升分類性能。實驗結果顯示,ChatDiff在多個長尾數據集上有效改善了代表性不足類別的分類效果。 PubMed DOI

大型語言模型(LLMs)在藥物傳遞材料設計中展現潛力。我們使用Hugging Face的Transformers套件,透過BigBird、Gemma和GPT NeoX等架構進行預訓練和微調,並結合化學家的指導進行優化。研究結果顯示,整合化學見解對於提升模型性能至關重要。我們設計了光響應藥物傳遞分子,並探討了人類反饋在強化學習中的角色。最終,我們建立了一個高效的設計流程,但缺乏專門數據集仍是挑戰。 PubMed DOI