原始文章

這篇論文對多語言大型語言模型(MLLMs)進行了全面回顧,強調其在多語言任務上的成功。雖然該領域已有進展,但缺乏系統性的調查。論文的貢獻包括: 1. **廣泛調查**:首次詳細回顧MLLMs中的多語言對齊。 2. **統一分類法**:提供分類框架,總結目前進展。 3. **新興前沿**:識別關鍵新興領域及其挑戰。 4. **豐富資源**:彙編開源資源,方便研究者使用。 作者希望這項工作能激發更多研究與突破。 PubMed DOI


站上相關主題文章列表

這篇論文探討多模態數據在醫學中的重要性,包括醫學影像、時間序列、音頻、文本、視頻及組學數據。雖然大型語言模型(LLMs)在醫療知識檢索上已有進展,但多數仍專注於文本,未能有效整合各種數據。論文提出一個針對醫學多模態大型語言模型(M-LLMs)的綜合框架,涵蓋原則、應用、挑戰及未來研究方向,旨在促進M-LLMs的整合,提升數據驅動的醫療實踐,並激發對下一代醫療M-LLM系統的討論與創新。 PubMed DOI

開源多語言醫學語言模型的發展,旨在服務不同語言和地區的使用者。主要貢獻包括: 1. **MMedC Corpus**:一個包含約255億詞元的多語言醫學語料庫,涵蓋六種主要語言,促進大型語言模型的適應性。 2. **MMedBench**:一個多語言醫學多選題問答基準,幫助監測多語言醫學模型的進展。 3. **模型評估**:評估各種開源模型在MMedBench上的表現,最終產出MMed-Llama 3,擁有80億參數,表現超越其他開源模型,甚至可與GPT-4競爭。 總之,這項工作提供了全面的語料庫、基準和模型,推進多語言醫學模型的發展。 PubMed DOI

這篇綜述文章全面介紹了大型語言模型(LLMs)和多模態語言模型(MLLMs),涵蓋它們的原理、應用及演變,適合各領域的研究人員、學生和學者閱讀。文章首先解釋了LLMs的技術概念,包括其運作原理和標記化過程,並探討了在生物大分子、醫學科學等領域的應用。接著,討論了LLMs的多模態應用,展示如何整合不同數據類型。最後,文章提到LLMs的挑戰及未來發展,為臨床醫生和科學家提供了重要資源,增進對這些模型的理解。 PubMed DOI

大型語言模型(LLMs)已經在科技界帶來重大變革,應用範圍超越自然語言處理,甚至進入放射學等專業領域。這些模型透過大規模數據預訓練,能執行多種任務,且通常不需再微調。隨著技術進步,LLMs 也在解決幻覺、偏見、高訓練成本等挑戰,並開始整合多模態輸入。對於小型本地開源 LLMs 的需求上升,因為它們能針對醫學知識進行微調,提升效率與隱私保護。本文將探討 LLMs 在放射學的現狀與未來發展。 PubMed DOI

這項研究全面探討大型語言模型(LLMs)在生物醫學與健康資訊學(BHI)的應用,強調其變革潛力及面臨的倫理與實際挑戰。透過分析1,698篇研究,發現LLMs在臨床決策支持、病患互動及醫療文件分析等領域的應用顯著增加,預期能提升診斷準確性。研究也揭示機構間的合作動態,特別是在心理健康和神經系統疾病的管理上,顯示出個人化醫療的潛力。儘管LLMs展現出巨大潛力,仍需重視倫理影響及模型驗證挑戰,以確保其在臨床上的有效性。 PubMed DOI

這篇評論探討大型語言模型(LLMs)和多模態大型語言模型(MLLMs)在放射學的進展,強調它們在報告生成、影像解讀、電子健康紀錄摘要等方面的潛力。透過自動化,這些模型能減輕放射科醫師的負擔,提高診斷準確性,並促進跨學科合作,最終提升病人護理品質。不過,評論也指出MLLMs在解讀三維醫學影像及整合影像與文本數據上仍面臨挑戰,並呼籲對評估方法的改進。 PubMed DOI

這篇論文探討了多模態大型語言模型(MLLMs)的最新進展,特別是像GPT-4V這類結合語言處理與多模態任務的模型。作者強調了MLLMs的獨特能力,例如從圖像生成敘事及進行複雜推理,顯示出朝向人工通用智慧的潛力。論文提供了MLLMs的全面概述,包括架構、訓練策略和評估方法,並探討了增強其適應性的方法。此外,還討論了多模態幻覺等問題及未來研究方向,以提升MLLM的能力。 PubMed DOI

這篇評論探討大型語言模型(LLMs)與聯邦學習(FL)的結合,旨在解決隨著LLMs規模擴大而出現的高品質數據不足問題。文章將這一整合分為三個領域:LLM子技術與FL的結合、FL子技術與LLMs的整合,以及兩者的全面合併。評論提供了當前研究的全貌,包括應用、優勢、挑戰及未來方向,並討論了在醫療、金融和教育等重要領域的實際應用,為未來的研究提供新見解。 PubMed DOI

這份調查探討大型語言模型(LLMs)與強化學習(RL)的整合,強調它們在多任務學習、樣本效率和高層次任務規劃等方面的潛力。作者將LLMs在RL中的角色分為四個功能:資訊處理者、獎勵設計者、決策者和生成器,並針對每個角色提出方法論和未來研究方向。這份調查旨在澄清研究領域,並提供框架,應用於機器人、自動駕駛和能源系統等領域,並討論LLMs增強RL的潛在應用與挑戰。 PubMed DOI

這篇綜述提供了大型語言模型(LLMs)在生物醫學數據分析中的應用概況,針對生物醫學研究人員的知識空白進行探討。文章首先介紹LLMs的基本技術,然後分析與數據相關的生物醫學數據集和框架。深入探討LLMs在基因組學、蛋白質組學、轉錄組學等領域的具體應用,並強調整合LLMs進入生物醫學研究時的挑戰。最終,這篇綜述為研究人員提供了資源,幫助他們在生物醫學領域中應用LLM技術。 PubMed DOI