原始文章

這篇研究推出輕量級生醫多模態小型語言模型 SigPhi-Med,僅用4.2B參數就能在多項醫學視覺問答測試中超越更大型模型。團隊針對模型大小、影像編碼器和訓練策略等進行優化,證明高效又省資源的醫療AI助理是可行的,對臨床應用很有幫助。原始碼已開放於 GitHub。 PubMed DOI


站上相關主題文章列表

這項研究探討大型語言模型(LLMs)在醫療應用中的準確性與能耗之間的平衡,特別分析了Meta的Llama 2和LMSYS Org的Vicuna 1.5。研究使用印第安納大學的胸部X光影像資料庫,發現Vicuna 1.5在效率和準確率上表現優於Llama 2。Llama 2的70B模型能耗是7B版本的七倍,但準確率卻較低,效率比僅22.30。結論指出,較小且經過微調的LLMs在醫療應用中更具可持續性,強調選擇模型的重要性,需平衡性能與環境影響。 PubMed DOI

這篇論文探討多模態數據在醫學中的重要性,包括醫學影像、時間序列、音頻、文本、視頻及組學數據。雖然大型語言模型(LLMs)在醫療知識檢索上已有進展,但多數仍專注於文本,未能有效整合各種數據。論文提出一個針對醫學多模態大型語言模型(M-LLMs)的綜合框架,涵蓋原則、應用、挑戰及未來研究方向,旨在促進M-LLMs的整合,提升數據驅動的醫療實踐,並激發對下一代醫療M-LLM系統的討論與創新。 PubMed DOI

開源多語言醫學語言模型的發展,旨在服務不同語言和地區的使用者。主要貢獻包括: 1. **MMedC Corpus**:一個包含約255億詞元的多語言醫學語料庫,涵蓋六種主要語言,促進大型語言模型的適應性。 2. **MMedBench**:一個多語言醫學多選題問答基準,幫助監測多語言醫學模型的進展。 3. **模型評估**:評估各種開源模型在MMedBench上的表現,最終產出MMed-Llama 3,擁有80億參數,表現超越其他開源模型,甚至可與GPT-4競爭。 總之,這項工作提供了全面的語料庫、基準和模型,推進多語言醫學模型的發展。 PubMed DOI

大型語言模型(LLMs)在研究和商業應用中越來越受重視,現在的趨勢是使用參數高效微調(PEFT)方法來開發較小的專用模型,而不需完全微調。研究發現,LoRA在各種任務中表現優異,常與完全微調的模型相當,顯示PEFT方法在臨床決策中有效,特別適合低成本運算。小型模型的優勢如快速處理和低訓練成本,超越大型LLMs的性能。此外,領域特定的預訓練對小型模型也相當重要。完整代碼可在GitHub上找到。 PubMed DOI

這項研究探討大型語言模型(LLMs)在優化醫療工作流程的應用,特別是面對經濟和計算挑戰。研究人員使用真實病患數據,評估了十種不同的LLM,進行超過30萬次實驗。結果顯示,隨著問題和臨床筆記數量增加,模型表現會下降。高容量模型如Llama-3-70b和GPT-4-turbo-128k能有效處理最多50個任務,但超過後表現下降。經濟分析指出,使用串接方式可在50個任務時實現高達17倍的成本降低,顯示LLM在臨床環境中的限制及提升成本效率的潛力。 PubMed DOI

大型語言模型(LLMs)對醫療保健,特別是醫學影像領域,將帶來重大影響。隨著它們發展成能處理文本與影像的多模態模型(LMMs),醫生了解這些技術的基本概念變得相當重要,以便能有效且負責任地使用。文章介紹了標記嵌入、變壓器網絡、自我監督預訓練和微調等基本原則,並深入探討LMMs的技術創建過程及其在醫學影像中的應用。 PubMed DOI

這項研究用三種開源AI模型自動摘要病人影像檢查紀錄,經專業醫師評估,發現AI摘要內容準確、實用又好上手。這樣能幫醫師快速掌握重點,省下查閱時間,資訊品質也沒打折,對放射科工作流程很有幫助。 PubMed DOI

大型語言模型正快速改變醫療現場,不只協助診斷、提升衛教,也讓臨床流程更有效率。導入時要重視好用的介面、醫師訓練、AI與醫護合作,並落實隱私與倫理規範。未來會朝多模態、強化安全及結合機器人發展,但最重要的還是以病患安全和人本設計為核心,輔助醫療專業而非取代。 PubMed DOI

這項研究推出 Meerkat 小型醫療語言模型(7B 和 8B 參數),透過醫學教科書的高品質思路鏈資料和多元指令訓練,強化多步推理能力。Meerkat 在醫學考試和病例挑戰中表現優於其他小型模型,甚至超越人類平均分數,推理品質也獲專家肯定,同時兼顧輕量化和隱私。 PubMed DOI

這篇研究提出 MedBLIP,結合影像編碼器和大型語言模型,有效提升胸腔X光醫學問答表現。透過多層影像特徵擷取和部分解凍模型權重,能更好整合影像與文字資訊。實驗證明,解凍31.25%權重可顯著提升準確率。雖無法取代醫師,但能輔助診斷與研究。程式碼已開源。 PubMed DOI