Benchmarking large language models for biomedical natural language processing applications and recommendations.
大型語言模型在生物醫學自然語言處理應用中的基準測試與建議。
Nat Commun 2025-04-05
CARDBiomedBench: A Benchmark for Evaluating Large Language Model Performance in Biomedical Research.
CARDBiomedBench:評估大型語言模型在生物醫學研究中表現的基準。
bioRxiv 2025-01-27
Comparative evaluation and performance of large language models on expert level critical care questions: a benchmark study.
大型語言模型在專家級重症護理問題上的比較評估與表現:基準研究。
Crit Care 2025-02-10
這項研究評估了五個大型語言模型(LLMs)在重症醫學中的表現,針對1181道選擇題進行測試。結果顯示,GPT-4o的準確率最高,達93.3%,其次是Llama 3.1 70B(87.5%)和Mistral Large 2407(87.9%)。所有模型的表現都超過隨機猜測和人類醫師,但GPT-3.5-turbo未顯著優於醫師。儘管準確性高,模型仍有錯誤,需謹慎評估。GPT-4o成本高昂,對能源消耗引發關注。總體而言,LLMs在重症醫學中展現潛力,但需持續評估以確保負責任的使用。
PubMedDOI
The Large Language Models on Biomedical Data Analysis: A Survey.
生物醫學數據分析中的大型語言模型:一項調查。
IEEE J Biomed Health Inform 2025-03-03
Evaluating the effectiveness of biomedical fine-tuning for large language models on clinical tasks.
評估生物醫學微調對大型語言模型在臨床任務上的有效性。
J Am Med Inform Assoc 2025-04-07
Benchmarking large language models GPT-4o, llama 3.1, and qwen 2.5 for cancer genetic variant classification.
GPT-4o、llama 3.1 與 qwen 2.5 在癌症基因變異分類的效能評比
NPJ Precis Oncol 2025-05-14