LLMs在醫學領域的應用有潛力，但研究指出它們在生成摘要時可能不夠準確，容易出現錯誤或誤導性資訊。自動評估工具並不完全可靠，人工評估顯示在長篇文章中尤其難以辨識關鍵訊息。因此，在醫療保健領域中，我們應謹慎使用LLMs，不可全然依賴其能力。 PubMed DOI

LLMs（如GPT-3.5和ChatGPT）在各種任務上表現逐漸提升，包括醫學證據摘要。然而，自動評量不一定準確，人類評估發現LLMs有時會產生不準確或誤導性的摘要，尤其在醫學領域。這些模型在識別關鍵信息和處理長文本時仍有改進空間。 PubMed DOI

這篇論文評估了大型語言模型（LLMs）在各種生物醫學任務上的表現，發現即使在較小的生物醫學數據集上沒有進行特定微調，LLMs 也能表現良好。雖然LLMs 在所有任務上可能不如專門的生物醫學模型表現優秀，但它們展現了在具有有限標註數據的生物醫學任務中作為有用工具的潛力。 PubMed DOI

這篇論文介紹了MedExpQA，這是一個多語言的基準，專門用來評估大型語言模型（LLMs）在醫療問答的表現。雖然LLMs在醫療執照考試中表現不錯，但仍面臨知識過時和生成不準確資訊的問題。現有基準缺乏參考解釋，讓評估LLM的推理變得困難。MedExpQA提供醫療專業人士的正確與錯誤答案作為參考，研究顯示LLMs在英語的準確率約75%，但其他語言下降10%。作者計劃公開數據、代碼和微調模型，以促進後續研究。 PubMed DOI

最近大型語言模型和提示工程的進展，讓自訂聊天機器人變得更容易，不再需要程式設計技能。不過，進行大規模的提示評估仍然很具挑戰性。我們的研究確定了五個關鍵挑戰，並提出了一個以特徵為導向的提示評估工作流程，特別針對文本摘要，強調根據摘要特徵來評估提示，而非僅依賴傳統指標。為了支持這個流程，我們推出了Awesum，一個視覺分析系統，幫助用戶識別最佳提示改進。我們的測試顯示，Awesum能有效幫助非技術用戶進行系統性評估，並可應用於其他自然語言生成任務。未來建議專注於大型語言模型的特徵導向評估。 PubMed DOI

這項研究探討了微調開源大型語言模型（LLMs）在醫學證據總結方面的潛力，與專有模型相比，開源模型雖然表現較弱，但提供了更高的透明度和自訂性。研究人員使用MedReview基準數據集對三個流行的開源LLMs進行微調，結果顯示微調後的LongT5在零樣本設定中接近GPT-3.5的表現，且一些小型微調模型甚至超越了大型零樣本模型。這些改進在人工評估和模擬GPT-4的評估中均有明顯體現。 PubMed DOI

這篇論文提出了一個評估大型語言模型（LLMs）在生物醫學知識編碼的框架，特別針對抗生素研究。框架分為三個步驟：流暢性、提示對齊和語義一致性，並評估事實知識和回應的具體性。研究涵蓋了ChatGPT、GPT-4和Llama 2等十一個模型，透過生成化合物定義和確定化合物與真菌關係的任務進行評估。結果顯示，雖然流暢性有所提升，但事實準確性仍有待加強，對LLMs作為生物醫學知識庫的可靠性提出了疑慮，並強調需要更系統的評估方法。 PubMed DOI

這項研究探討了訓練大型語言模型（LLMs）來根據美國住院醫師教育認證委員會（ACGME）的標準分類受訓者的反饋。研究發現，雖然複雜的模型未必能提高分類準確率，但較小的模型如BERT-mini在性能上與FastText相當，且在個人設備上部署時更具優勢，能提升速度和數據隱私。這項研究有助於理解如何有效整合LLMs於醫學教育中。 PubMed DOI

這項研究探討如何透過微調提升開源大型語言模型（LLMs）在醫學證據摘要的表現。雖然專有模型通常更有效，但也存在透明度不足和依賴供應商的風險。研究人員使用包含8,161對系統性回顧摘要的MedReview數據集，對三個開源模型—PRIMERA、LongT5和Llama-2進行微調。結果顯示，微調後這些模型的表現顯著提升，特別是LongT5在零樣本設定中表現接近GPT-3.5，甚至有些小型模型超越了大型模型。這顯示微調開源LLMs能有效提升其在專業任務中的表現，成為專有模型的可行替代方案。 PubMed DOI

這項研究探討如何將大型語言模型（LLMs）整合進證據基礎醫學（EBM），以自動化任務如證據檢索和傳播，來提升臨床決策。研究比較了七個LLMs的表現，結果顯示這些模型在理解和總結方面表現優異，知識引導的提示也顯著提升了效果。不過，在命名實體識別和事實準確性上仍面臨挑戰，需要進一步研究和質量控制才能應用於臨床。研究結果和代碼已在GitHub上公開。 PubMed DOI