LLMs（如GPT-3.5和ChatGPT）在各種任務上表現逐漸提升，包括醫學證據摘要。然而，自動評量不一定準確，人類評估發現LLMs有時會產生不準確或誤導性的摘要，尤其在醫學領域。這些模型在識別關鍵信息和處理長文本時仍有改進空間。 PubMed DOI

這篇論文評估了大型語言模型（LLMs）在各種生物醫學任務上的表現，發現即使在較小的生物醫學數據集上沒有進行特定微調，LLMs 也能表現良好。雖然LLMs 在所有任務上可能不如專門的生物醫學模型表現優秀，但它們展現了在具有有限標註數據的生物醫學任務中作為有用工具的潛力。 PubMed DOI

最近大型語言模型和提示工程的進展，讓自訂聊天機器人變得更容易，不再需要程式設計技能。不過，進行大規模的提示評估仍然很具挑戰性。我們的研究確定了五個關鍵挑戰，並提出了一個以特徵為導向的提示評估工作流程，特別針對文本摘要，強調根據摘要特徵來評估提示，而非僅依賴傳統指標。為了支持這個流程，我們推出了Awesum，一個視覺分析系統，幫助用戶識別最佳提示改進。我們的測試顯示，Awesum能有效幫助非技術用戶進行系統性評估，並可應用於其他自然語言生成任務。未來建議專注於大型語言模型的特徵導向評估。 PubMed DOI

這篇論文提出了一個評估大型語言模型（LLMs）在生物醫學知識編碼的框架，特別針對抗生素研究。框架分為三個步驟：流暢性、提示對齊和語義一致性，並評估事實知識和回應的具體性。研究涵蓋了ChatGPT、GPT-4和Llama 2等十一個模型，透過生成化合物定義和確定化合物與真菌關係的任務進行評估。結果顯示，雖然流暢性有所提升，但事實準確性仍有待加強，對LLMs作為生物醫學知識庫的可靠性提出了疑慮，並強調需要更系統的評估方法。 PubMed DOI

這項研究探討了訓練大型語言模型（LLMs）來根據美國住院醫師教育認證委員會（ACGME）的標準分類受訓者的反饋。研究發現，雖然複雜的模型未必能提高分類準確率，但較小的模型如BERT-mini在性能上與FastText相當，且在個人設備上部署時更具優勢，能提升速度和數據隱私。這項研究有助於理解如何有效整合LLMs於醫學教育中。 PubMed DOI

這項研究探討如何透過微調提升開源大型語言模型（LLMs）在醫學證據摘要的表現。雖然專有模型通常更有效，但也存在透明度不足和依賴供應商的風險。研究人員使用包含8,161對系統性回顧摘要的MedReview數據集，對三個開源模型—PRIMERA、LongT5和Llama-2進行微調。結果顯示，微調後這些模型的表現顯著提升，特別是LongT5在零樣本設定中表現接近GPT-3.5，甚至有些小型模型超越了大型模型。這顯示微調開源LLMs能有效提升其在專業任務中的表現，成為專有模型的可行替代方案。 PubMed DOI

這項研究探討如何將大型語言模型（LLMs）整合進證據基礎醫學（EBM），以自動化任務如證據檢索和傳播，來提升臨床決策。研究比較了七個LLMs的表現，結果顯示這些模型在理解和總結方面表現優異，知識引導的提示也顯著提升了效果。不過，在命名實體識別和事實準確性上仍面臨挑戰，需要進一步研究和質量控制才能應用於臨床。研究結果和代碼已在GitHub上公開。 PubMed DOI

隨著科學文章數量快速增加，如何組織和提取資訊成為一大挑戰，顯示出自動化的必要性。本研究探討利用大型語言模型（如OpenAI的GPT-4.0）來提取科學文獻中的關鍵洞察。我們開發了名為ArticleLLM的系統，透過手動基準微調來提升模型表現，並採用多演員LLM策略，結合多個微調模型的優勢，增強提取效果。本研究顯示LLMs在關鍵洞察提取上的潛力，並強調協作微調的好處，有助於提升學術文獻調查與知識發現的效率。 PubMed DOI

這篇論文探討了六種大型語言模型（LLMs）在自動化出院摘要方面的有效性，並提出了一種新的自動評估指標，與人類評估結果相符。研究使用F1-Score來評估模型表現，並與醫療專業人員的評估進行比較。結果顯示，雖然LLMs有潛力，但在醫學知識和診斷能力上仍需改進。實驗的源代碼和數據可在GitHub上找到。 PubMed DOI

大型語言模型（LLMs）大幅提升了臨床自然語言生成（NLG）的能力，為處理醫療文本提供了新方法。不過，將這些模型應用於醫療環境前，必須進行全面評估，以確保其可靠性與有效性。我們的回顧探討了現有NLG在醫療領域的評估指標，並提出一種未來的方法，旨在減少專家評估的限制，平衡資源效率與人類判斷的一致性，確保生成內容符合臨床高標準。 PubMed DOI