Investigating the Impact of Prompt Engineering on the Performance of Large Language Models for Standardizing Obstetric Diagnosis Text: Comparative Study.
研究即時工程對大型語言模型在標準化產科診斷文本表現的影響：比較研究。 JMIR Form Res 2024-02-25

研究使用真實世界數據評估大型語言模型（LLMs）在標準化產科診斷術語時的表現，發現LLMs在無監督設置中表現較佳。不同的提示工程設置會影響LLMs的表現，其中QWEN提示效果最好，有助於提高診斷術語對齊效率。 PubMed DOI

The perils and promises of fact-checking with large language models.
使用大型語言模型進行事實核查的危機與潛力。 Front Artif Intell 2024-02-24

GPT-4等大型語言模型在事實核查上扮演重要角色，尤其在防止假消息擴散。瞭解它們的能力和限制對維護資訊環境至關重要。研究指出，提供上下文資訊可增進模型表現。雖GPT-4比GPT-3強，但準確性受查詢語言和真實性主張影響。使用時應謹慎，呼籲進一步研究以深入了解模型成功與失敗。 PubMed DOI

Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews: Comparative Analysis.
ChatGPT和Bard用於系統性評論的幻覺率和參考準確性：比較分析。 J Med Internet Res 2024-05-22

研究發現ChatGPT和Bard等大型語言模型在科學寫作參考文獻生成方面表現不佳，容易產生錯誤資訊。建議在進行系統性回顧時謹慎使用這些模型，研究人員應該先驗證資料的正確性。在學術領域使用這些模型前，需要改進它們的訓練和功能。 PubMed DOI

Detecting hallucinations in large language models using semantic entropy.
利用語義熵檢測大型語言模型中的幻覺。 Nature 2024-06-19

大型語言模型（LLM）如ChatGPT或Gemini具有強大的推理和問答能力，但可能產生虛假輸出。這可能對各領域應用造成問題，如製造虛假法律先例或散佈虛假新聞。為提升誠實性，研究者致力於開發檢測虛假輸出的方法，著重於評估不確定性以檢測不正確回應。這種方法可用於識別新情況中的不可靠輸出，幫助用戶警惕LLM的潛在風險，並拓展新應用。 PubMed DOI

Large Language Model Prompting Techniques for Advancement in Clinical Medicine.
臨床醫學進步的大型語言模型提示技術。 J Clin Med 2024-09-14

大型語言模型（LLMs）有潛力顯著改變臨床醫學，能改善醫療服務的可及性、增強診斷、協助手術規劃及促進教育。不過，這些模型的有效運用需謹慎設計提示，以應對幻覺和偏見等挑戰。理解標記化、嵌入和注意力機制等關鍵概念，以及運用策略性提示技術，對生成準確輸出至關重要。AI技術與醫療專業人員的合作、重視倫理問題如數據安全和偏見緩解，能提升醫療服務質量與可及性。持續的研究與發展對於發揮LLMs在醫療領域的潛力至關重要。 PubMed DOI

Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation.
大型語言模型、科學知識與事實性：一個簡化人類專家評估的框架。 J Biomed Inform 2024-09-14

這篇論文提出了一個評估大型語言模型（LLMs）在生物醫學知識編碼的框架，特別針對抗生素研究。框架分為三個步驟：流暢性、提示對齊和語義一致性，並評估事實知識和回應的具體性。研究涵蓋了ChatGPT、GPT-4和Llama 2等十一個模型，透過生成化合物定義和確定化合物與真菌關係的任務進行評估。結果顯示，雖然流暢性有所提升，但事實準確性仍有待加強，對LLMs作為生物醫學知識庫的可靠性提出了疑慮，並強調需要更系統的評估方法。 PubMed DOI

Fact-checking information from large language models can decrease headline discernment.
大型語言模型的事實查核資訊可能會降低標題辨識能力。 Proc Natl Acad Sci U S A 2024-12-04

這項研究探討大型語言模型（LLM）在事實查核方面對政治新聞標題的影響。雖然該模型在識別虛假標題的準確率高達90%，但並未顯著提升參與者的辨識能力或分享準確新聞的意圖。相對而言，人類生成的查核更有效。此外，AI查核可能導致對真實標題的信念下降，對虛假標題的信念上升。總之，雖然AI能協助查核，但錯誤標記也可能帶來風險，需謹慎應用並制定相關政策。 PubMed DOI

Empowering large language models for automated clinical assessment with generation-augmented retrieval and hierarchical chain-of-thought.
利用生成增強檢索和分層思維鏈來提升大型語言模型的自動臨床評估能力。 Artif Intell Med 2025-02-20

這項研究提出了一種名為「GAPrompt」的新方法，旨在提升大型語言模型（LLMs）在自動化臨床評估中的應用，特別是針對電子健康紀錄（EHRs）中的中風評估。GAPrompt包含五個關鍵組件，包括選擇適合的LLM、建立增強知識庫、改善檢索、增強推理精確性及結合多重生成輸出。研究結果顯示，GAPrompt能有效分析EHRs並提供定量評估，解決傳統中風評估的勞動密集問題，顯示LLMs在醫療及其他領域的潛力。 PubMed DOI

An active inference strategy for prompting reliable responses from large language models in medical practice.
在醫學實踐中促使大型語言模型產生可靠回應的主動推理策略。 NPJ Digit Med 2025-02-22

大型語言模型（LLMs）在醫學知識的教育、訓練和治療上有顯著進展，但早期研究顯示其不穩定性和潛在的有害輸出。為了解決這些問題，我們提出了一個經過驗證的數據集來訓練LLMs，並設計了一個演員-評論者的提示協議。在這個框架中，治療師生成初步回應，然後由監督者進行精煉。盲驗證研究顯示，LLM的評分常高於適當的治療師回應，顯示其符合專家標準，為安全整合LLM技術於醫療應用提供了基礎。 PubMed DOI

Mitigating spatial hallucination in large language models for path planning via prompt engineering.
透過提示工程減輕大型語言模型在路徑規劃中的空間幻覺。 Sci Rep 2025-03-15

S2ERS 技術旨在提升大型語言模型（LLMs）在迷宮環境中的空間推理能力，改善路徑規劃。它採用了三個關鍵策略：首先，透過圖結構提取，幫助 LLMs 理解空間關係，減少錯誤；其次，納入狀態-行動價值函數（Q），指導 LLM 的決策，避免陷入死胡同；最後，透過多步推理，動態插入局部 Q 表，讓 LLM 同時生成多個行動步驟。實驗顯示，S2ERS 顯著減少了空間幻覺問題，成功率和最佳率分別提高約 29% 和 19%。 PubMed DOI

原始文章

站上相關主題文章列表