Unveiling the power of language models in chemical research question answering.
揭示語言模型在化學研究問題回答中的力量。 Commun Chem 2025-01-05

ScholarChemQA 是一個新推出的學術化學問答數據集，旨在評估語言模型在化學領域的表現。這個數據集來自化學論文，問題取自論文標題，並根據摘要提供多選答案。為了應對數據不均和未標記數據的挑戰，開發了 ChemMatch 模型，能有效回答化學問題。實驗顯示，儘管大型語言模型已有進展，但在化學任務上仍有改進空間。ChemMatch 在基準測試中表現優於其他模型，顯示其有效性。更多資訊可參考 GitHub 連結：https://github.com/iriscxy/chemmatch。 PubMed DOI

A recent evaluation on the performance of LLMs on radiation oncology physics using questions of randomly shuffled options.
最近對大型語言模型在放射腫瘤物理學表現的評估，使用隨機打亂選項的問題。 ArXiv 2025-01-13

這項研究評估了大型語言模型（LLMs）在回答放射腫瘤物理問題的表現。研究人員使用100道由專家設計的選擇題，測試了五個LLM，包括OpenAI o1-preview和GPT-4o等。結果顯示，所有模型的表現達到專家水準，o1-preview在某些情況下甚至超越醫學物理學家。不過，當正確答案被移除時，模型表現明顯下降，顯示需改進。透過解釋優先和逐步提示的方式，LLaMA 3.1等模型的推理能力有所增強，顯示這些LLM在放射腫瘤物理教育上有潛力。 PubMed DOI

A Comprehensive Analysis of a Social Intelligence Dataset and Response Tendencies Between Large Language Models (LLMs) and Humans.
大型語言模型（LLMs）與人類之間社會智慧數據集及反應傾向的綜合分析。 Sensors (Basel) 2025-01-25

近年來，改善人類與人工智慧（AI）互動的關注度逐漸上升，社會智慧成為促進自然溝通的關鍵。為了評估AI對人類互動的理解，像Social-IQ這樣的數據集被創建，但這些數據集多採用基本的問答格式，缺乏答案的理由，且通常只從預設選項中生成答案，限制了可解釋性和可靠性。為了解決這些問題，我們進行了一項基於視頻的問答評估，強調人類互動，並加入相關註解，發現人類與AI的反應模式存在顯著差異，顯示現有基準的缺陷。我們的發現將有助於開發更精緻的數據集，促進人類與AI之間更自然的溝通。 PubMed DOI

APBench and benchmarking large language model performance in fundamental astrodynamics problems for space engineering.
APBench 與大型語言模型在太空工程基本天體力學問題中的性能基準測試。 Sci Rep 2025-03-06

這項研究強調了利用大型語言模型（LLMs）解決STEM領域複雜問題的興趣，特別是在天體動力學和太空工程方面。天體動力學問題基準（APBench）的發展，為評估LLMs在這些領域的解題能力提供了重要依據。透過創建多樣化的問題和答案，這個基準旨在評估開源和專有模型的表現，並為未來太空研究中的智慧進步奠定基礎。 PubMed DOI

Arch-Eval benchmark for assessing chinese architectural domain knowledge in large language models.
用於評估大型語言模型中文建築領域知識的 Arch-Eval 基準 Sci Rep 2025-04-18

這篇論文提出「Arch-Eval」框架，專門評估大型語言模型在建築領域的知識表現。研究用875題標準題庫測試14種模型，發現各模型表現差異大。雖然用Chain-of-Thought推理法正確率只小幅提升（不到3%），但回答速度卻慢了26倍。未來還需加強LLM在建築領域的推理能力和多模態互動。 PubMed DOI

Achieving GPT-4o level performance in astronomy with a specialized 8B-parameter large language model.
以專門的 8B 參數大型語言模型實現天文學領域 GPT-4o 等級的表現 Sci Rep 2025-04-21

AstroSage-Llama-3.1-8B 是專為天文學打造的 AI 模型，訓練時用上大量天文相關資料。它在天文學測試上表現超越其他同級模型，甚至能跟 GPT-4o 一較高下。現在已免費開放給研究和教育使用。 PubMed DOI

LLM-CGM: A Benchmark for Large Language Model-Enabled Querying of Continuous Glucose Monitoring Data for Conversational Diabetes Management.
LLM-CGM：用於對話式糖尿病管理之大型語言模型查詢連續血糖監測數據的基準 Pac Symp Biocomput 2025-04-29

這篇研究探討大型語言模型（LLM）如何幫助病人解讀連續血糖監測（CGM）數據，協助糖尿病管理。作者建立了開源的CGM數據問答基準，評估多種LLM表現，並指出LLM在解讀穿戴式健康數據上還有進步空間，這些方法也能應用到其他穿戴裝置。 PubMed DOI

Comparison of Large Language Models' Performance on 600 Nuclear Medicine Technology Board Examination-Style Questions.
大型語言模型在600題核醫技術師國家考試題型上的表現比較 J Nucl Med Technol 2025-05-09

這項研究比較多款大型語言模型（LLM）在核子醫學題目的表現，發現結合檢索增強生成（RAG）的 GPT-4o 準確率最高。RAG 整體有助提升答題表現。雖然 LLM 在教育和臨床輔助有潛力，但對複雜指引和影像題還不夠理想，未來還需再優化才能安心用於醫療領域。 PubMed DOI

3DBench: A scalable benchmark for object and scene-level instruction-tuning of 3D large language models.
3DBench：用於3D大型語言模型物件與場景層級指令微調的可擴展性基準 Neural Netw 2025-05-17

目前針對多模態大型語言模型處理點雲資料的評測標準很有限，難以全面評估模型的空間理解與推理能力。為此，作者提出3DBench，涵蓋十項物件與場景任務，並分為表達、感知、推理三類。作者也建立了超過23萬筆3D指令問答資料集，並設計Bench-model來提升表現。程式碼和資料已開源於GitHub。 PubMed DOI

A recent evaluation on the performance of LLMs on radiation oncology physics using questions of randomly shuffled options.
近期以隨機重排選項題目評估大型語言模型（LLMs）於放射腫瘤物理學表現 Front Oncol 2025-06-09

這項研究發現，最新的五款大型語言模型在放射腫瘤物理學選擇題上表現都達到專家水準，甚至有模型超越醫學物理師。不過，當答案設計成「以上皆非」時，模型表現明顯下滑，顯示推理還有待加強。用「先解釋再作答」等提示，部分模型推理能力會提升。整體來說，這些模型已具備專業領域的專家能力。 PubMed DOI

原始文章

站上相關主題文章列表