Large Language Models and the Wisdom of Small Crowds.
大型語言模型與小眾智慧。
Open Mind (Camb) 2024-06-03
研究指出,使用大型語言模型(LLMs)取代人類受試者進行數據收集,引入了新方法「number needed to beat」(NNB),用來評估人類數據質量與頂尖LLM如GPT-4相比的差距。實驗結果顯示,在英語任務中,NNB大於1,但各任務有所不同。結合LLM和人類數據的「centaur」方法被證實比單獨使用更有效。研究考量了數據成本和質量的權衡,建議此框架可協助判斷何時以及如何運用LLM生成的數據。
PubMedDOI
How large language models can reshape collective intelligence.
大型語言模型如何重塑集體智慧。
Nat Hum Behav 2024-09-20