この記事では、LLMと人間の専門家による研究アイデア作りの能力を比べた大規模な研究を紹介します。研究の目的は、科学研究の自動化を進めるための知見を集めることでした。 実験には100人以上の自然言語処理（NLP）の研究者が参加し、LLMと人間が考えたアイデアが比較されました。そして「新しさ」や「実現できるかどうか」など5つの基準で評価が行われました。 その結果は非常に興味深いものでした。 なお、LLMで研究アイデアを生成する際にはRAGも含めたエージェントの仕組みが設計されました。その設計内容も有益な知見となる可能性があります。 本記事の関連研究 Sakana AIが科学研究自動化フレームワーク…