この記事では、LLMの性能を向上させる新しい方法を提案している研究を紹介します。 従来のモデルサイズの拡大やデータの増加とは異なり、今回研究者らは「推論時の計算量を増やす」ことで性能を高める方法を探っています。「反復サンプリング」という手法を使い、複数回の推論を行って最適な解答を選び出すアプローチを取っています。 本記事の関連研究 小さなLLMを多数組み合わせることで、単一の巨大モデルに匹敵する可能性 オープンソースモデルでも力を合わせればGPT-4oに匹敵することを示す「Mixture-of-Agents（MoA）」アーキテクチャ 背景 LLMの能力向上は、これまで主に学習時の計算リソースを…