CoT(思考の連鎖)は数学や論理で劇的に性能を向上させる一方、常識や知識のタスクでほとんど効果がない

本記事では、LLMにおける思考の連鎖(Chain-of-Thought, CoT)プロンプティングの効果を包括的に評価した研究を紹介します。 研究者たちは、100以上の論文を対象とした分析と、14のモデルを用いた20のデータセットでの独自の評価を行いました。CoTがどのようなタスクで効果的なのか、そしてなぜ効果があるのかを明らかにすることを目的としています。 参照論文情報 タイトル:To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning 著者:Zayne Sprague, Fangco…