本記事では、LLMに多数の指示を与えたときにどのような挙動を示すのかを検証した研究を紹介します。 最近のLLMはコンテキストウィンドウ（入力文字数）の拡大により、一度に多くの条件を詰め込んだプロンプトが現実的になってきましたが、その限界は明確ではありません。 そんな中、最大500個の指示を用いて複数のモデルの性能劣化やエラー傾向が詳細に分析されています。実運用に向けて、どのモデルがどんな場面に適しているかを見極めるための参考になりそうです。 本記事の関連研究 LLMはシステムプロンプトをどれほど守れるか LLMは「AIエミュレーター」？理論分析から原則的に導き出されるプロンプトエンジニアリング…