本記事では、量子化がLLMに与える影響を調査した研究を紹介します。8億から103億パラメータの様々なLLMを対象に、日本語を含む20以上の言語で自動評価や人間評価が行われました。 研究の結果、量子化の影響は言語やタスクの難易度によって異なること、自動評価と人間評価に乖離があることを示しています。 調査を行ったのはCommand R+などを開発して話題になっている企業Cohereです。 参照論文情報 タイトル：How Does Quantization Affect Multilingual LLMs? 著者：Kelly Marchisio, Saurabh Dash, Hongyu Chen,…