LLMは多大な計算コストとメモリーを必要とするため、モデルを軽量なものに変える量子化手法が注目を集めています。今では、大きなモデルが発表されたと同時に量子化モデルが有志によって作成されるこも多くなっています。 しかし量子化は、モデルの性能低下やバイアスの増幅を引き起こすことが懸念されています。また、モデルの予測確率分布（簡単に言うとモデルの自信）がどう変化するのかは、十分な検討がなされていません。 そこで今回研究者らは量子化前後のLLMを比較し、量子化がモデルの確信度に与える影響を調査しました。 本記事の関連研究： LLMを軽くする効果的な剪定手法『SliceGPT』 小さなLLMを多数組み合…