2024-02-05から1日間の記事一覧
Redditに「LLMの量子化の影響を調べてみた」という投稿が上がっていました。 huggingface.co LLMの量子化では、最小で2bit近く(ファイルサイズ1/8程度)まで圧縮できますが、圧縮率を高めると出力の質が低下することが知られています。 ただ量子化による変…
Redditに「LLMの量子化の影響を調べてみた」という投稿が上がっていました。 huggingface.co LLMの量子化では、最小で2bit近く(ファイルサイズ1/8程度)まで圧縮できますが、圧縮率を高めると出力の質が低下することが知られています。 ただ量子化による変…