ブログ

トピック

#quantization

1 本の記事

Kaitchup の散布図：Qwen3.8-27B の GGUF 15 本について、横軸に MTP と vision を除いた体積（GB）、縦軸に BF16 に対する精度回復率（%）。金色の 95% 線の上に 12 本、下に GSQ-RCO IQ2_S、UD IQ2_XXS、UD IQ1_M の 3 本。右に 15 本の凡例（体積・回復率・出力トークン）

Qwen3.8 27B の量子化、Q4・Q2・Q1 で何が変わるか——Q3_K_XL は BF16 と同じ、同じ 2-bit でも 96% と 74%、Q1 は 53%

Linden Kern