Mobius Labs - 关于1bit量化LLM的探索

Mobius Labs对1bit量化LLM进行了探索，探讨了使用HQQ+对预训练模型进行极低位(2位和1位)量化的细节。结果表明，即使在1位量化下，在HQQ量化模型的基础上仅训练一小部分权重，输出质量也会显著提高，超过了更小的全精度模型。

对于Llama2-7B等小模型应用1位量化会产生次优结果。但经过微调后，其输出质量会大幅提升。

对于2位量化，当给予更专业的数据时，模型表现会非常出色。事实上，使用HQQ+的Llama2-7B 2位基础模型在wikitext上的表现超过了全精度模型。

其实看不太懂，但好像挺重要的就转发一下看看，他们还发布了Colab运行的代码。

@MobiusLabs @1bit量化LLM @HQQ