标签: 大语言模型

含有标签 "大语言模型".

• 从 LoRA 到 QLoRA、QA-LoRA：低秩更新如何进入量化模型

  10 Aug, 2026

  用一个完整的数值例子解释 LoRA、QLoRA 和 QA-LoRA 的训练、推理与合并流程，并拆开 QA-LoRA 官方实现中的 group pooling 和 qzeros 写回。

• 从权重角度理解均匀量化与向量量化

  7 Aug, 2026

  用权重矩阵、scale/offset、码本和索引，拆开解释均匀量化与向量量化到底在压缩什么、如何反量化，以及为什么码本大小会决定 bit 数。

• HQQ 算法解读：不用校准数据，怎样把大模型权重压到 4 bit

  28 Jul, 2026

  从 Dropbox HQQ 源码出发，拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径，并说明 axis、group size 和 backend 该怎样选。