标签: 量化

含有标签 "量化".

• 从 LoRA 到 QLoRA、QA-LoRA：低秩更新如何进入量化模型

  10 Aug, 2026

  用一个完整的数值例子解释 LoRA、QLoRA 和 QA-LoRA 的训练、推理与合并流程，并拆开 QA-LoRA 官方实现中的 group pooling 和 qzeros 写回。

• 从权重角度理解均匀量化与向量量化

  7 Aug, 2026

  用权重矩阵、scale/offset、码本和索引，拆开解释均匀量化与向量量化到底在压缩什么、如何反量化，以及为什么码本大小会决定 bit 数。

• HQQ 算法解读：不用校准数据，怎样把大模型权重压到 4 bit

  28 Jul, 2026

  从 Dropbox HQQ 源码出发，拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径，并说明 axis、group size 和 backend 该怎样选。

• DINOv3 做 W8A8 PTQ：一次 FP 激活分布定位，把问题从猜测变成证据

  22 Jul, 2026

  DINOv3 ViT-B/16 的标准全图 W8A8 为何失效？64 张图的逐层 FP32 激活 profile 表明，block 2 MLP 的 learned register 与 patch token 出现数百倍动态范围差。

• ViT PTQ 论文与代码地图：从 PTQ4ViT、FQ-ViT、RepQ-ViT 到 RegCache，再落到 DINOv3

  22 Jul, 2026

  一张以问题为线索的 ViT 训练后量化地图：各论文实际解决什么、官方仓库能复现什么，以及为什么 DINOv3 的 learned storage token 需要不同的工程路径。

• [论文精读] RegCache：Vision Encoder 做激活量化，为什么需要 Prefixing Registers

  更新于: 21 Jul, 2026

  RegCache 发现视觉编码器中的高范数 outlier 会严重放大量化误差，并通过中间层 prefix registers 和 token deletion 改善 CLIP、SigLIP、DINOv2 等模型的低比特量化。