标签: PyTorch
含有标签 "PyTorch".
-
HQQ 算法解读:不用校准数据,怎样把大模型权重压到 4 bit
从 Dropbox HQQ 源码出发,拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径,并说明 axis、group size 和 backend 该怎样选。
含有标签 "PyTorch".
从 Dropbox HQQ 源码出发,拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径,并说明 axis、group size 和 backend 该怎样选。