Ludovico's Blog
RSS Feed技术笔记、项目记录、随想。
精选
-
在 8x4090 上硬跑 DeepSeek-V4-Flash 的踩坑随记
本来想看看 4090 能不能凑合跑 DeepSeek-V4-Flash，跑是跑通了，但离"能用"还很远。一篇随记。
-
llama.cpp 跑 Qwen3-0.6B：HTP 上从 20 到 70 token/s
一次 Snapdragon Hexagon HTP 上的真实调优记录：OPPOLL、算子过滤、lm-head 量化，以及为什么 70 token/s 不是“全上 NPU”跑出来的。
-
llama.cpp Hexagon NPU 量化：Q4_0 / IQ4_NL / MXFP4 / Q8_0
Q4_0 / Q4_1 / IQ4_NL / MXFP4 / Q8_0 五种 HTP 原生量化格式的原理、反量化路径与对比。
-
TVM 是什么：层级架构与编译流水线
从整体架构到端到端流水线，理解 TVM 是什么、分几层、一个模型如何从 Relax 走到机器码。
-
llama.cpp 高通 Hexagon NPU 初跑 Qwen3.5 4B 模型
从 GGUF 量化、交叉编译到板端推理，完整记录 llama.cpp 在骁龙 Hexagon NPU 上的部署流程与调优经验。
-
TVM FFI（一）：对象系统与调用约定
TVM FFI 的核心骨架：引用计数对象系统、类型擦除容器 TVMFFIAny、Packed Function 调用约定，以及 DLPack 零拷贝张量传递。
最近文章
-
SeqMSE 原理：用输出重构误差选择量化 Encoding
SeqMSE 的核心思想、候选 encoding 搜索、reconstruction loss 计算、block-wise 优化方式，以及它和 min/max、AdaRound、GPTQ 的区别。
-
RKNN OCR Rec INT8 量化：Weight Outlier、CLE 与 Hybrid 的取舍
记录一次 OCR recognition presoftmax 模型在 RKNN W8A8 量化下的精度排查：对比 normal、KL、MMSE，尝试手动 Cross-Layer Equalization 处理 weight outlier，并分析为什么最终仍需要 hybrid。
-
MNN QNN 离线模式跑通 Qwen3-4B 大模型
完整记录从本地编译 MNN、生成 QNN 离线模型、准备高通 QNN 依赖，到在 QCS8550/8 Gen 2 板端按 MNN 文档跑通 Qwen3-4B 的全过程，以及中间遇到的权限、路径和库问题。
-
llama.cpp Hexagon HTP 长 Prompt 默认 ubatch=512 卡住的定位与修复
本来只是想在 Hexagon HTP 上跑一条稍长一点的总结题，结果 `llama.cpp` 默认 `ubatch=512` 直接卡在 prefill。最后一路排到 HMX matmul，发现是小 remainder batch 走异步 pipeline 后没回来。
-
Hermes Agent + Tailscale：免打扰远程控制
用 Hermes Agent 的 YOLO 模式搭配 Tailscale，让 AI 助手无缝 SSH 接管你的任何设备。
-
llama.cpp 里的 lm-head：Q6_K、Q4_0，以及为什么 4B 不一定提速
从 Qwen3/Qwen3.5 的 tied embedding 看 lm-head 性能瓶颈：0.6B 改 output-q4_0 有收益，4B 上收益有限甚至可能变慢。