DeepSeek-V4.1-Flash 本地量化部署要点

博主“AI少年”发布 DeepSeek-V4.1-Flash 的本地部署与量化选型教程，针对 Unsloth Dynamic V3.1 量化版给出内存门槛和档位建议。该模型为 552B 主干加 196B Engram，支持 1M 上下文；Engram 是 n-gram 查找表，可用 mmap 放在 SSD 上按需读取，以降低内存压力。 按其说法，128GB 内存即可运行 1-bit 量化，64GB 也能跑但较慢；2-bit 的 Q2_K_XL 基本无损，是最值得选的一档。另称配一个 8GB 草稿模块，解码可快 1.3–1.5 倍。上述速度与无损说法均出自该教程作者，尚未见独立验证。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。