64GB就能Token自由 DeepSeek V4.1 Flash可本地部署：3倍速度

anyangmo

64GB就能Token自由 DeepSeek V4.1 Flash可本地部署：3倍速度

快科技10月30日消息，本地部署AI大模型是很多人期待的方案，等于Token自由，以前都只能部署小参数模型，现在DeepSeek V4.1 Flash-1017这样的大模型也能本地部署了。

Unsloth一直在搞本地部署DeepSeek V4.1 Flash-1017优化，今天又放出了Dynamic V3.1 量化号称可以在最低64GB内存设备上本地部署，而且相比前版性能更强、任务完成更快、输出更短，性价比全面提升。

根据他们公布的数据，Dynamic V3.1的性能非常强，在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等基准测试上排名第一。

更重要的是，速度也更快了，Unsloth Desktop + llama.cpp相比其他专注于 CPU/VRAM/n-gram的仓库可实现约快3倍的DeepSeek-V4.1 推理。

不过Unsloth的文章中提到了可以在64GB内存的设备上运行，但没有提供具体的测试数据，而最小量化的IQ1_S版本也需要122.4GB内存，不知道他们是怎么做到在64GB内存上跑的。

考虑到V4.1 Flash的架构，1950亿参数的n-gram存储可以用SSD来运行，但这样的配置对速度显然是很不利的。

所以就算是能做到在64GB内存设备上跑，速度应该也没有什么价值，Token输出自由了，只不过体验应该没有意义，至少还得128GB，毕竟128GB内存跑起来也不会有多快的速度。

详细的介绍和部署方法可以查看Unsloth官网说明。（注：因本版块规定发贴不允许有暗链接，故将原暗链接地址附后：https://unsloth.ai/docs/zh/mo-xing/deepseek-v4.1-flash）

原文地址：https://news.mydrivers.com/1/1162/1162062.htm