本帖最后由 翼风Fly 于 2026-10-5 20:40 编辑
【大模型科普系列·番外1】本地小模型入门：ollama、量化与 Qwen 实战
本文AI含量：99%
这是番外篇的第 1 篇。主线讲的是网页版和 API，这一篇讲另一种玩法：把模型下载到自己电脑上跑。适合有隐私需求、有显卡、爱折腾的人。小白先了解，不必急着上手。
系列导读：《大模型科普系列·导读与更新索引》
术语速查：《大模型科普系列·术语速查表》
一、开场：为什么有人要把模型下到自己电脑里？
网页版和 API 已经够用了，为什么还要本地部署？
三个理由：
- 隐私：数据不出本机。处理合同、病历、公司文档时更放心。
- 离线：没网也能用。飞机上、断网时照样跑。
- 自由：不依赖厂商限流、收费、政策变化。
但代价也很实在：
- 需要显卡、内存、电费。
- 能力通常不如云端大模型。
- 要花时间折腾，遇到问题自己解决。
本地部署不是“更高级”，而是“另一种取舍”。先想清楚你要什么，再决定要不要折腾。
二、本地小模型是什么？
云端大模型动辄几百亿、上千亿参数，跑在厂商的机房里。本地小模型则是参数更少、能塞进个人电脑的版本。
国内可用的常见开源模型：
- Qwen（通义千问）系列：阿里出品，中文友好，小模型规格最全，从 0.8B 到 397B 全覆盖，是目前本地部署的首选之一。
- DeepSeek 系列：深度求索出品，推理和代码能力强，开源权重可自己部署。
- GLM 系列：智谱 AI 出品，数学和代码推理突出，有 9B 等小尺寸版本。
本地部署优先选国内开源模型，中文支持好、社区活跃、下载方便。
三、ollama：最简单的本地部署方式
ollama 是目前对新手最友好的本地部署工具。一条命令就能拉取、运行模型。
基本流程：
- 去 ollama 官网下载安装包。
- 安装后打开终端（Windows 用 PowerShell 或 CMD）。
- 输入命令拉取模型，比如：
- 运行模型：
- 直接对话，输入问题，回车。
常用命令：
- ollama list # 查看已下载的模型
- ollama pull 模型名 # 下载模型
- ollama run 模型名 # 运行模型
- ollama rm 模型名 # 删除模型
ollama 的好处：
- 安装简单，命令少。
- 自带 API，兼容 OpenAI 格式，可以接 Cherry Studio 等客户端。
- 模型库丰富，一条命令切换。
- 支持 CPU 和 GPU。
如果你只想体验一次本地模型，从 ollama 开始就够了。
Qwen3.5 家族有哪些尺寸？
Qwen3.5 是目前国内最适合本地部署的开源模型家族之一，覆盖从小到大的完整规格：
- 0.8B / 2B：极致轻量，适合手机、树莓派等端侧设备。
- 4B：轻量级 Agent 基座，性能与资源消耗平衡好。
- 9B：紧凑尺寸，性能不错，适合显存有限的服务器。
- 27B：中型尺寸，Dense 架构，综合能力较强。（推荐用Qwen3.8版本）
- 35B-A3B：中型尺寸，MoE 架构，总参数 35B，每次只激活 3B。（推荐用Qwen3.6版本）
- 122B-A10B / 397B-A17B：大尺寸，MoE 架构，个人电脑基本跑不动。
小白建议从 4B 或 9B 起步。显存够的话，27B 是综合体验较好的选择。如果追求更强能力，可以关注 Qwen3.6 及以上的 35B、27B 版本。
MoE 和 Dense 是什么意思？
- Dense（稠密模型）：每次计算都动用全部参数。结构简单，但参数越多越吃资源。Qwen3.5 的 0.8B、2B、4B、9B、27B 都是 Dense。
- MoE（混合专家模型）：总参数很大，但每次只激活一小部分“专家”。比如 35B-A3B，总参数 35B，但每次只激活 3B。好处是“参数多、跑得省”。
简单理解：Dense 是全员上班，MoE 是轮班制。MoE 适合参数规模大的模型，Dense 适合中小模型。
四、量化与精度：让模型跑得动
量化是什么？
把模型参数从高精度压缩成低精度，让模型更小、跑得更快、更省显存，但可能损失一点效果。
常见精度格式
本地部署时，你会看到各种格式后缀，这里按精度从高到低排列：
- FP32：32 位全精度，体积最大，推理一般不需要。
- BF16 / FP16：16 位半精度，接近原版效果，体积是 FP32 的一半。BF16 比 FP16 数值范围更大，训练和推理都常用。文件里常见 bf16 后缀。
- FP8：8 位浮点，显存需求约为 BF16 的一半，效果损失很小。很多新模型直接以 FP8 格式发布。
- Q8_0：8 位量化，接近无损，适合显存充足的场景。
- Q6_K：6 位量化，效果损失极小，是“高质量量化”的选择。
- Q5_K_M：5 位量化，质量和体积平衡好，长文本任务表现不错。
- Q4_K_M：4 位量化，对个人设备而言最推荐的默认选择。体积约为 FP16 的 1/3，效果损失小，适合大多数本地场景。
- Q3_K_M：3 位量化，质量开始明显下降，只在显存极度紧张时用。
- Q2_K：2 位量化，压缩最狠，但质量损失严重，不推荐。
为什么不推荐 Q2、Q3 等超低精度？
- Q3_K 和 Q2_K 会引入“显著失真”，注意力层的统计特性变得不稳定，模型可能出现逻辑混乱、答非所问。
- 有实测经验表明，Q2 级别的模型“退化到没人应该用”的程度。
- 量化精度低于 4 位时，模型的推理能力会明显下降，尤其是数学和逻辑题。
记住一句话：本地部署的底线是 Q4_K_M。低于这个精度，效果损失不值得省那点显存。
怎么选量化版本？
- 显存很小、只是想试试：Q4_K_M。
- 显存够、想要更好效果：Q5_K_M 或 Q6_K。
- 显存充足、追求接近原版：Q8_0 或 BF16。
- 显存极度紧张：Q3_K_M 是最后的选择，但要接受质量下降。
- Q2_K：不建议。
数字越大，越接近原版，也越吃资源。默认选 Q4_K_M 就够了。
五、本地模型怎么接进客户端？
ollama 自带 API，默认地址是：
在 Cherry Studio 等客户端里：
- 添加服务商，选“OpenAI 兼容”或“Ollama”。
- base_url 填 `http://localhost:11434/v1`。
- API Key 随便填一个占位符（本地不需要真 Key）。
- 模型名填你 pull 下来的模型，比如 `qwen3.5:9b`。
- 测试对话。
本地模型接客户端后，体验和云端差不多，但数据不出本机。
六、硬件要求：先看你的电脑行不行
最低配置（能跑小模型）：
- 内存：16GB
- 显存：6GB 以上（NVIDIA 显卡）
- 硬盘：20GB 以上空闲
- 可跑：Qwen3.5-4B（Q4_K_M）、Qwen3.5-9B（Q4_K_M，勉强）
推荐配置（跑 9B~27B 模型）：
- 内存：32GB
- 显存：12GB 以上
- 硬盘：50GB 以上空闲
- 可跑：Qwen3.5-9B（Q5_K_M）、Qwen3.5-27B（Q4_K_M）
高端配置（跑 35B MoE 模型）：
- 内存：64GB
- 显存：24GB 以上
- 可跑：Qwen3.5-35B-A3B（Q4_K_M）
先查自己的配置，再选模型。别下了一个跑不动，白折腾。
七、常见问题
1. 下载太慢？
模型文件几个 GB，网络不好会慢。可以换时间段，或用镜像。
2. 跑起来很卡？
换更小的模型，或用量化版本。检查是不是在用 CPU 跑。
3. 回答质量不如云端？
正常。本地小模型能力有限，适合简单任务。
4. 显存不够？
用量化版本（Q4_K_M），或换更小的模型。Qwen3.5 有 0.8B 到 27B 多个规格可选。也可以设置 GPU 层数，部分放 GPU、部分放 CPU。
5. 和云端比，哪个好？
看需求。隐私、离线选本地；能力、多模态选云端。
八、行动清单
- 查一下自己电脑的配置：内存、显存、硬盘。
- 装 ollama，拉一个小模型，跑一次对话。
- 同一个问题，对比本地模型和云端模型的回答。
- 记录显存占用和速度，心里有数。
互动作业：
如果你跑了本地模型，回帖说说你的配置和体验：什么显卡、跑了哪个模型、速度怎么样、回答质量如何。
没跑也没关系，说说你最想本地处理什么内容？为什么不想传到云端？
本篇术语卡：
- 本地部署：把模型下载到自己电脑上运行。隐私更好，但能力通常不如云端大模型。
- 量化：把模型参数压缩，让它更小、更快、更省显存，但可能损失一点效果。
- ollama：最简单的本地部署工具，一条命令拉取和运行模型。
- MoE / Dense：MoE 是混合专家，每次只激活部分参数；Dense 是稠密模型，每次动用全部参数。
- Q4_K_M：4 位量化，本地部署最推荐的默认精度。
- FP8 / BF16：常见高精度格式。FP8 是 8 位浮点，BF16 是 16 位半精度，精度越高效果越好、越吃显存。
回术语速查表查详细解释：《大模型科普系列·术语速查表》
| 
发表于 2026-10-5 19:21:08
