我有一块6GB显存的显卡和8GB显存的显卡，跑什么AI

显示全部楼层 · 发表于 2026-8-26 14:21:39

想要在本地部署大模型来处理一些工作，那么6gb显存跟8gb显存，分别可以跑哪些大模型比较合适呢

显示全部楼层 · 发表于 2026-8-26 20:54:22

有个网站，叫 Will It Run AI ，https://willitrunai.com/zh 可以选硬件看哪些模型能跑，还有一个开源的tui工具，llmfit https://github.com/AlexsJones/llmfit

显示全部楼层 · 发表于 2026-8-27 08:40:22

hjx177 发表于 2026-8-26 20:54
有个网站，叫 Will It Run AI ，https://willitrunai.com/zh 可以选硬件看哪些模型能跑，还有一个开源的tui ...

感谢！很好用！之前部署python的whichai什么的，麻烦死了

显示全部楼层 · 发表于 2026-8-27 15:41:37

部署大模型，没有点编程的基础还真不行

显示全部楼层 · 发表于 2026-8-27 19:48:05

平台用 ollama 或 LMstudio
OCR: glm-ocr 或飞浆
翻译:translategemma
LLM：qwen3.5-lite 或 lfm2.5-2.6b:q4_k_m-8gbGPU

[系统] 我有一块6GB显存的显卡和8GB显存的显卡，跑什么AI