先选工具、再选模型、按内存定大小,外加三个坑。16G 内存起步就能玩,32G 最舒服。
适合:在自己电脑跑 AI
我在自己的 M5 上折腾本地模型大半年后写的,发在小红书上。
本地 AI 就是把模型下载到自己的 Mac 上跑,断网也能用,聊的内容不出你的电脑。这份清单把选型拆成三步:先挑跑模型的软件,再挑哪家的模型,最后按内存定模型大小,另外列了三个新手最常踩的坑。
🧰 先选工具(三选一) · LM Studio:有界面,像聊天软件点点就能用,小白首选 · Ollama:一行命令跑,后台常驻还带 API,爱折腾、写代码的选它 · MLX:苹果自家的,M 系列芯片上跑最快 🤖 再选模型(都挑开源免费的) · 中文和综合最顺:Qwen 通义千问 · 推理、数学、代码强:DeepSeek · 轻量省内存:Gemma(谷歌),小机器也扛得住 💾 你的内存能跑多大?(按 4bit 量化估) · 8G → 7B,够日常问答 · 16G → 14B,明显更聪明 · 32G → 32B,体验接近在线 AI · 48G 以上 → 还能上 MoE 大模型,又大又快 ⚠️ 三个避坑 · 别一上来追最大的,跑不动还卡死 · 认准「4bit 量化」版,省一大半内存几乎不掉智商 · Mac 的福音是 MoE 模型(比如 Qwen 的 A3B),省内存还快
上面的介绍是我们按澳哥 2026 年 6 月发在小红书的笔记用自己的话整理的,细节以原作者为准。
推荐出处:澳哥的小红书笔记