MLX（mlx-lm）

苹果的机器学习研究团队给自家芯片做了一套框架，叫 MLX。mlx-lm 就是用它跑大语言模型的 Python 工具包：一行命令下载模型、在终端里聊天，还能把模型压成 4bit 这类更小的版本。LM Studio、oMLX 这些 Mac 软件，底下用的也是 MLX。

适合谁

• 用 M 系列芯片的 Mac、不怕命令行的人
• 在 Hugging Face（放开源模型的网站）上挑模型的人：名字里带 MLX、或者放在 mlx-community 名下的，就是能直接给它用的版本
• 想自己压缩模型、或者在 Mac 上微调模型的进阶玩家

怎么开始

1. 安装：对 Claude Code 或 Codex 说「帮我用 pip 装上 mlx-lm」。自己装就在终端输入 pip install mlx-lm（pip 是 Python 装软件包的工具）。
2. 输入 mlx_lm.chat，它会先下载一个默认的小模型（Llama 3.2 3B 的 4bit 版），然后在终端里跟你聊。
3. 换模型：加上 --model 和模型在 Hugging Face 上的名字，比如 mlx_lm.chat --model mlx-community/Mistral-7B-Instruct-v0.3-4bit。mlx-community 名下有几千个已经转好的模型，挑 4bit 的最省内存。
4. 只问一句就走：mlx_lm.generate --prompt "你的问题"，它答完就退出。

要注意

• 只能在苹果芯片的 Mac 上用。模型相对内存太大时会很慢，屏幕上会出现一条 WARNING 提示；针对大模型的内存优化要 macOS 15 以上才生效。
• 第一次用某个模型要先下载，几个 GB 到几十 GB 不等。下载前看一眼模型页写的大小，留出两倍以上的空闲内存。
• 它没有图形界面。想点鼠标就能用，选 LM Studio；想让模型常驻后台给别的软件调用，选 oMLX。
• 工具本身是 MIT 许可，模型各有各的许可，用之前看一眼模型页。