小模型与自己的设备
模型文件只有 2GB，怎样选能在自己设备上用的 AI？
Bonsai 2 新增三个小型号，并已有手机应用入口。把同一型号的文件、看图所需组件、运行软件与厂商速度示例放在一起，理解小模型怎样真正走近自己的设备。
PrismML 于 10 月 15 日扩展 Bonsai 2，新增 2B、4B、9B，基于 Qwen3.5。本文核对官方模型与当前应用入口，没有在手机或电脑上运行这些权重。
手机每秒 120 个 token，说的是哪一档？
PrismML 给出的 iPhone 18 Pro Max 示例中，2B 最高每秒生成 120 个 token，9B 则为 34。它们都把模型放在设备上，但在速度与容量上提供了不同选择；不能把最小型号的速度贴到 9B 上，也不能把生成 token 的速度直接当作读图、思考到给出答案的总等待。
这一代把语言权重用负一、零、正一三个值及缩放系数表示，减少需要存放和搬运的数据。小体积让本地问答、看图与工具接入多了一条路线；是否能把自己的截图解释清楚，仍要回到具体模型和任务，不能由低位数或吞吐图代答。
来源与延伸阅读
- PrismML · Bonsai 2 小型号发布官方发布 · 2026-10-15新 2B/4B/9B、手机吞吐示例及原图；厂商测试和实际设备体验分开。
2GB 之外，还要装下什么？
9B 模型卡把最小语言文件列为 2.00GB，默认 PQ2_0 打包则为 2.42GB；看图片还要加载视觉组件，推荐的 Q8_0 文件另占 0.62GB。运行时还要留出上下文缓存、图像处理与程序的空间。因此，‘有 2GB 空闲’不能直接变成‘这台设备一定能跑 9B’。
下表列的是文件组成，而非三个型号的峰值内存测试。MLX 栏已经包含视觉塔，不能直接与只装语言权重的 GGUF 相比。262K 是模型列出的上下文上限，也不意味着手机应一开始就把窗口设到最大。
| 型号 | GGUF 最小 PTQ1_0 | GGUF 默认 PQ2_0 | MLX 含视觉 |
|---|---|---|---|
| Bonsai 2 · 2B | 0.43 | 0.52 | 1.34 |
| Bonsai 2 · 4B | 0.95 | 1.15 | 2.05 |
| Bonsai 2 · 9B | 2.00 | 2.42 | 3.46 |
来源与延伸阅读
- Bonsai · 型号与文件组成官方文档 · 10 月 16 日回读分别列出语言 GGUF 与含视觉塔的 MLX；小文件不是峰值运行内存。
- PrismML · 9B 原模型卡作者模型资料 · 当前格式与组件2.00/2.42GB 语言文件、0.62GB 视觉组件与同一权重的不同打包。
文件能下载，软件也要认得它
三个 GGUF 打包可以保存同一套权重，却不由同一批软件支持。当前官方说明中，PTQ1_0 和 PQ2_0 需要 PrismML 的 llama.cpp 分支；Q2_0 可用上游 b11555 及之后的版本。旧上游版本即使读入 Q2_0，也可能因缺少必要变换而输出乱码。‘软件没有报错’还不是输出可用的证明。
Apple Silicon 还有 MLX 入口，当前说明要求 mlx-vlm 0.7.8 或更新版本，不能照搬尚不支持它的已发布 mlx-lm。先选准备使用的软件，再选相容的模型文件，比仅按最小下载包排序更接近真正用起来。
来源与延伸阅读
- PrismML · 9B 原模型卡作者模型资料 · 当前格式与组件2.00/2.42GB 语言文件、0.62GB 视觉组件与同一权重的不同打包。
- Bonsai · 格式与运行软件官方兼容说明 · 当前版本Q2_0 的 b11555+ 条件、另两格式的 PrismML fork，以及 MLX 入口；旧 README 不能代替新格式说明。
想先用起来，也有现成应用入口
10 月 16 日读取 Apple 公开回执，美国区 Locally AI by LM Studio 已列出 1.66.0，版本说明明确加入新的 Ternary Bonsai 2 型号，标为免费下载、最低 iOS 18.1。中国区同一查询没有返回该项。它确认了一条不用自己编译的手机入口，但不证明每台兼容 iPhone 都能装下 9B；本站没有安装或调用它。
可以从自己能核对的一张截图或一段文字开始，观察回答是否正确、完整等待多久，以及持续使用时设备是否仍舒适。这是选型建议，不是本次实测结果。此前 Gemma 的诈骗识别合作，把小模型接进了具体的消息判断；Bonsai 提供另一组可自行选择的本地模型，两者的应用效果与测试成绩不能互借。
来源与延伸阅读
- Apple · Locally 美国区商店正式应用入口 · 1.66.0 版本该版说明加入新 Ternary Bonsai 2 型号；商店上架不等于本站已装机。
- Apple · 当前版本原回执官方公开接口 · 10 月 16 日读取1.66.0 于 10 月 15 日 20:06:43 UTC 发布、美国区标为免费、最低 iOS 18.1；中国区查询未返回该项。