云端大模型的能力固然强,但把每一次日程查询、文件整理、设备控制都送到远端推理,代价不只是账单。访问权限随时可能被调整、被限流甚至被下线,用户数据也必然离开本地设备。对大量日常任务而言,这种交换并不划算——查一个天气、改一条日历、在本地文档里找一段话,并不需要前沿级别的智能。
BotPsy 正是沿着这条思路做出的尝试:一个 0.8B 参数、以函数调用和智能体工作流为核心目标的小模型,基于 Qwen3.5-0.8B 后训练而来,面向端侧部署。它被定位为"个人助理",通过调用工具完成网络搜索与研究、旅行与生活、商务与金融、设备与车辆控制、文件与文档、日历、邮件与消息等领域的简单任务。
已确认的核心信息
从公开的模型卡与评测说明看,BotPsy 的能力提升主要来自后训练而非参数规模。其训练流程分为四个连续阶段:先做全参数监督微调,学习工具调用对话,包括模拟环境中的多轮智能体轨迹、单次与并行调用、多步调用,以及"不应调用工具"的样本;随后进行多教师在线策略蒸馏,由三个针对工具使用、通用推理、指令遵循分别做强化学习训练的 Qwen3.5-4B 教师模型提供逐 token 反馈;最后是两轮强化学习,第一轮聚焦工具调用,第二轮扩展到数学、代码、知识问答、结构化输出与模拟办公场景中的多步工具使用。
评测数据呈现出几个清晰的方向:
| 维度 | 基座模型 | BotPsy | | --- | --- | --- | | BFCL v4 | 23.4 | 44.0 | | ACEBench | 30.1 | 58.7 | | τ-bench(三子集均值) | 23.2 | 51.5 | | IFEval | 59.7 | 90.8 | | IFBench | 22.0 | 55.9 | | GPQA Diamond | 33.2 | 38.1 | | MMLU-Pro | 41.6 | 48.9 |
在作者测试的 ≤1.2B 参数模型中,它在六项工具使用与智能体基准上均取得领先,并在其中五项超过体积为其 2.5 倍的 Qwen3.5-2B-Think,仅在 Claw-Eval 上落后。多轮场景的表现同样值得注意:τ²-bench 电信子集得分 82.5,BFCL v4 多轮任务从 7.5 提升到 46.1。此外,模型在"该不该调用工具"上的判断明显改善,BFCL v4 幻觉测试得分 86.1,ACEBench 特殊情形从 13.7 升至 51.3。
效率与安全方面,官方给出的数字是:在五个模型都答对的问题上,BotPsy 在 GPQA Diamond 上使用的推理 token 约为基座的三分之一,在 MMLU-Pro 上约为 2.7 分之一;IFBench 全部尝试中陷入重复推理循环的比例从 22.9% 降至 1.4%,触及 32k token 上限的运行从 28.3% 降至 0.2%。六类危害的自动化红队测试中,不安全回复率为 21%,基座为 36%;提示注入攻击下的不安全率从 46% 降至 31%。模型以 Apache 2.0 许可开放权重,提供 bf16、Q8、Q4 三种精度,既有 safetensors 也有适配 QVAC SDK 与 llama.cpp 的 GGUF 文件。
对开发者与用户意味着什么
对开发者而言,最直接的价值是端侧智能体的门槛被进一步压低。0.8B 的体量意味着它可以在手机、笔记本甚至更小的设备上常驻运行,配合量化版本,内存占用和首 token 延迟都处在可接受区间。更短的推理链和更低的循环率,直接转化为交互体验上的"干脆"——用户不必盯着转圈等待一段冗长的思考过程。
对用户而言,隐私是更实际的收益。日程、邮件、本地文件、设备状态这些数据不必离开硬件即可完成解析与操作,这在小模型能力足够覆盖的任务上是明显的优势。同时,开源权重也意味着可定制:团队可以针对特定工具集做本地微调,而不必受制于闭源接口的变更节奏。
仍需观察的不确定性
需要明确区分的是,上述评测数字均来自模型发布方的自测,基准覆盖范围、提示词构造与对比模型的版本选择都会影响结论,第三方复现前不宜直接外推。官方自己也承认,BotPsy 仍会犯错,不适合高风险场景;其知识总量依然主要由参数规模决定,低资源语言上的指令遵循表现偏弱,指令累积时性能会下降。多步信息检索被点名为薄弱环节,BrowseComp-Plus 上 4.5 的绝对分数也说明这类任务远未解决。
另一个变量是生态。模型依托 QVAC SDK 与 llama.cpp 分发,实际部署体验取决于工具链成熟度、工具描述格式的兼容性,以及端侧硬件对量化推理的优化程度。这些在模型卡中并未展开。
行动建议
如果你在评估端侧智能体方案,可以先从单工具、低风险的场景切入,例如本地文件检索、日历读写、设备开关控制,验证模型对工具描述的理解与参数填充准确率。多步任务建议配合显式状态检查与失败重试机制,不要假设模型能稳定完成长链条检索。对提示注入的防护不能只依赖模型自身,读取外部工具输出时应做内容隔离与权限收敛。最后,把"何时不调用工具"作为独立测试项纳入你的验收集——这往往是端侧助理最容易出问题、也最影响信任感的地方。