其他语言English

如何比较 AI 智能体：我们提出的6个问题

如何比较 AI 智能体，归根结底取决于你问什么，因为问题决定了你能发现什么。数功能，只能知道各家营销部门选择在页面上展示什么。

• 这6个问题是：在哪里运行、工具如何提供给大模型、记忆存在哪里、哪些事由你批准、你如何使用它以及什么能在你不操作时触发它，还有哪些事无人查明。
• 这些问题是在我们拆解产品之后才写下的。它们标出了这4款产品实际呈现出的差异，而不是我们预先带来的一份检查清单。
• 各项不设权重，也没有综合数值，因为把它们合并，就意味着替你决定每一项有多重要。
• 最后一个问题（我们未能查明什么），每款产品都有回答，而且篇幅都不短。

用同样的6个问题比较 AI 智能体

如果你是在挑选智能体，而不只是阅读我们的评测，下面是简要做法。按顺序向每款候选产品提出这些问题，记下你实际观察到的情况，而不是产品页面上的说法。

1. 它在哪里运行？ 是在你从未见过的服务器上、在云端属于你自己的机器里，还是作为笔记本电脑上的一个进程，能够读取你的消息和屏幕。
2. 工具如何提供给大模型？ 是一次全部提供、每次提供一组，还是另设一份许可清单来管理。
3. 你的记忆存在哪里？ 是在你能打开和编辑的文件里，还是在只能通过产品访问的存储中。
4. 哪些事由你批准？ 哪些操作会停下来等你确认，你批准的究竟是什么，以及你能否撤回它已掌握的信息。
5. 你如何使用它，什么能在你不操作时触发它？ 你可以在哪些入口输入内容，哪些定时器、收件箱和日历事件能唤醒它。
6. 哪些事你没能查明？ 把这些空白也写成答案。表示“没查过”和表示“没有这回事”的空白单元格，不应该看起来一样。

例如，我们检查过的 Instinct 消息处理路径具有针对确切计划的审批机制，使用租用的浏览器，而主智能体运行在哪台主机上仍不清楚。它9月的复现完成率无法证明它能否完成你自己的预订。在选择之前，先写下希望达到的最终状态、允许使用的账号、所需的可用时段，以及注明日期的报价。然后开展一次经过授权的小规模试用，并保留结果与审批记录。这份清单是对6个架构问题的补充，并不会把它们合并成一个分数。

我们的对照表也以这6个问题为行，概括如下：

横向阅读对照表，可以比较同一个维度；沿着一列向下阅读，可以查看一款产品。拆解报告提供了支撑这些结论的观察记录及其局限。

个人智能体在哪里运行，为什么这会决定其他一切

问题不是“本地还是云端”，因为这4款产品都不在你的机器上运行大模型，用一个是非判断会让它们看起来毫无区别。真正的问题是，大模型与你的数据之间隔着什么，以及出问题时，你的硬件有多少会受到波及。

我们看到了4种不同的答案。请求完全在服务端组装，意味着塑造智能体行为的指令根本不会传到你这里，因此你无法检查，你机器上的其他程序也一样。每位用户拥有独立的 Linux 虚拟机，意味着请求是在某种实质意义上属于你的环境里构建的。沙箱可以隔离本地执行；通过已连接账号进行的操作，仍可能产生持久影响。原生桌面进程则还会把它获得的本地权限所覆盖的资源暴露出来。

最后一种安排值得仔细想想。大模型不在你的笔记本电脑上，但一个能看到你生活中大量信息的进程在，而且它会执行远端大模型的指令。执行位置决定了智能体能访问什么、被植入恶意指令的网页可能诱使它做什么，以及事后会留下什么证据。

工具如何提供给个人智能体的大模型

个人智能体由大模型及其获准执行的一组操作构成。这个维度问的是：这组操作如何呈现在大模型面前，又是谁选定的。

值得关注的区别在于：产品能做什么，以及在大模型作出决定的那一刻，产品告诉它能做什么。有些产品一次性把所有工具定义放进上下文。有些按组加载定义，只有某组工具与当前任务相关时才加载。还有些产品把权限与能力完全分开，用一份清单列出允许做什么，但不包含这些操作如何工作的任何细节。

这种分离对用户尤其重要，因为它让“这东西获准接触什么”成为一个可以简短回答的问题。定义何时进入上下文，并不只是开发者才需要关心的细节。加载整套工具目录会消耗上下文，即使其中有些工具智能体从未调用过。这种开销无法说明用户在免费、固定费用或按量计费方案下要付多少钱。上下文中的任何内容，也都可能成为恶意指令试图调用的对象，因此工具集合越小，攻击目标的范围也越小。这里的4款产品对此作出了4种不同的选择。

对照表列出了工具数量，每次都附带提醒。目录中的数量，统计的是产品某处存在的工具。你真正想知道的是：只连接那些你愿意连接的账号后，眼前这个助手到底能使用多少工具。本评测中的产品，没有一款公布针对你所连接账号的这个数字。最接近的是 Town：我们观察到，在总计1105个工具的目录中，它的主助手获得了177个工具，但这仍然是关于产品的数字，而不是关于你个人配置的数字。

你的记忆存在哪里

这些产品都会记住你的信息。但在记忆以什么形式存在、谁能查看这些问题上，它们的做法完全不同。

这个维度可以归结为一个实际问题：如果它对你的认识有误，你该如何纠正？在本评测中，如实回答这个问题，答案从“打开文件，修改那一行”，到“通过产品界面处理，否则就改不了”都有。主目录中的 Markdown 文件，与只能查询的服务端存储，并不只是同一功能的2种实现方式。它们代表着你与自己数据之间不同的关系。

随之而来的是第2个问题：哪些信息会与其他内容分开保存？专门用于填写表单、又不暴露所填内容的凭据存储，与通用笔记文件，是不同的工程设计。一款同时具备两者的产品，说明它考虑过这个问题。

我们描述每种存储的结构，绝不描述其中的内容。

AI 智能体行动前，哪些事由你批准

多数比较都会跳过这个问题，但它决定了你能否放心把银行卡交给智能体自行使用。它分为2部分：智能体做事前会停下来向你询问什么，以及你能否撤回它已经了解的个人信息。

这4款产品对前一部分给出了4种不同的答案。Pine会在账单相关操作前请求确认，并将确认分为2类：一类用于启动任务，有各自的有效期；另一类是身份确认，用于电话另一端的公司要求直接与账号持有人沟通时。Instinct展示的审批卡片有3个选项，而不是2个：批准、拒绝或关闭；审批绑定的是展示出来的确切文本，因此消息改写后需要重新审批。Muse将每一项权限与审批，以及所有离开本机的内容，都交由同一个守门机制处理，并在活动记录旁设置审批标签页。Town将审批视为配置，而非弹窗提示：运行模式、账号范围、工具清单和审批模式，共同决定任务能否启动，以及能否向外部任何位置写入内容。

没有哪种答案适合所有人。每个高风险步骤前都弹出提示，适合希望全程留意的人；一次配置好，适合希望例行任务在夜间自行运行的人。对任何智能体，你都应该核实自己批准的究竟是什么。绑定到即将发送的确切文本的审批，与绑定到生成这段文本的请求的审批，作出的承诺不同。

后一部分是删除。Muse 的运行时提供文件删除和遗忘能力，但我们未验证个人用户能否使用。Town 的记忆功能有添加、更新和删除工具。Instinct 在文档中说明了删除的覆盖范围。Pine 没有一个保存其所知信息的文件，因此你没有可打开并删除的文件。我们的考试对前一部分也采用同样的原则：未经用户同意就执行付款、签署或最终提交，会被单独记录为一项未授权操作，具体见考试如何进行。

你如何使用它，什么能在你不操作时触发它

入口列表是这个维度中较为平淡的一半：网页、桌面端、消息应用、电话，以及可供他人智能体调用的 API。

更重要的一半是触发入口。这里的4款产品中，至少有2款（Town 和 Instinct）可以在人没有输入任何内容时开始工作：到了某个时间、收到一封邮件、日历事项临近，或文档发生变化。这2款产品的拆解报告记录了这种能力；对于 Pine 和 Muse，我们的拆解尚未确定它们是否具备这种能力。这项功能让智能体在你睡觉时也能发挥作用，同时也让其他人有机会触发它。

如果智能体的触发入口包括收件箱，任何知道你邮箱地址的陌生人都能向它传递内容。因此，从“发生了某件事”到“据此采取行动”之间，无论设置了什么检查机制，都承担着功能对比无法体现的关键作用。这也是为什么这个维度记录的是哪些事情能启动一次运行，而不只是你可以在哪些地方输入内容。

我们未能查明的事

多数比较会设法绕过自身认知中的空白。在这里，它是最后一个维度，而且每款产品都必须填写。

设置它有2个原因。显而易见的一个是诚实：如果一项评测只报告自己成功查明的内容，你就无法判断它的参考价值，因为你不知道空白单元格究竟意味着“没有可报告的内容”，还是“我们没查过”。另一个不那么明显的原因是，这些条目本身就提供了信息。一个认真追查的外部观察者，究竟能看到产品的多少部分，是产品的一项真实属性。而这4列未能查明的记录，会告诉你哪些公司选择把不透明当作产品特性。

这些条目写的是具体情况，而不是笼统表态。不是“我们不太了解它的提示词”，而是尝试了多少次、得到了什么回应。不是“记忆不清楚”，而是结构中的哪一部分显现出来了，哪一部分没有。

为什么个人智能体仍然没有综合分数

首批任务运行结果已经出来，公布时附有区间和样本量，而不是排成名次。我们仍然不设综合评分：把各项独立测量合成一个数字，就意味着决定每一项对你有多重要，而我们并不知道。还有一款产品的数值暂不公布，因为我们收到的数字与能够核查的记录对不上。

对照表的首批结果列出了完成率、95%区间和计分任务数，按样本量排序，而非按完成率排序。Town 尚未核对一致的数值继续暂缓公布。这些数据来自经过适配的运行时考试，批次证据尚未公开。运行记录记载了单次尝试，考试方法解释了如何核查结果。这些测量结果都不会被合并成一个产品总分。

另一份同类对照表 Assistant Benchmark在2026年10月12日表示，它已用同样的15项任务测试了139款助手中的32款，在实际使用后分别给出1到10分，未测试的单元格留空。这是一种合理的证据发布方式。随后，它将每款产品的成绩汇总成一个总分并据此排名。出于上述原因，我们的对照表不会迈出最后这一步。基准测试页面将其与另一份面向消费者的对照表并列展示；后者对同样2款产品给出了相反的排序。

这份对照表刻意不衡量的3件事

价格不单列一行。价格变化快于比较页面的更新速度，过时价格看上去权威，实际上却是错的。当前价格放在各产品页面上，并注明日期。

输出质量也不单列一行。智能体能否写出一封像样的邮件，是随任务而变化的判断；给它打分，往往衡量的是评分者本人。运行时事实则是任何有账号的人都能核查的，因此我们发布的是这些内容。

我们自己的产品不在表中，以后也不会加入。Zentor 开发智能体软件，利益冲突确实存在；不参与评测，是唯一经得起持怀疑态度的读者审视的处理方式。谁在运营本评测说明了其他情况，包括网站的资金来源。

这张表只涵盖运行时拆解。另设的开源智能体比较记录了基于锁定版本源码的发现，不加入考试分数。关于 Personal Agent Bench解释了如何区分观察记录、外部报告与考试测量结果，以及哪些地方无法独立验证。

另设的114项任务比较包含 Town。其中使用的较旧构建版本、筛选处理和未公开的对话记录限制了结果的解读范围；它不能替代主表。

常见问题

不打分，如何比较 AI 智能体？ 向每款产品提出同样的6个问题，并将答案并列发布。比较需要一致的问题与诚实的答案，不需要在底部加一个总分；而总分恰恰会掩盖背后的判断过程。

为什么各维度权重相同？有统一分数吗？ 各维度根本没有权重，也没有统一分数。赋予权重，就意味着决定“大模型在服务端运行”相对于“记忆是你能打开的文件”有多重要，而这完全取决于你的情况。任何发布综合评分的人，都已经替你作出了这个决定，却没有说明。

这6个维度从哪里来？ 来自拆解。我们先拆解了4款产品，再从它们实际存在的差异中提炼出这些维度，所以这些问题显得格外具体，而不是功能表常用的分类。

你们会测试这些智能体实际表现如何吗？ 首批任务运行已经完成，完成率已列在对照表中，但有一项保留说明：这些数字来自执行考试的团队，尚未追溯核对到底层批次。这项说明直接写在页面上，而不是藏在脚注里。

这些内容我能自己核查吗？ 选择这些维度时，我们就以此为约束。拆解观察涉及的是用户通过账号可见的行为。汇总完成率缺少公开的批次记录，无法以同样方式独立核查。凡是我们无法观察到的内容，都会写在最后一行，而不是含糊带过。

依据可核查的证据比较 AI 智能体

这里的方法并不高明：向每款产品提出同样的6个问题，写下你看到的情况，坦率说明未能查明之处，不把结果加总成一个数字。

这样得到的是一个你可以提出异议的页面。每个单元格都指向可观察的行为，因此有不同意见的读者，可以针对具体内容提出异议。你可以查看这些维度所依据的4份拆解报告、对照表本身，或了解现有智能体基准测试衡量什么，以及为什么它们都没有回答这里的问题。