其他语言English日本語한국어

手机智能体：9款操作真实手机的开源工具

手机智能体（phone use agent）是一类让语言大模型操作真实手机的软件：它查看屏幕，决定点哪里，再执行点击，操作的应用原本只为手指触控而设计。2026年10月，这个概念从研究演示走上了GitHub热门榜，带头的是一个能让Codex操作iPhone的插件。本文依据源码对比9款开源工具，审阅范围固定在我们10月13日阅读的提交版本：各自如何连接手机、把什么数据发往哪里、何时停下来询问用户，以及如何表述对应用自身规则的态度。我们没有运行其中任何一款。利益关系披露：本站背后的团队Zentor也在开发手机操作软件。本文中的Oh My Phone Use是Zentor 成员的 side project，发布在个人GitHub账号下；表格中已注明这一关系，我们使用相同的检查清单审阅它，与其他工具一样，不予评分。其余8款均为竞品。关于我们。

• 接入手机有4条路径：通过USB使用Apple的测试自动化服务、屏幕镜像配合模拟键鼠、Android调试桥与无障碍服务，以及租用他人云端的手机。
• 每款工具都会把屏幕上的内容交给语言大模型。只有1款工具在代码中为敏感点击设置了确认关卡，而且即便如此，何时触发确认仍由模型决定。
• 有2款工具默认向开发方回传使用事件，其中可能包含你交给智能体的任务内容。
• 有1个框架附带的代码明确以让点击看起来像真人操作为目的，其云服务也将“隐蔽性”作为卖点。9款工具都没有讨论封号问题。

什么是手机智能体，本文不涵盖什么

这里的每款工具都将模型与屏幕读取、手机操作能力相结合。模型接收截图、屏幕元素树或两者，选择点击、滑动或按键，然后重复这一过程。它相当于手机上的“computer use”智能体，后者操作的是桌面电脑；它还能触及浏览器智能体无法进入的场景：WeChat、银行应用、外卖应用，以及任何没有网页版的应用。

本文涵盖需要用户自行安装的开源工具，不包括手机操作系统内置的助手，因为它们是手机功能，而非可供用户审查的工具；也不包括从厂商自有服务器替用户办事的消费级应用。这些属于我们追踪的个人智能体以及我们拆解过的产品。这9款工具中的OpenGUI采用Business Source License 1.1发布，在2030年之前限制生产用途，因此它属于源码可用软件，而非开源软件。OpenGUI许可证。

手机智能体接入手机的4条路径

来源：esp32连接路径、Oh My Phone Use连接路径、ipad_computer_use连接路径、phone-harness连接路径、Droidrun Android配置、AutoGLM使用要求。

连接路径决定了可能出现什么问题。使用屏幕镜像的工具，只能看到手机允许镜像的内容；据esp32项目说明，iOS不会镜像密码输入界面或Apple Pay。镜像限制。无障碍服务则几乎可以读取和操作所有内容。使用云手机，意味着你的账号登录状态保留在你从未接触过的硬件上。

9款开源手机智能体对比

10月13日的GitHub Star数：Open-AutoGLM 26389、Droidrun 9632、iPhone Use 3504、mobile-use 3257、phone-harness 3253、OpenGUI 1816、esp32-iphone-agent 1189、ipad_computer_use 78、Oh My Phone Use 9。增长最快的是最年轻的2个项目：iPhone Use创建于10月6日，esp32-iphone-agent创建于10月11日。Oh My Phone Use从ipad_computer_use的一个代码快照起步，将USB开发板换成蓝牙开发板，并加入了拨打电话的功能。Oh My Phone Use致谢。

手机智能体看到了什么，屏幕内容被发往哪里

每款工具都会将屏幕内容转为模型输入。Droidrun默认读取无障碍树，在被要求时加入截图。Droidrun视觉设置。mobile-use同时发送UI层级结构和压缩截图。mobile-use输入。phone-harness先通过本地OCR读取iPhone屏幕。AutoGLM则将截图发送给视觉模型。AutoGLM截图。

无论以哪种形式呈现，这些内容都会发送给你配置的模型。数据可以留在你的电脑上：AutoGLM默认使用在本地提供服务的自有9B模型，esp32-iphone-agent的文档也介绍了本地方案。AutoGLM默认设置。更常见的情况是发往托管模型：mobile-use默认使用OpenAI，Droidrun的示例配置使用Google，而iPhone Use、phone-harness、Oh My Phone Use和ipad_computer_use则使用承载它们的编程助手所用的模型。mobile-use默认设置。屏幕上的聊天内容、银行余额或一次性验证码，会成为发给该服务商的请求的一部分。

手机智能体何时会停下来询问用户

这是我们审视每个个人智能体时都会问的问题，而这里能找到的答案并不充分。

只有AutoGLM在操作代码中内置了确认机制：当模型为某次点击附上消息标记时，会触发是或否的确认提示；接管操作则会将手机交给用户，以完成登录和验证码验证。AutoGLM确认机制。这里有2个限制。首先，何时添加标记由模型决定。其次，只有中文系统提示词教模型这样做，英文提示词既没有提到带标记的点击，也没有提到接管操作。中文提示词、英文提示词。

iPhone Use拒绝向密码框输入内容，并会在未经验证的提交之后中止批次。OpenGUI的托管后端告诉模型，登录、支付、转账、下单和删除操作必须交给用户处理。OpenGUI转交用户的要求。phone-harness在技能文本中要求宿主智能体在发送、发布、购买或删除之前停下来。phone-harness技能。Oh My Phone Use的技能也要求在消息发送、支付、删除、账号变更，以及涉及密码和验证码的操作前先询问用户。Oh My Phone Use技能。在esp32-iphone-agent、Droidrun、mobile-use和ipad_computer_use中，我们没有找到针对支付或发送操作的确认机制。

Oh My Phone Use是这9款工具中唯一还能拨打语音电话的工具。开发板充当手机的蓝牙车载套件，Mac通过macOS的say发声，并用whisper.cpp在本地转写对方的话，转写文本随后交给你的智能体。技能要求智能体只拨打你提供的号码，说明自己是代你来电的智能体、对方的回复会被转写，并将对方的话视为信息而非指令。号码、转写文本和摘要保存在Mac上的一个文件中。通话规则、保存的结果。这些规则同样只是指令文本，而电话会打给一个从未安装过任何相关软件的人。

Oh My Phone Use和ipad_computer_use都按设计以无密码方式运行屏幕控制服务器，并以网络由你掌控为前提：任何能连接到控制器的人，都能请求截图并发送输入，因此应将它放在你自己的电脑上，或Tailscale之类的私有网络中。Oh My Phone Use安全说明、ipad_computer_use安全说明。

指令文本并非毫无作用，但它只是对模型提出的要求，不是一道强制约束。可以对照Pine，它将每次账单操作前询问用户作为产品机制的一部分。

手机智能体的遥测：工具向开发方回传什么

有4款工具向分析服务上报使用情况，但包含的内容差异很大。

• phone-harness默认开启遥测，发送至PostHog。每个事件都可能携带你通过管道传入的脚本，最多20000个字符，以及输出的末尾部分；在iPhone上，这可能包含从屏幕读取的文字。其安装指南称这些数据是匿名的。默认开启、事件字段。可用PHONE_HARNESS_TELEMETRY=0关闭。
• Droidrun默认开启遥测，并在首个事件中发送你输入的目标。其文档称不会收集“任何个人或敏感数据”。初始化事件中的目标、文档中的说法。像“把钱还给我姐姐”这样的目标，无论如何理解，都属于个人信息。
• iPhone Use通过Codex安装时默认开启遥测，仅通过与文档一致的白名单发送工具名称、执行结果和耗时。
• mobile-use会在启用任何遥测之前先询问用户。征求同意的提示。

在AutoGLM、esp32-iphone-agent、Oh My Phone Use和ipad_computer_use中，我们没有找到遥测；OpenGUI的分析功能则只保留了空实现。

隐蔽操作、封号与AI操作手机

应用会察觉自动化行为。点击总是精准落在正中心、输入速度完全均匀、设备指纹完全一致，都是典型信号；WeChat、Instagram以及外卖应用等平台都有自己的风控机制。这7个代码仓库都没有说明，账号被标记后会发生什么。

Droidrun走向了另一个方向。它的开源代码包含一个默认关闭的隐蔽模式，目的写得很直白：随机化点击位置，“避免总是点在正中心这种会暴露自动化的可预测行为”，再配合接近真人的操作时序和输入速度。隐蔽模式状态、隐蔽模式设置。其托管服务Mobilerun宣传“隐蔽输入与滑动”，以及能被识别为真实设备的手机。phone-harness的README则宣传托管手机“支持隐蔽操作、真实号码、2FA”。phone-harness README。

另一端，AutoGLM的条款禁止批量账号、群控和虚假互动，并表示项目用于研究和学习。AutoGLM条款。esp32-iphone-agent则要求用户遵守所涉及应用的条款。esp32负责任使用说明。

旨在让应用把自己当成人类的软件，也就是旨在绕过该应用规则的软件。无论你如何看待这一点，它都把风险转移到了你的账号上。

手机智能体基准测试：你读到的是谁的数据

有2个项目公布了成功率，而且都是自行测量。mobile-use称，它在2026年1月率先完成了AndroidWorld的全部任务，即116项中的116项。mobile-use的说法。Droidrun的README徽章写着91.4%，官网却写着AndroidWorld上达到100%，在iOSWorld和AndroidWorld上合计达到98.34%，没有注明模型、日期或评测执行者。Droidrun徽章。

据我们所知，这些结果都尚未得到独立复现，而这2个“100%”的说法不可能都算新消息。厂商对自身运行的基准测试只能作为起点，不能视为定论。我们尚未在自己的测评中运行过任何手机智能体；它们在本站都没有评分。

常见问题

什么是手机智能体？ 它是连接到真实手机的语言大模型：通过截图或元素树查看屏幕，选择点击、滑动或按键，并重复这一过程，直到任务完成。它可以操作没有网页版或API的应用。

AI能在不越狱的情况下控制iPhone吗？ 可以。iPhone Use、Droidrun和AutoGLM使用Apple的WebDriverAgent，需要你自己的开发者签名；esp32-iphone-agent模拟USB键鼠；Oh My Phone Use和ipad_computer_use将屏幕共享应用与一块小型开发板配合使用，通过蓝牙或USB实现同样的输入；phone-harness则操作macOS的iPhone Mirroring。它们都不需要越狱。

哪款手机智能体会在付款前询问用户？ 在代码层面，只有AutoGLM，而且仅在模型标记该次点击时触发，其英文提示词没有教模型这样做。OpenGUI的后端、phone-harness和Oh My Phone Use通过给模型的指令要求先询问用户。其他工具中，我们没有找到支付确认机制。

在主力手机上使用手机智能体安全吗？ 我们不会这样做。手机解锁时，智能体通常可以打开任何应用、点击任何位置，屏幕内容会发送给模型服务商，而且没有项目解释封号风险。请使用备用手机，以及你能承受失去的账号。

手机智能体会把我的数据发出去吗？ 屏幕内容会发送给你配置的模型。此外，phone-harness和Droidrun默认发送使用事件，其中可能包含任务文本；iPhone Use只发送工具名称和耗时；mobile-use会先询问用户。

最好的开源手机智能体是哪款？ 我们不做排名，也没有实际运行过它们。上表呈现了各自的取舍：AutoGLM是唯一在代码中设置确认步骤的工具；iPhone Use将默认遥测限制在工具名称和耗时；Droidrun覆盖的平台最多，但附带隐蔽功能，而且默认发送你的目标文本。本文是基于2026年10月13日固定提交版本的源码审阅，iPhone Use另有专页。