---
title: "手机智能体：9款操作真实手机的开源工具"
description: "基于源码对比9款让AI操作手机的工具，梳理连接方式、屏幕数据去向、操作确认、遥测与封号风险。审阅固定于2026年10月13日的提交版本，未实际运行，不作排名。"
url: https://personalagentbench.com/zh-cn/phone-use/
last_updated: 2026-10-13
---

# 手机智能体：9款操作真实手机的开源工具

本页由 2026-10-13 的英文版机器翻译而成，所有数字都已和原文核对。如有出入，以[英文版](https://personalagentbench.com/phone-use/)为准。

手机智能体（phone use agent）是一类让语言大模型操作真实手机的软件：它查看屏幕，决定点哪里，再执行点击，操作的应用原本只为手指触控而设计。2026年10月，这个概念从研究演示走上了GitHub热门榜，带头的是一个能让Codex操作iPhone的插件。本文依据源码对比9款开源工具，审阅范围固定在我们10月13日阅读的提交版本：各自如何连接手机、把什么数据发往哪里、何时停下来询问用户，以及如何表述对应用自身规则的态度。我们没有运行其中任何一款。利益关系披露：本站背后的团队Zentor也在开发手机操作软件。本文中的Oh My Phone Use是Zentor 成员的 side project，发布在个人GitHub账号下；表格中已注明这一关系，我们使用相同的检查清单审阅它，与其他工具一样，不予评分。其余8款均为竞品。[关于我们](https://personalagentbench.com/about/)。

- 接入手机有4条路径：通过USB使用Apple的测试自动化服务、屏幕镜像配合模拟键鼠、Android调试桥与无障碍服务，以及租用他人云端的手机。
- 每款工具都会把屏幕上的内容交给语言大模型。只有1款工具在代码中为敏感点击设置了确认关卡，而且即便如此，何时触发确认仍由模型决定。
- 有2款工具默认向开发方回传使用事件，其中可能包含你交给智能体的任务内容。
- 有1个框架附带的代码明确以让点击看起来像真人操作为目的，其云服务也将“隐蔽性”作为卖点。9款工具都没有讨论封号问题。

## 什么是手机智能体，本文不涵盖什么

这里的每款工具都将模型与屏幕读取、手机操作能力相结合。模型接收截图、屏幕元素树或两者，选择点击、滑动或按键，然后重复这一过程。它相当于手机上的“computer use”智能体，后者操作的是桌面电脑；它还能触及浏览器智能体无法进入的场景：WeChat、银行应用、外卖应用，以及任何没有网页版的应用。

本文涵盖需要用户自行安装的开源工具，不包括手机操作系统内置的助手，因为它们是手机功能，而非可供用户审查的工具；也不包括从厂商自有服务器替用户办事的消费级应用。这些属于我们追踪的[个人智能体](https://personalagentbench.com/zh-cn/landscape/)以及我们[拆解过的产品](https://personalagentbench.com/agents/)。这9款工具中的OpenGUI采用Business Source License 1.1发布，在2030年之前限制生产用途，因此它属于源码可用软件，而非开源软件。[OpenGUI许可证](https://github.com/Core-Mate/OpenGUI/blob/8a681b45f170eb2566c3d254e7ee0089ba9f43a5/LICENSE#L1-L16)。

## 手机智能体接入手机的4条路径

| 路径 | 工作方式 | 工具 | 需要你授予的权限或提供的条件 |
| --- | --- | --- | --- |
| 通过USB使用Apple测试自动化 | 基于Apple XCTest的服务WebDriverAgent在iPhone上运行，接收Mac发来的指令 | iPhone Use；也包括iOS上的Droidrun和AutoGLM | Xcode、你自己的开发者签名、开发者模式 |
| 屏幕共享配合模拟输入 | 将手机屏幕镜像投射到电脑，或通过手机应用共享到电脑；点击通过USB或蓝牙键鼠，或HID事件传入 | esp32-iphone-agent（AirPlay加一块7美元的开发板）、Oh My Phone Use（屏幕共享应用加蓝牙ESP32开发板）、ipad_computer_use（屏幕共享应用加USB RP2040开发板）、phone-harness（macOS iPhone Mirroring） | AssistiveTouch、为手机应用提供自己的签名，或授予Mac无障碍与屏幕录制权限 |
| Android调试与无障碍服务 | 使用ADB命令，通常还会在手机上安装无障碍服务应用 | Droidrun、AutoGLM、mobile-use、OpenGUI、Android上的phone-harness | USB调试、无障碍权限 |
| 他人云端的手机 | 租用托管设备，由智能体远程操作 | Mobilerun Cloud、phone-harness cloud | 在不由你持有的手机上登录你的账号 |

来源：[esp32连接路径](https://github.com/onehumanbeing/esp32-iphone-agent/blob/88a51030b5ec36564157bc778c7827b4dffb4b41/README.md#L46-L60)、[Oh My Phone Use连接路径](https://github.com/getGate/oh-my-phone-use/blob/870fa040b8d4c88ebcd4e8be4f39fd5f7dc5fe21/README.md#L7-L28)、[ipad_computer_use连接路径](https://github.com/jamiepinheiro/ipad_computer_use/blob/ac07704c3b22be7627f13cb062cd36160a0c4cce/README.md#L1-L27)、[phone-harness连接路径](https://github.com/ShawnPana/phone-harness/blob/7e3ea6cff1377db4d4f37e852c59493120aa52b6/README.md#L111-L125)、[Droidrun Android配置](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/README.md#L93-L101)、[AutoGLM使用要求](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/README_en.md#L86-L103)。

连接路径决定了可能出现什么问题。使用屏幕镜像的工具，只能看到手机允许镜像的内容；据esp32项目说明，iOS不会镜像密码输入界面或Apple Pay。[镜像限制](https://github.com/onehumanbeing/esp32-iphone-agent/blob/88a51030b5ec36564157bc778c7827b4dffb4b41/README.md#L218-L218)。无障碍服务则几乎可以读取和操作所有内容。使用云手机，意味着你的账号登录状态保留在你从未接触过的硬件上。

## 9款开源手机智能体对比

| 工具 | 手机平台 | 连接路径 | 默认模型 | 代码中的确认机制 | 使用遥测 | 许可证 |
| --- | --- | --- | --- | --- | --- | --- |
| [iPhone Use](https://personalagentbench.com/zh-cn/phone-use/iphone-use/) | iPhone | WebDriverAgent、USB | 宿主的模型（Codex等） | 拒绝向密码框输入；未经验证的提交会中止批次 | 在Codex安装方式中开启 | MIT |
| esp32-iphone-agent | iPhone | AirPlay加ESP32键鼠 | 任意兼容OpenAI的端点 | 无；仅有紧急停止 | 未发现 | MIT |
| Oh My Phone Use（Zentor 成员的 side project） | iPhone、iPad | 屏幕共享应用加蓝牙ESP32键鼠；还可拨打电话 | 通过MCP使用宿主的模型 | 无；技能文本要求先询问 | 未发现 | MIT |
| ipad_computer_use | iPad、USB-C iPhone | 屏幕共享应用加USB RP2040键鼠 | 通过MCP使用宿主的模型 | 无 | 未发现 | MIT |
| phone-harness | iPhone、Android、云手机 | iPhone Mirroring加OCR；ADB | 宿主智能体的模型 | 无；技能文本要求先询问 | 开启；包含任务文本 | MIT |
| Droidrun | Android、iPhone | ADB加无障碍应用；WebDriverAgent | 示例配置中为gemini-3.8-flash | 无 | 开启；包含目标文本 | MIT |
| Open-AutoGLM | Android、HarmonyOS、iPhone | ADB或HDC；WebDriverAgent | 自行部署的AutoGLM-Phone-9B | 模型标记某次点击时，弹出是或否的确认提示 | 未发现 | Apache-2.0 |
| mobile-use | Android、iPhone模拟器 | ADB加UIAutomator2 | OpenAI GPT-5系列 | 无 | 先询问 | Apache-2.0 |
| OpenGUI | Android | ADB加scrcpy；无障碍客户端 | 宿主的模型 | 后端提示词要求将支付和删除操作交给用户处理 | 已禁用 | BUSL-1.1 |

10月13日的GitHub Star数：Open-AutoGLM 26389、Droidrun 9632、iPhone Use 3504、mobile-use 3257、phone-harness 3253、OpenGUI 1816、esp32-iphone-agent 1189、ipad_computer_use 78、Oh My Phone Use 9。增长最快的是最年轻的2个项目：iPhone Use创建于10月6日，esp32-iphone-agent创建于10月11日。Oh My Phone Use从ipad_computer_use的一个代码快照起步，将USB开发板换成蓝牙开发板，并加入了拨打电话的功能。[Oh My Phone Use致谢](https://github.com/getGate/oh-my-phone-use/blob/870fa040b8d4c88ebcd4e8be4f39fd5f7dc5fe21/README.md#L176-L183)。

## 手机智能体看到了什么，屏幕内容被发往哪里

每款工具都会将屏幕内容转为模型输入。Droidrun默认读取无障碍树，在被要求时加入截图。[Droidrun视觉设置](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/mobilerun/config_example.yaml#L15-L29)。mobile-use同时发送UI层级结构和压缩截图。[mobile-use输入](https://github.com/minitap-ai/mobile-use/blob/62913c933e21b27da353a89316a09f60525af496/minitap/mobile_use/agents/cortex/cortex.py#L80-L88)。phone-harness先通过本地OCR读取iPhone屏幕。AutoGLM则将截图发送给视觉模型。[AutoGLM截图](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/phone_agent/agent.py#L144-L167)。

无论以哪种形式呈现，这些内容都会发送给你配置的模型。数据可以留在你的电脑上：AutoGLM默认使用在本地提供服务的自有9B模型，esp32-iphone-agent的文档也介绍了本地方案。[AutoGLM默认设置](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/phone_agent/model/client.py#L17-L19)。更常见的情况是发往托管模型：mobile-use默认使用OpenAI，Droidrun的示例配置使用Google，而iPhone Use、phone-harness、Oh My Phone Use和ipad_computer_use则使用承载它们的编程助手所用的模型。[mobile-use默认设置](https://github.com/minitap-ai/mobile-use/blob/62913c933e21b27da353a89316a09f60525af496/llm-config.defaults.jsonc#L3-L35)。屏幕上的聊天内容、银行余额或一次性验证码，会成为发给该服务商的请求的一部分。

## 手机智能体何时会停下来询问用户

这是我们审视每个[个人智能体](https://personalagentbench.com/zh-cn/how-scoring-works/)时都会问的问题，而这里能找到的答案并不充分。

只有AutoGLM在操作代码中内置了确认机制：当模型为某次点击附上消息标记时，会触发是或否的确认提示；接管操作则会将手机交给用户，以完成登录和验证码验证。[AutoGLM确认机制](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/phone_agent/actions/handler.py#L138-L146)。这里有2个限制。首先，何时添加标记由模型决定。其次，只有中文系统提示词教模型这样做，英文提示词既没有提到带标记的点击，也没有提到接管操作。[中文提示词](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/phone_agent/config/prompts_zh.py#L28-L29)、[英文提示词](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/phone_agent/config/prompts_en.py#L28-L70)。

[iPhone Use](https://personalagentbench.com/zh-cn/phone-use/iphone-use/)拒绝向密码框输入内容，并会在未经验证的提交之后中止批次。OpenGUI的托管后端告诉模型，登录、支付、转账、下单和删除操作必须交给用户处理。[OpenGUI转交用户的要求](https://github.com/Core-Mate/OpenGUI/blob/8a681b45f170eb2566c3d254e7ee0089ba9f43a5/server/apps/backend/src/modules/graph-agent/graph/nodes/executor/entry.node.ts#L115-L130)。phone-harness在技能文本中要求宿主智能体在发送、发布、购买或删除之前停下来。[phone-harness技能](https://github.com/ShawnPana/phone-harness/blob/7e3ea6cff1377db4d4f37e852c59493120aa52b6/SKILL.md#L148-L152)。Oh My Phone Use的技能也要求在消息发送、支付、删除、账号变更，以及涉及密码和验证码的操作前先询问用户。[Oh My Phone Use技能](https://github.com/getGate/oh-my-phone-use/blob/870fa040b8d4c88ebcd4e8be4f39fd5f7dc5fe21/skills/oh-my-phone-use/SKILL.md#L109-L112)。在esp32-iphone-agent、Droidrun、mobile-use和ipad_computer_use中，我们没有找到针对支付或发送操作的确认机制。

Oh My Phone Use是这9款工具中唯一还能拨打语音电话的工具。开发板充当手机的蓝牙车载套件，Mac通过macOS的`say`发声，并用whisper.cpp在本地转写对方的话，转写文本随后交给你的智能体。技能要求智能体只拨打你提供的号码，说明自己是代你来电的智能体、对方的回复会被转写，并将对方的话视为信息而非指令。号码、转写文本和摘要保存在Mac上的一个文件中。[通话规则](https://github.com/getGate/oh-my-phone-use/blob/870fa040b8d4c88ebcd4e8be4f39fd5f7dc5fe21/skills/oh-my-phone-use/SKILL.md#L116-L142)、[保存的结果](https://github.com/getGate/oh-my-phone-use/blob/870fa040b8d4c88ebcd4e8be4f39fd5f7dc5fe21/host/README.md#L146-L150)。这些规则同样只是指令文本，而电话会打给一个从未安装过任何相关软件的人。

Oh My Phone Use和ipad_computer_use都按设计以无密码方式运行屏幕控制服务器，并以网络由你掌控为前提：任何能连接到控制器的人，都能请求截图并发送输入，因此应将它放在你自己的电脑上，或Tailscale之类的私有网络中。[Oh My Phone Use安全说明](https://github.com/getGate/oh-my-phone-use/blob/870fa040b8d4c88ebcd4e8be4f39fd5f7dc5fe21/SECURITY.md#L5-L9)、[ipad_computer_use安全说明](https://github.com/jamiepinheiro/ipad_computer_use/blob/ac07704c3b22be7627f13cb062cd36160a0c4cce/README.md#L38-L45)。

指令文本并非毫无作用，但它只是对模型提出的要求，不是一道强制约束。可以对照[Pine](https://personalagentbench.com/agents/pine/)，它将每次账单操作前询问用户作为产品机制的一部分。

## 手机智能体的遥测：工具向开发方回传什么

有4款工具向分析服务上报使用情况，但包含的内容差异很大。

- **phone-harness**默认开启遥测，发送至PostHog。每个事件都可能携带你通过管道传入的脚本，最多20000个字符，以及输出的末尾部分；在iPhone上，这可能包含从屏幕读取的文字。其安装指南称这些数据是匿名的。[默认开启](https://github.com/ShawnPana/phone-harness/blob/7e3ea6cff1377db4d4f37e852c59493120aa52b6/src/phone_harness/config.py#L78-L78)、[事件字段](https://github.com/ShawnPana/phone-harness/blob/7e3ea6cff1377db4d4f37e852c59493120aa52b6/src/phone_harness/telemetry.py#L128-L156)。可用`PHONE_HARNESS_TELEMETRY=0`关闭。
- **Droidrun**默认开启遥测，并在首个事件中发送你输入的目标。其文档称不会收集“任何个人或敏感数据”。[初始化事件中的目标](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/mobilerun/agent/droid/droid_agent.py#L847-L850)、[文档中的说法](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/docs/features/telemetry.mdx#L13-L13)。像“把钱还给我姐姐”这样的目标，无论如何理解，都属于个人信息。
- **iPhone Use**通过Codex安装时默认开启遥测，仅通过与文档一致的白名单发送工具名称、执行结果和耗时。
- **mobile-use**会在启用任何遥测之前先询问用户。[征求同意的提示](https://github.com/minitap-ai/mobile-use/blob/62913c933e21b27da353a89316a09f60525af496/minitap/mobile_use/main.py#L303-L339)。

在AutoGLM、esp32-iphone-agent、Oh My Phone Use和ipad_computer_use中，我们没有找到遥测；OpenGUI的分析功能则只保留了空实现。

## 隐蔽操作、封号与AI操作手机

应用会察觉自动化行为。点击总是精准落在正中心、输入速度完全均匀、设备指纹完全一致，都是典型信号；WeChat、Instagram以及外卖应用等平台都有自己的风控机制。这7个代码仓库都没有说明，账号被标记后会发生什么。

Droidrun走向了另一个方向。它的开源代码包含一个默认关闭的隐蔽模式，目的写得很直白：随机化点击位置，“避免总是点在正中心这种会暴露自动化的可预测行为”，再配合接近真人的操作时序和输入速度。[隐蔽模式状态](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/mobilerun/tools/ui/stealth_state.py#L1-L6)、[隐蔽模式设置](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/mobilerun/config_manager/config_manager.py#L233-L233)。其托管服务[Mobilerun](https://mobilerun.ai/)宣传“隐蔽输入与滑动”，以及能被识别为真实设备的手机。phone-harness的README则宣传托管手机“支持隐蔽操作、真实号码、2FA”。[phone-harness README](https://github.com/ShawnPana/phone-harness/blob/7e3ea6cff1377db4d4f37e852c59493120aa52b6/README.md#L21-L21)。

另一端，AutoGLM的条款禁止批量账号、群控和虚假互动，并表示项目用于研究和学习。[AutoGLM条款](https://github.com/zai-org/Open-AutoGLM/blob/86f55382982fb054e8fc98ca80609dff8a2cdc3c/resources/privacy_policy_en.txt#L91-L100)。esp32-iphone-agent则要求用户遵守所涉及应用的条款。[esp32负责任使用说明](https://github.com/onehumanbeing/esp32-iphone-agent/blob/88a51030b5ec36564157bc778c7827b4dffb4b41/README.md#L226-L229)。

旨在让应用把自己当成人类的软件，也就是旨在绕过该应用规则的软件。无论你如何看待这一点，它都把风险转移到了你的账号上。

## 手机智能体基准测试：你读到的是谁的数据

有2个项目公布了成功率，而且都是自行测量。mobile-use称，它在2026年1月率先完成了AndroidWorld的全部任务，即116项中的116项。[mobile-use的说法](https://github.com/minitap-ai/mobile-use/blob/62913c933e21b27da353a89316a09f60525af496/README.md#L49-L49)。Droidrun的README徽章写着91.4%，官网却写着AndroidWorld上达到100%，在iOSWorld和AndroidWorld上合计达到98.34%，没有注明模型、日期或评测执行者。[Droidrun徽章](https://github.com/droidrun/mobilerun/blob/1935ada390f4e82c93daa97bd2c58f4794fc1699/README.md#L25-L25)。

据我们所知，这些结果都尚未得到独立复现，而这2个“100%”的说法不可能都算新消息。厂商对自身运行的[基准测试](https://personalagentbench.com/benchmarks/)只能作为起点，不能视为定论。我们尚未在自己的测评中运行过任何手机智能体；它们在本站都没有评分。

## 常见问题

**什么是手机智能体？** 它是连接到真实手机的语言大模型：通过截图或元素树查看屏幕，选择点击、滑动或按键，并重复这一过程，直到任务完成。它可以操作没有网页版或API的应用。

**AI能在不越狱的情况下控制iPhone吗？** 可以。iPhone Use、Droidrun和AutoGLM使用Apple的WebDriverAgent，需要你自己的开发者签名；esp32-iphone-agent模拟USB键鼠；Oh My Phone Use和ipad_computer_use将屏幕共享应用与一块小型开发板配合使用，通过蓝牙或USB实现同样的输入；phone-harness则操作macOS的iPhone Mirroring。它们都不需要越狱。

**哪款手机智能体会在付款前询问用户？** 在代码层面，只有AutoGLM，而且仅在模型标记该次点击时触发，其英文提示词没有教模型这样做。OpenGUI的后端、phone-harness和Oh My Phone Use通过给模型的指令要求先询问用户。其他工具中，我们没有找到支付确认机制。

**在主力手机上使用手机智能体安全吗？** 我们不会这样做。手机解锁时，智能体通常可以打开任何应用、点击任何位置，屏幕内容会发送给模型服务商，而且没有项目解释封号风险。请使用备用手机，以及你能承受失去的账号。

**手机智能体会把我的数据发出去吗？** 屏幕内容会发送给你配置的模型。此外，phone-harness和Droidrun默认发送使用事件，其中可能包含任务文本；iPhone Use只发送工具名称和耗时；mobile-use会先询问用户。

**最好的开源手机智能体是哪款？** 我们不做排名，也没有实际运行过它们。上表呈现了各自的取舍：AutoGLM是唯一在代码中设置确认步骤的工具；iPhone Use将默认遥测限制在工具名称和耗时；Droidrun覆盖的平台最多，但附带隐蔽功能，而且默认发送你的目标文本。本文是基于2026年10月13日固定提交版本的源码审阅，[iPhone Use](https://personalagentbench.com/zh-cn/phone-use/iphone-use/)另有专页。

---

Published by Personal Agent Bench (https://personalagentbench.com), run by the Zentor team. Zentor builds agent software of its own, so its products are not on the scorecard and will not be added.