AI 에이전트 폰 조작: 실제 휴대전화를 다루는 오픈소스 도구 9종
phone use 에이전트는 언어 모델이 실제 휴대전화를 조작하도록 해 주는 소프트웨어다. 화면을 보고 어디를 누를지 판단한 뒤 탭한다. 사람의 손가락으로만 조작하도록 만들어진 앱 안에서 이 모든 일이 이뤄진다. 2026년 10월, Codex로 iPhone을 조작할 수 있게 해 주는 플러그인을 필두로 이 개념이 연구용 데모를 넘어 GitHub 인기 목록에 등장했다. 이 페이지에서는 10월 13일에 읽은 커밋을 기준으로 오픈소스 도구 9종의 소스 코드를 비교한다. 각 도구가 휴대전화에 어떻게 접근하는지, 무엇을 어디로 전송하는지, 어느 지점에서 멈추고 사용자에게 묻는지, 앱 자체의 규칙에 관해 무엇을 명시하는지 살펴본다. 직접 실행한 도구는 없다. 이해관계 공개: 이 사이트를 운영하는 Zentor도 phone use 소프트웨어를 개발한다. 여기 소개한 Oh My Phone Use는 Zentor 구성원들이 개인 GitHub 계정으로 공개한 사이드 프로젝트다. 표에 이 관계를 표시했으며, 다른 도구와 같은 체크리스트로 검토하고 나머지와 마찬가지로 점수를 부여하지 않았다. 다른 8종은 경쟁 도구다. 사이트 소개.
- 휴대전화에 접근하는 경로는 4가지다. USB로 연결하는 Apple의 테스트 자동화 서비스, 화면 미러링과 키보드·마우스 에뮬레이션, Android의 디버깅 브리지와 접근성 서비스, 다른 사업자의 클라우드에서 빌리는 휴대전화다.
- 모든 도구에서 화면에 표시된 내용은 언어 모델로 전달된다. 민감한 탭 동작에 코드로 확인 절차를 두는 도구는 1종뿐이며, 그마저도 언제 확인을 요청할지는 모델이 결정한다.
- 2종은 사용 이벤트를 기본적으로 개발사 측에 전송하며, 여기에는 에이전트에 요청한 작업 내용이 포함될 수 있다.
- 1개 프레임워크에는 탭 동작을 사람처럼 보이게 만드는 것이 목적이라고 명시한 코드가 포함돼 있고, 해당 클라우드 서비스는 "스텔스"를 판매한다. 9종 중 어느 것도 계정 정지를 다루지 않는다.
phone use 에이전트란 무엇이며, 이 페이지에서 다루지 않는 것은 무엇인가
여기 소개한 모든 도구는 모델에 휴대전화 화면을 보는 수단과 조작하는 수단을 연결한다. 모델은 스크린샷이나 화면 요소 트리, 또는 둘 다를 받아 탭, 스와이프, 키 입력을 선택하고 이 과정을 반복한다. 데스크톱을 조작하는 "computer use" 에이전트의 휴대전화 버전으로, 브라우저 에이전트가 접근할 수 없는 곳까지 다룬다. WeChat, 은행 앱, 배달 앱 등 웹 버전이 없는 앱이 여기에 해당한다.
이 페이지는 사용자가 직접 설치하는 오픈소스 도구를 다룬다. 휴대전화 운영체제에 내장된 비서는 제외한다. 소스 코드를 살펴볼 수 있는 도구가 아니라 단말기의 기능이기 때문이다. 공급업체 서버에서 사용자의 용무를 처리하는 소비자용 앱도 제외한다. 이들은 우리가 추적하는 개인용 에이전트와 분석한 제품에 해당한다. 9종 중 OpenGUI는 2030년까지 프로덕션 사용을 제한하는 Business Source License 1.1로 공개돼 있어, 오픈소스가 아닌 소스 공개 소프트웨어다. OpenGUI 라이선스.
phone use 에이전트가 휴대전화에 접근하는 4가지 경로
| 경로 | 작동 방식 | 도구 | 필요한 권한·설정 |
|---|---|---|---|
| USB를 통한 Apple 테스트 자동화 | Apple의 XCTest 기반 서비스인 WebDriverAgent가 iPhone에서 실행되며 Mac의 명령을 받음 | iPhone Use, iOS에서는 Droidrun과 AutoGLM도 사용 | Xcode, 본인의 개발자 서명, 개발자 모드 |
| 화면 공유와 입력 에뮬레이션 | 화면을 컴퓨터로 미러링하거나 휴대전화 앱으로 공유하고, USB·Bluetooth 키보드와 마우스 또는 HID 이벤트로 탭 입력을 전달 | esp32-iphone-agent(AirPlay와 $7 보드), Oh My Phone Use(화면 공유 앱과 Bluetooth ESP32 보드), ipad_computer_use(화면 공유 앱과 USB RP2040 보드), phone-harness(macOS iPhone 미러링) | AssistiveTouch, 휴대전화 앱에 대한 본인의 서명, 또는 Mac의 손쉬운 사용 및 화면 기록 권한 |
| Android 디버깅과 접근성 | ADB 명령을 사용하며, 휴대전화에 접근성 서비스 앱을 함께 설치하는 경우가 많음 | Droidrun, AutoGLM, mobile-use, OpenGUI, Android의 phone-harness | USB 디버깅, 접근성 권한 |
| 다른 사업자의 클라우드에 있는 휴대전화 | 호스팅된 기기를 빌려 에이전트가 원격으로 조작 | Mobilerun Cloud, phone-harness 클라우드 | 직접 보유하지 않은 휴대전화에 본인 계정으로 로그인 |
출처: esp32 연결 방식, Oh My Phone Use 연결 방식, ipad_computer_use 연결 방식, phone-harness 연결 방식, Droidrun Android 설정, AutoGLM 요구 사항.
어떤 문제가 생길 수 있는지는 접근 경로에 따라 달라진다. 화면을 미러링하는 도구는 휴대전화가 미러링을 허용하는 내용만 볼 수 있다. esp32 프로젝트에 따르면 iOS는 암호 입력 화면이나 Apple Pay를 미러링하지 않는다. 미러링의 제약. 접근성 서비스는 거의 모든 내용을 보고 조작할 수 있다. 클라우드 휴대전화를 쓰면 직접 만져 본 적 없는 하드웨어에 본인의 계정이 로그인된 상태로 남는다.
오픈소스 phone use 에이전트 9종 비교
| 도구 | 휴대전화 | 경로 | 기본 모델 | 코드에 구현된 확인 절차 | 사용 텔레메트리 | 라이선스 |
|---|---|---|---|---|---|---|
| iPhone Use | iPhone | WebDriverAgent, USB | 호스트의 모델(Codex 등) | 비밀번호 필드 입력 거부, 검증되지 않은 제출 후 일괄 실행 중단 | Codex 설치 시 활성화 | MIT |
| esp32-iphone-agent | iPhone | AirPlay와 ESP32 키보드·마우스 | 모든 OpenAI 호환 엔드포인트 | 없음, 비상 정지만 지원 | 발견하지 못함 | MIT |
| Oh My Phone Use(Zentor 사이드 프로젝트) | iPhone, iPad | 화면 공유 앱과 Bluetooth ESP32 키보드·마우스, 전화 발신도 지원 | MCP를 통해 호스트의 모델 사용 | 없음, 스킬 지침에서 먼저 묻도록 요청 | 발견하지 못함 | MIT |
| ipad_computer_use | iPad, USB-C iPhone | 화면 공유 앱과 USB RP2040 키보드·마우스 | MCP를 통해 호스트의 모델 사용 | 없음 | 발견하지 못함 | MIT |
| phone-harness | iPhone, Android, 클라우드 | iPhone 미러링과 OCR, ADB | 호스트 에이전트의 모델 | 없음, 스킬 지침에서 먼저 묻도록 요청 | 활성화, 작업 텍스트 포함 | MIT |
| Droidrun | Android, iPhone | ADB와 접근성 앱, WebDriverAgent | 설정 예시에서는 gemini-3.8-flash | 없음 | 활성화, 목표 텍스트 포함 | MIT |
| Open-AutoGLM | Android, HarmonyOS, iPhone | ADB 또는 HDC, WebDriverAgent | 자체 호스팅하는 AutoGLM-Phone-9B | 모델이 탭을 표시하면 예/아니요로 확인 요청 | 발견하지 못함 | Apache-2.0 |
| mobile-use | Android, iPhone 시뮬레이터 | ADB와 UIAutomator2 | OpenAI GPT-5 계열 | 없음 | 먼저 동의를 구함 | Apache-2.0 |
| OpenGUI | Android | ADB와 scrcpy, 접근성 클라이언트 | 호스트의 모델 | 백엔드 프롬프트에서 결제와 삭제를 사용자에게 넘기도록 지시 | 비활성화 | BUSL-1.1 |
10월 13일 기준 GitHub 스타 수: Open-AutoGLM 26,389개, Droidrun 9,632개, iPhone Use 3,504개, mobile-use 3,257개, phone-harness 3,253개, OpenGUI 1,816개, esp32-iphone-agent 1,189개, ipad_computer_use 78개, Oh My Phone Use 9개. 가장 빠르게 성장하는 프로젝트는 가장 최근에 생긴 2개다. iPhone Use는 10월 6일, esp32-iphone-agent는 10월 11일에 만들어졌다. Oh My Phone Use는 ipad_computer_use의 스냅샷에서 출발해 USB 보드를 Bluetooth 보드로 바꾸고 전화 통화 기능을 추가했다. Oh My Phone Use 크레딧.
phone use 에이전트가 보는 것과 화면 데이터의 전송 목적지
각 도구는 화면을 모델 입력으로 바꾼다. Droidrun은 기본적으로 접근성 트리를 읽고 요청이 있으면 스크린샷을 추가한다. Droidrun 비전 설정. mobile-use는 UI 계층 구조와 압축된 스크린샷을 모두 전송한다. mobile-use 입력. phone-harness는 먼저 로컬 OCR로 iPhone 화면을 읽는다. AutoGLM은 스크린샷을 비전 모델로 전송한다. AutoGLM 스크린샷.
형태가 무엇이든 데이터는 사용자가 설정한 모델로 전달된다. 사용자 컴퓨터 안에서 처리할 수도 있다. AutoGLM은 로컬에서 구동하는 자체 9B 모델을 기본으로 사용하며, esp32-iphone-agent는 로컬 사용 방법을 문서로 안내한다. AutoGLM 기본값. 하지만 호스팅된 모델로 전송되는 경우가 더 많다. mobile-use는 기본적으로 OpenAI를, Droidrun의 설정 예시는 Google을 사용한다. iPhone Use, phone-harness, Oh My Phone Use, ipad_computer_use는 자신을 실행하는 코딩 도우미의 모델을 그대로 사용한다. mobile-use 기본값. 화면에 표시된 대화, 은행 잔액, 일회용 코드는 해당 모델 제공업체에 보내는 요청의 일부가 된다.
phone use 에이전트는 언제 멈추고 사용자에게 묻는가
우리가 모든 개인용 에이전트에 던지는 질문이지만, 여기서 찾은 답은 빈약하다.
동작을 실행하는 코드에 확인 절차를 내장한 도구는 AutoGLM뿐이다. 모델이 메시지를 붙인 탭은 예 또는 아니요로 답하는 확인 요청을 띄우고, 제어권 인계 동작은 로그인과 CAPTCHA 처리를 위해 휴대전화 제어를 사용자에게 넘긴다. AutoGLM 확인 절차. 여기에는 2가지 한계가 있다. 표시를 붙일 시점은 모델이 결정한다. 또 그렇게 하도록 가르치는 것은 중국어 시스템 프롬프트뿐이다. 영어 프롬프트는 메시지가 붙은 탭도, 제어권 인계 동작도 언급하지 않는다. 중국어 프롬프트, 영어 프롬프트.
iPhone Use는 비밀번호 필드에 입력하기를 거부하며, 검증되지 않은 제출 후에는 일괄 실행을 중단한다. OpenGUI의 호스팅된 백엔드는 로그인, 결제, 이체, 주문, 삭제를 반드시 사용자에게 넘기도록 모델에 지시한다. OpenGUI 사용자 인계 지침. phone-harness는 스킬 지침에서 전송, 게시, 구매, 삭제 전에 멈추도록 호스트 에이전트에 요청한다. phone-harness 스킬. Oh My Phone Use의 스킬도 메시지, 결제, 삭제, 계정 변경, 비밀번호, 인증 코드 처리 전에 같은 절차를 요청한다. Oh My Phone Use 스킬. esp32-iphone-agent, Droidrun, mobile-use, ipad_computer_use에서는 결제나 전송에 대한 확인 절차를 찾지 못했다.
Oh My Phone Use는 9종 중 음성 통화도 지원하는 유일한 도구다. 보드가 휴대전화의 Bluetooth 차량용 핸즈프리 장치 역할을 하고, Mac이 macOS say로 말하며, whisper.cpp로 상대방의 말을 로컬에서 전사한다. 전사문은 사용자의 에이전트에 전달된다. 스킬은 사용자가 제공한 번호로만 전화를 걸고, 사용자를 대신해 전화하는 에이전트이며 상대방의 답변이 전사된다는 사실을 밝히고, 상대방의 말을 지시가 아닌 정보로 취급하도록 에이전트에 지시한다. 전화번호, 전사문, 요약은 Mac의 파일에 남는다. 통화 규칙, 결과 저장. 이 규칙 역시 텍스트 지침이며, 전화를 받는 상대방은 아무것도 설치한 적 없는 사람이다.
Oh My Phone Use와 ipad_computer_use는 모두 설계상 화면 제어 서버를 비밀번호 없이 실행하며, 사용자가 통제하는 네트워크라는 전제에 의존한다. 컨트롤러에 접근할 수 있는 사람은 누구나 스크린샷을 요청하고 입력을 보낼 수 있으므로, 본인 컴퓨터나 Tailscale 같은 사설 네트워크 안에서만 실행해야 한다. Oh My Phone Use 보안, ipad_computer_use 보안.
텍스트 지침도 의미는 있다. 하지만 모델에 보내는 요청이지 잠금장치는 아니다. 제품 기능으로 모든 요금 청구 관련 동작 전에 확인을 받는 Pine과 비교해 볼 수 있다.
phone use 에이전트의 텔레메트리: 개발사 측에 무엇을 보내는가
4종은 사용 정보를 분석 서비스에 보고한다. 포함되는 내용은 크게 다르다.
- phone-harness는 기본적으로 수집이 켜져 있으며 PostHog로 전송한다. 각 이벤트에는 파이프로 전달한 스크립트가 최대 20,000자까지 포함될 수 있고, 출력의 마지막 부분도 들어갈 수 있다. iPhone에서는 화면에서 읽은 텍스트가 출력에 포함될 수 있다. 설치 가이드는 이를 익명 데이터라고 설명한다. 기본 활성화, 이벤트 필드.
PHONE_HARNESS_TELEMETRY=0으로 끌 수 있다. - Droidrun은 기본적으로 수집이 켜져 있으며 최초 이벤트에 사용자가 입력한 목표를 담아 보낸다. 문서에는 "어떠한 개인정보나 민감한 데이터도" 수집하지 않는다고 적혀 있다. 초기화 이벤트에 포함된 목표, 문서의 주장. "여자 형제에게 빌린 돈 갚기" 같은 목표는 어떻게 해석해도 개인적인 정보다.
- iPhone Use는 Codex 설치 시 기본적으로 수집이 켜져 있으며, 문서 내용과 일치하는 허용 목록을 통해 도구 이름, 실행 결과, 시간 정보만 전송한다.
- mobile-use는 수집 기능을 켜기 전에 먼저 동의를 구한다. 동의 요청.
AutoGLM, esp32-iphone-agent, Oh My Phone Use, ipad_computer_use에서는 텔레메트리를 찾지 못했다. OpenGUI의 분석 기능은 실제 작동 없이 뼈대만 남아 있다.
스텔스, 계정 정지, 그리고 휴대전화를 조작하는 AI
앱은 자동화를 감지한다. 항상 정중앙에 떨어지는 탭, 완벽하게 일정한 속도의 입력, 동일한 기기 지문은 전형적인 신호다. WeChat, Instagram, 배달 앱 같은 플랫폼에는 자체 위험 관리 장치가 있다. 7개 저장소 중 어느 곳도 의심 계정으로 표시되면 어떤 일이 생기는지 알려 주지 않는다.
Droidrun은 다른 방향으로 간다. 오픈소스 코드에는 기본적으로 꺼져 있는 스텔스 모드가 포함돼 있으며, 그 목적도 분명히 적혀 있다. 탭 위치를 무작위로 바꿔 "자동화임을 드러내는 예측 가능한 정중앙 탭을 피하고", 동작 간격과 입력 속도도 사람처럼 만드는 것이다. 스텔스 상태, 스텔스 설정. 호스팅 서비스인 Mobilerun은 "스텔스 타이핑 및 스와이프"와 진짜 기기로 인식되는 기기를 홍보한다. phone-harness의 README는 "스텔스, 실제 전화번호, 2FA를 갖춘" 호스팅 휴대전화를 홍보한다. phone-harness README.
반면 AutoGLM의 약관은 대량 계정, 집단 제어, 가짜 참여 활동을 금지하고 프로젝트가 연구와 학습을 위한 것이라고 명시한다. AutoGLM 약관. esp32-iphone-agent는 사용하는 앱의 약관을 존중하라고 요청한다. esp32의 책임 있는 사용 지침.
앱에 사람처럼 보이도록 설계된 소프트웨어는 그 앱의 규칙을 우회하도록 설계된 소프트웨어다. 이를 어떻게 평가하든 위험은 사용자의 계정이 떠안게 된다.
phone use 에이전트 벤치마크: 누구의 수치를 읽고 있는가
2개 프로젝트가 성공률을 공개하며, 둘 다 자체 측정한 수치다. mobile-use는 2026년 1월 AndroidWorld의 전체 116개 작업 중 116개를 최초로 모두 완료했다고 주장한다. mobile-use의 주장. Droidrun의 README 배지에는 91.4%라고 적혀 있지만, 웹사이트는 AndroidWorld에서 100%, iOSWorld와 AndroidWorld 전체에서 98.34%라고 제시하면서 모델, 날짜, 평가 수행자를 밝히지 않는다. Droidrun 배지.
우리가 아는 한 어느 쪽도 독립적으로 재현되지 않았으며, 2개의 "100%" 주장 모두가 새로운 소식일 수는 없다. 공급업체가 자체적으로 실시한 벤치마크는 출발점일 뿐, 결과로 볼 수는 없다. 우리는 자체 시험에서 phone use 에이전트를 실행한 적이 없으며, 이 사이트에서 점수를 받은 도구도 없다.
자주 묻는 질문
phone use 에이전트란 무엇인가? 실제 휴대전화에 연결된 언어 모델이다. 스크린샷이나 요소 트리로 화면을 보고, 탭·스와이프·키 입력을 선택하며, 작업이 끝날 때까지 이 과정을 반복한다. 웹 버전이나 API가 없는 앱에서도 작동한다.
탈옥 없이 AI로 iPhone을 조작할 수 있는가? 그렇다. iPhone Use, Droidrun, AutoGLM은 사용자의 개발자 서명으로 Apple의 WebDriverAgent를 사용한다. esp32-iphone-agent는 USB 키보드와 마우스로 인식되도록 작동한다. Oh My Phone Use와 ipad_computer_use는 화면 공유 앱에 Bluetooth 또는 USB로 같은 역할을 하는 소형 보드를 연결한다. phone-harness는 macOS iPhone 미러링을 조작한다. 모두 탈옥이 필요 없다.
결제 전에 확인을 구하는 phone use 에이전트는 무엇인가? 코드에 구현된 것은 AutoGLM뿐이며, 모델이 해당 탭에 표시를 붙였을 때만 작동한다. 영어 프롬프트에는 그렇게 하라는 지침이 없다. OpenGUI의 백엔드, phone-harness, Oh My Phone Use는 모델에 대한 지침으로 확인을 요청한다. 나머지에서는 결제 확인 절차를 찾지 못했다.
주로 쓰는 휴대전화에서 phone use 에이전트를 사용해도 안전한가? 우리는 그렇게 하지 않겠다. 휴대전화의 잠금이 풀려 있으면 에이전트는 대체로 어떤 앱이든 열고 어디든 탭할 수 있다. 화면은 모델 제공업체로 전송되며, 계정 정지 위험을 설명하는 프로젝트도 없다. 여분의 휴대전화와 잃어도 감당할 수 있는 계정을 사용하라.
phone use 에이전트는 내 데이터를 다른 곳으로 전송하는가? 화면은 사용자가 설정한 모델로 전달된다. 이와 별도로 phone-harness와 Droidrun은 작업 텍스트가 포함될 수 있는 사용 이벤트를 기본적으로 전송한다. iPhone Use는 도구 이름과 시간 정보만 전송하며, mobile-use는 먼저 동의를 구한다.
가장 좋은 오픈소스 phone use 에이전트는 무엇인가? 우리는 순위를 매기지 않으며, 직접 실행해 보지도 않았다. 위 표는 각 도구의 이점과 감수해야 할 점을 보여 준다. AutoGLM은 코드에 확인 절차를 구현한 유일한 도구이고, iPhone Use는 기본 텔레메트리를 도구 이름과 시간 정보로 제한한다. Droidrun은 가장 많은 플랫폼을 지원하지만 스텔스 기능을 포함하며 기본적으로 사용자의 목표 텍스트를 전송한다. 이 글은 2026년 10월 13일의 특정 커밋을 기준으로 한 소스 코드 검토이며, iPhone Use는 별도 페이지에서 다룬다.