ほかの言語English简体中文한국어

スマホ操作AIエージェント：実機を動かす9つのオープンソースツール

phone use agentとは、言語モデルに実機のスマホを操作させるソフトウェアです。画面を見て、どこをタップするか判断し、実際にタップします。対象は、もともと人の指で操作することしか想定していないアプリです。2026年10月、このアイデアは研究デモの段階を越え、GitHubのトレンドに登場しました。その動きをけん引したのは、CodexでiPhoneを操作できるプラグインです。このページでは、9つのオープンソースツールについて、10月13日に読んだコミットに対象を固定し、ソースコードを比較します。スマホへの接続方法、何をどこへ送るか、どこで止まってユーザーに確認するか、アプリ側のルールについて何を述べているかを調べました。いずれも実行はしていません。利害関係の開示：本サイトを運営するZentorも、スマホ操作ソフトウェアを開発しています。今回取り上げるOh My Phone Useは、Zentorのメンバーが個人のGitHubアカウントで公開しているサイドプロジェクトです。表にもその関係を明記し、ほかのツールと同じチェックリストで確認しました。ほかと同様、スコアは付けていません。残る8つは競合製品です。運営者について。

• スマホを操作する経路は4つあります。USB経由のAppleのテスト自動化サービス、画面のミラーリングとキーボード・マウスのエミュレーション、Androidのデバッグブリッジとアクセシビリティサービス、そして他社のクラウドで借りるスマホです。
• どのツールでも、画面上の情報が言語モデルに渡ります。機微な操作のタップにコードで確認を挟むのは1つだけで、そのツールでも確認を発動させるかどうかはモデルが判断します。
• 2つのツールは、エージェントへの依頼内容を含み得る利用イベントを、デフォルトで開発元側へ送ります。
• 1つのフレームワークには、タップを人間らしく見せることを目的と明記したコードが含まれ、そのクラウドサービスは「ステルス」を売りにしています。9つのうち、アカウントの利用停止について説明しているものはありません。

スマホ操作AIエージェントとは何か、このページで扱わないもの

ここで取り上げるツールはすべて、モデルにスマホの画面を見る手段と、操作する手段を組み合わせています。モデルはスクリーンショット、画面の要素ツリー、またはその両方を受け取り、タップ、スワイプ、キー入力を選び、この処理を繰り返します。デスクトップを操作する「computer use」エージェントのスマホ版であり、ブラウザーエージェントでは届かない場所にもアクセスできます。WeChat、銀行アプリ、デリバリーアプリなど、ウェブ版のないアプリがその対象です。

このページで扱うのは、自分でインストールするオープンソースツールです。スマホのOSに組み込まれたアシスタントは対象外とします。中身を調べられるツールというより、端末の機能だからです。また、提供元のサーバーからユーザーの用事を代行する一般消費者向けアプリも含めません。これらは、本サイトが追跡しているパーソナルエージェントや、詳しく調べた製品の枠組みで扱います。9つのうちOpenGUIは、2030年まで本番利用を制限するBusiness Source License 1.1で公開されているため、厳密にはオープンソースではなく、ソース公開型です。OpenGUIのライセンス。

スマホ操作AIエージェントが端末にアクセスする4つの経路

出典：esp32の接続方式、Oh My Phone Useの接続方式、ipad_computer_useの接続方式、phone-harnessの接続方式、DroidrunのAndroid設定、AutoGLMの要件。

何が問題になり得るかは、接続経路によって変わります。画面をミラーリングするツールが見られるのは、スマホ側がミラーリングを許す内容だけです。esp32プロジェクトによれば、iOSはパスコードの入力画面やApple Payをミラーリングしません。ミラーリングの制限。アクセシビリティサービスは、ほぼすべてを見て操作できます。クラウド上のスマホを使う場合、ログイン済みのアカウントは、自分では一度も触れないハードウェア上に置かれます。

9つのオープンソースのスマホ操作AIエージェントを比較

10月13日時点のGitHubスター数：Open-AutoGLM 26,389、Droidrun 9,632、iPhone Use 3,504、mobile-use 3,257、phone-harness 3,253、OpenGUI 1,816、esp32-iphone-agent 1,189、ipad_computer_use 78、Oh My Phone Use 9。最も速く伸びているのは、登場が最も新しい2つです。iPhone Useは10月6日、esp32-iphone-agentは10月11日に作成されました。Oh My Phone Useはipad_computer_useのスナップショットを出発点に、USB基板をBluetooth基板へ置き換え、通話機能を追加しています。Oh My Phone Useのクレジット。

スマホ操作AIエージェントには何が見え、画面はどこへ送られるのか

どのツールも、画面の内容をモデルへの入力に変換します。Droidrunはデフォルトでアクセシビリティツリーを読み取り、要求に応じてスクリーンショットを追加します。Droidrunの画像入力設定。mobile-useはUIの階層構造と圧縮したスクリーンショットの両方を送ります。mobile-useの入力。phone-harnessは、まずローカルのOCRでiPhoneの画面を読み取ります。AutoGLMは画像を扱えるモデルにスクリーンショットを送ります。AutoGLMのスクリーンショット。

形式が何であれ、送信先はユーザーが設定したモデルです。処理を自分のマシン内で完結させることもできます。AutoGLMはデフォルトで独自の9Bモデルをローカルで提供する構成になっており、esp32-iphone-agentにもローカルで使う方法の説明があります。AutoGLMのデフォルト設定。ただし、多くの場合は外部でホストされたモデルへ送られます。mobile-useのデフォルトはOpenAI、Droidrunの設定例はGoogleです。iPhone Use、phone-harness、Oh My Phone Use、ipad_computer_useは、それらを動かすコーディングアシスタントのモデルを使います。mobile-useのデフォルト設定。画面上のチャット、銀行残高、ワンタイムコードは、そのモデル提供元へのリクエストの一部になります。

スマホ操作AIエージェントはどこで止まり、ユーザーに確認するのか

これは、私たちがすべてのパーソナルエージェントについて問う点ですが、今回のツールには十分な答えがありません。

操作コードに確認を組み込んでいるのはAutoGLMだけです。モデルがメッセージ付きのラベルを付けたタップでは、はい／いいえの確認が表示されます。また、操作を引き継ぐアクションにより、ログインやCAPTCHAへの対応をユーザーに任せます。AutoGLMの確認処理。ただし、2つの制約があります。ラベルをいつ付けるかはモデルが判断します。そして、その付け方を教えているのは中国語のシステムプロンプトだけです。英語のプロンプトは、ラベル付きのタップにも操作を引き継ぐアクションにも触れていません。中国語のプロンプト、英語のプロンプト。

iPhone Useはパスワード欄への入力を拒否し、未検証の送信後にバッチを停止します。OpenGUIのホストされたバックエンドは、ログイン、支払い、送金、注文、削除をユーザーに委ねるようモデルに指示しています。OpenGUIのユーザーへの引き継ぎ。phone-harnessはスキルの指示文で、送信、投稿、購入、削除の前に止まるようホスト側エージェントに求めています。phone-harnessのスキル。Oh My Phone Useのスキルも、メッセージ、支払い、削除、アカウントの変更、パスワード、確認コードについて、事前に同様の確認を求めています。Oh My Phone Useのスキル。esp32-iphone-agent、Droidrun、mobile-use、ipad_computer_useには、調べた限り、支払いや送信の確認処理はありませんでした。

Oh My Phone Useは、9つの中で唯一、音声通話も行います。基板がスマホのBluetooth車載ハンズフリー機器として動作し、MacはmacOSのsayで発話します。相手の発言はwhisper.cppでローカルに文字起こしし、そのテキストをエージェントに渡します。スキルはエージェントに対し、ユーザーが伝えた番号だけに発信すること、ユーザーの代理で電話しているエージェントであり返答を文字起こしすることを相手に伝えること、相手の発言を指示ではなく情報として扱うことを求めています。電話番号、文字起こし、要約はMac上のファイルに保存されます。通話のルール、保存される結果。これらのルールも指示文にすぎません。そして、電話が届く相手は、何もインストールしていない人です。

Oh My Phone Useとipad_computer_useは、いずれも設計上、画面操作サーバーをパスワードなしで動かし、ユーザー自身のネットワーク内で使うことを前提にしています。コントローラーに接続できる人なら、誰でもスクリーンショットを要求し、入力を送れます。そのため、自分のマシン内か、Tailscaleなどのプライベートネットワーク内で使う必要があります。Oh My Phone Useのセキュリティ、ipad_computer_useのセキュリティ。

指示文にも意味はありますが、あくまでモデルへの依頼であり、操作を確実に止めるロックではありません。製品の仕組みとして、請求に関するすべての操作の前に確認するPineと比較してみてください。

スマホ操作AIエージェントのテレメトリー：開発元側へ何を送るのか

4つのツールが分析サービスに利用状況を報告していますが、含まれる内容には大きな違いがあります。

• phone-harnessはデフォルトで有効になっており、PostHogへ送信します。各イベントには、パイプで渡したスクリプトが最大20,000文字と、出力の末尾部分が含まれる場合があります。iPhoneでは、この出力に画面から読み取ったテキストが含まれることがあります。インストールガイドでは、これを匿名と説明しています。デフォルトで有効、イベントのフィールド。PHONE_HARNESS_TELEMETRY=0で無効にできます。
• Droidrunはデフォルトで有効になっており、最初のイベントで、ユーザーが入力した目標を送ります。ドキュメントでは「個人情報や機微なデータは一切」収集しないとしています。初期化イベントに含まれる目標、ドキュメントの記述。「姉妹にお金を返して」のような目標は、どう解釈しても個人的な情報です。
• iPhone UseはCodexへのインストールではデフォルトで有効になっており、送るのはツール名、実行結果、所要時間だけです。送信項目を許可リストで絞っており、その内容はドキュメントの説明と一致しています。
• mobile-useは、何かを有効にする前に確認します。同意を求める表示。

AutoGLM、esp32-iphone-agent、Oh My Phone Use、ipad_computer_useには、調べた限りテレメトリーは見つかりませんでした。OpenGUIの分析処理は、実際には動作しないスタブに置き換えられています。

ステルス、アカウントの利用停止、スマホを操作するAI

アプリは自動操作を検知します。常に中心ぴったりに落ちるタップ、完全に一定の速度での文字入力、同一のデバイスフィンガープリントは、典型的な兆候です。WeChatやInstagram、デリバリーアプリなどのプラットフォームは、それぞれ独自のリスク管理を行っています。7つのリポジトリのどれも、検知されたアカウントがどうなるかを説明していません。

Droidrunは、むしろ別の方向へ進んでいます。オープンソースのコードには、デフォルトでは無効のステルスモードが含まれています。その目的は明記されており、タップ位置をランダム化して「自動操作だと露見する、予測可能な中心ぴったりのタップを避ける」ことに加え、操作のタイミングと入力速度を人間らしくします。ステルスの状態管理、ステルスの設定。ホスト型サービスのMobilerunは、「ステルスな文字入力とスワイプ」や、正規の端末と認識されるデバイスを宣伝しています。phone-harnessのREADMEも、「ステルス、実際の電話番号、2FAを備えた」ホスト型スマホを宣伝しています。phone-harnessのREADME。

一方、AutoGLMの利用条件は、アカウントの大量運用、集団での制御、偽のエンゲージメントを禁じ、研究と学習のためのプロジェクトだとしています。AutoGLMの利用条件。esp32-iphone-agentは、利用するアプリの規約を守るよう求めています。esp32の責任ある利用について。

アプリに人間の操作だと思わせるよう設計されたソフトウェアは、そのアプリのルールをすり抜けるよう設計されたソフトウェアでもあります。それをどう評価するにせよ、リスクを負うのはユーザーのアカウントです。

スマホ操作AIエージェントのベンチマーク：その数字は誰が測ったのか

2つのプロジェクトが成功率を公表していますが、どちらも自己測定です。mobile-useは、2026年1月にAndroidWorldの全116タスク中116タスクを完了した初のツールだとしています。mobile-useの主張。DroidrunのREADMEのバッジは91.4%ですが、ウェブサイトではAndroidWorldで100%、iOSWorldとAndroidWorldを合わせて98.34%としています。モデル名、測定日、評価の実施者は記載されていません。Droidrunのバッジ。

私たちの知る限り、どちらも独立した第三者による再現はされていません。また、2つの「100%」という主張が、両方とも新たな達成を伝えるニュースになるわけではありません。提供元が自ら実施したベンチマークは、検証の出発点であって、確定した結果ではありません。私たちは独自の試験でスマホ操作AIエージェントを実行しておらず、本サイトでスコアを付けたものはありません。

よくある質問

スマホ操作AIエージェントとは何ですか？ 実機のスマホにつながった言語モデルです。スクリーンショットや要素ツリーとして画面を見て、タップ、スワイプ、キー入力を選び、タスクが完了するまで繰り返します。ウェブ版やAPIがないアプリでも動作します。

脱獄せずにAIでiPhoneを操作できますか？ はい。iPhone Use、Droidrun、AutoGLMは、自分の開発者署名を使ってAppleのWebDriverAgentを動かします。esp32-iphone-agentはUSBキーボードとマウスとして振る舞います。Oh My Phone Useとipad_computer_useは、画面共有アプリと小型基板を組み合わせ、BluetoothまたはUSB経由で同じ役割を果たします。phone-harnessはmacOSのiPhoneミラーリングを操作します。どれも脱獄は不要です。

支払い前に確認するスマホ操作AIエージェントはどれですか？ コードで確認するのはAutoGLMだけで、モデルがタップに確認用の印を付けた場合に限られます。その付け方は英語のプロンプトでは教えていません。OpenGUIのバックエンド、phone-harness、Oh My Phone Useは、モデルへの指示を通じて確認を求めます。それ以外には、調べた限り支払いの確認処理は見つかりませんでした。

普段使いのスマホでスマホ操作AIエージェントを使っても安全ですか？ 私たちなら使いません。通常、スマホのロックが解除されている間は、エージェントがどのアプリでも開き、どこでもタップできます。画面の内容はモデル提供元に送られ、アカウントの利用停止リスクを説明するプロジェクトもありません。予備のスマホと、失っても困らないアカウントを使ってください。

スマホ操作AIエージェントは私のデータをどこかに送りますか？ 画面の内容は、設定したモデルへ送られます。それとは別に、phone-harnessとDroidrunはデフォルトで利用イベントを送信し、その中にタスクの文面が含まれる場合があります。iPhone Useが送るのはツール名と所要時間だけです。mobile-useは事前に確認します。

オープンソースのスマホ操作AIエージェントで最も優れているのはどれですか？ 私たちは順位を付けておらず、実行もしていません。上の表は、それぞれの利点と制約を示しています。AutoGLMだけがコードに確認手順を備え、iPhone Useはデフォルトのテレメトリーをツール名と所要時間に限定しています。Droidrunは最も多くのプラットフォームに対応する一方、ステルス機能を搭載し、デフォルトで目標の文面を送ります。これは2026年10月13日時点のコミットに対象を固定したソースコードレビューです。iPhone Useには個別のページもあります。