iphone-use 让 Codex 读取并操作真实 iPhone,使用前需要什么

AI博客12小时前更新 tudingai-ai
32 0 0

iphone-use 是一个让 AI 助手操作真实 iPhone 的开源项目。手机连到 Mac 后,助手可以读取屏幕上的元素,执行点击、滑动和输入,再查看界面有没有按预期变化。它适合想让 Codex、Claude Code 等助手处理手机操作,又愿意自己配置设备与权限的人。

很多手机应用没有供 AI 调用的接口。iphone-use 走的是屏幕操作这条路。Mac 上的守护进程连接手机里的 XCTest runner,runner 读取无障碍信息并发送触摸或文字输入。项目提供 MCP server、命令行、HTTP 接口和浏览器控制页;MCP 客户端借这些能力读取状态、找屏幕元素并发出操作。当前版本使用自研 runner,不依赖 iPhone Mirroring,也不会接管 Mac 的鼠标和窗口。

操作有没有成功,工具会给出反馈

AI 操作手机时,最容易出错的是把一次点击当成任务已经完成。iphone-use 会区分动作已执行、未发出和结果不确定,并说明能否安全重试。点到被遮挡的元素,或者输入内容没有留在界面上,也会报告出来。助手随后需要读取新的屏幕状态,确认下一步该做什么。

读屏主要依赖应用暴露的无障碍元素。截图受限的应用可以尝试这条路径,但有些页面仍可能读不到足够的信息。手机已有的应用登录态可以继续使用;密码、验证码、身份核验和最终付款则应由本人处理。iphone-use 也不能替人越过锁屏密码或 Face ID。

重复任务可以录成 flow

网页控制页可以把已确认的操作录成 flow。审阅草稿后,这些步骤可以按应用保存,之后重放时正常路径不再调用模型。项目还提供官方 flow 仓库,可以查看现有脚本。应用更新、账号状态或权限变化都可能让旧 flow 失效;重放失败时要检查卡在哪一步,再修改脚本。

手机需要回到自己手里时,可以在网页控制页选择交还。守护进程会停止 runner,阻止助手继续输入。重新交给助手前,手机要处于可用状态。这种交接比让自动化程序一直占着手机更适合日常使用。

安装条件

需要一台运行 macOS 15 或更新版本的 Mac、完整的 Xcode、用于签名的 Apple ID,以及开启开发者模式的 iPhone。首次设置前,用数据线连接手机并解锁;免费 Apple ID 可以用于签名,但签名可能需要定期续期。当前本地设备宿主是 Mac,Windows 或 Linux 可以作为远程客户端访问 Mac 提供的界面和接口,不能直接替代 Mac 完成设备连接。

从官方仓库安装后,先运行 iphone-use doctor 查缺少的条件,再用 iphone-use status 看手机是否已就绪。iphone-use try 会打开设置、读取屏幕并返回主屏幕,可以用来检查基本控制。安装完成并不保证手机此刻可用,仍要以状态命令和实际输出为准。

安装器会为已安装的 Claude Code 注册 MCP。Codex 等其他 MCP 客户端需要按作者的接入说明配置本机 iphone-use-mcp 的可执行路径。接入后可以先让助手读取设备状态和当前屏幕,再尝试简单导航;涉及发送、发布和交易的动作,先明确范围并保留人工确认。

项目代码采用 MIT 许可证。软件本身开源,所用 AI 客户端或模型可能另有费用。守护进程的对外接口需要鉴权,手机 runner 自己的端口没有鉴权,作者要求只在可信网络中使用。对没有 Mac、Xcode 或设备配置经验的人来说,这是一套需要准备环境的工具;已经具备这些条件的人,可以从无害的读屏和设置页面检查开始判断它是否适合自己的任务。

© 版权声明

相关文章

暂无评论

none
暂无评论...