iOS 应用作为节点通过 WebSocket 连接到 Gateway,支持"Canvas、屏幕快照、摄像头捕获、位置、对话模式、语音唤醒"等功能,同时接收命令并报告状态。
核心功能
- Canvas - 在 WKWebView 中渲染内容
- 屏幕快照 - 捕获屏幕截图
- 摄像头捕获 - 拍照和录像
- 位置 - 获取设备位置信息
- 对话模式 - 语音交互
- 语音唤醒 - 语音激活功能
设置要求
用户需要一个单独运行在 macOS、Linux 或 Windows(通过 WSL2)上的 Gateway。连接可通过三种途径:
- 本地网络发现 - 通过 Bonjour 发现
- 跨网络连接 - 通过 Tailnet 配合单播 DNS-SD
- 手动配置 - 手动输入主机/端口
连接过程
- 在端口 18789 上启动 Gateway
- 在 iOS 设置中选择 Gateway
- 通过命令行批准配对请求
- 通过状态检查验证连接
Gateway 端操作
# 启动 Gateway
openclaw gateway start --port 18789
# 批准节点配对请求
openclaw nodes approve
# 查看连接状态
openclaw nodes status
Canvas 集成
应用在 WKWebView 中渲染内容。操作员可以:
- 导航到特定 URL
- 执行 JavaScript 代码进行绘图操作
- 使用
node.invoke命令结构以 JPEG 格式捕获指定尺寸的快照
Canvas 操作示例
// 导航到 URL
node.invoke("canvas.navigate", { url: "https://example.com" })
// 执行 JavaScript
node.invoke("canvas.evaluate", { script: "document.body.style.background = 'red'" })
// 捕获快照
node.invoke("canvas.snapshot", { width: 800, height: 600, format: "jpeg" })
故障排除
常见问题包括:
- 后台进程限制 - 需要前台运行
- Canvas 主机配置缺失 - 检查 Gateway 设置
- 配对提示延迟 - 等待或重新尝试
- 重新安装后 Keychain 令牌丢失 - 需要重新配对
提示
指南参考了关于配对机制、发现协议和 Bonjour 配置的单独文档。更多详情请参考 官方英文文档。