13.4 iOS应用

iOS 应用作为节点通过 WebSocket 连接到 Gateway,支持"Canvas、屏幕快照、摄像头捕获、位置、对话模式、语音唤醒"等功能,同时接收命令并报告状态。

核心功能

  • Canvas - 在 WKWebView 中渲染内容
  • 屏幕快照 - 捕获屏幕截图
  • 摄像头捕获 - 拍照和录像
  • 位置 - 获取设备位置信息
  • 对话模式 - 语音交互
  • 语音唤醒 - 语音激活功能

设置要求

用户需要一个单独运行在 macOS、Linux 或 Windows(通过 WSL2)上的 Gateway。连接可通过三种途径:

  • 本地网络发现 - 通过 Bonjour 发现
  • 跨网络连接 - 通过 Tailnet 配合单播 DNS-SD
  • 手动配置 - 手动输入主机/端口

连接过程

  1. 在端口 18789 上启动 Gateway
  2. 在 iOS 设置中选择 Gateway
  3. 通过命令行批准配对请求
  4. 通过状态检查验证连接

Gateway 端操作

# 启动 Gateway
openclaw gateway start --port 18789

# 批准节点配对请求
openclaw nodes approve

# 查看连接状态
openclaw nodes status

Canvas 集成

应用在 WKWebView 中渲染内容。操作员可以:

  • 导航到特定 URL
  • 执行 JavaScript 代码进行绘图操作
  • 使用 node.invoke 命令结构以 JPEG 格式捕获指定尺寸的快照

Canvas 操作示例

// 导航到 URL
node.invoke("canvas.navigate", { url: "https://example.com" })

// 执行 JavaScript
node.invoke("canvas.evaluate", { script: "document.body.style.background = 'red'" })

// 捕获快照
node.invoke("canvas.snapshot", { width: 800, height: 600, format: "jpeg" })

故障排除

常见问题包括:

  • 后台进程限制 - 需要前台运行
  • Canvas 主机配置缺失 - 检查 Gateway 设置
  • 配对提示延迟 - 等待或重新尝试
  • 重新安装后 Keychain 令牌丢失 - 需要重新配对
提示
指南参考了关于配对机制、发现协议和 Bonjour 配置的单独文档。更多详情请参考 官方英文文档