Skip to content

桌面与浏览器自动化

Silicon Worker 能直接操作你的桌面应用和网页——不是看截图猜坐标,而是读取界面上的真实元素并进行点击、输入等操作。这让它可以处理那些没有 API、只能靠人手点的工作。

它能做什么

  • 桌面自动化:操作本机的桌面应用,包括读取当前界面元素、点击、输入文字、按键、滚动、等待等。适合让它代你在没有 API 的应用里完成操作。
  • 浏览器自动化:自动操作网页,包括打开网址、读取页面内容、点击、填表、选择下拉项、滚动、翻页(后退)、以及从页面中提取信息。

让它操作桌面应用

  1. 确保已授予桌面自动化所需的系统权限(见下文)。
  2. 在对话框把任务说清楚,例如指明要在哪个应用里做什么。
  3. 它会先读取当前界面,识别可操作的元素,再逐步执行点击、输入等动作。过程对你可见。

让它自动操作网页

  1. 在对话框描述网页任务,例如打开某个网址、填写并提交表单、或从页面提取某些信息。
  2. 它会打开网页、读取页面结构,然后按需点击、填表、翻页、提取内容。

登录状态

浏览器会保留登录状态,因此对于需要登录的网站,你完成一次登录后,后续任务通常可以沿用该状态,无需每次重新登录。

需要的权限

桌面自动化需要系统级的辅助/自动化权限:

  1. 首次使用时,Silicon Worker 会提示你授权,并引导你前往系统设置开启对应权限。
  2. 按提示完成授权后再继续。

权限相关的详细说明见权限设置权限参考

注意事项

关键操作会先确认

提交表单、删除等敏感动作会被识别为高风险操作,Silicon Worker 会先暂停并征求你的同意,确认后才执行。

  • 自动化期间界面会被实际操作,建议先在不重要的窗口或测试页面上试一试。
  • 任意时刻都可以用停止按钮中断正在进行的操作。

结果与验证

观察操作流面板即可看到它每一步做了什么;任务完成后,到对应的应用或页面确认结果是否符合预期。

相关

只呈现已落地能力