在 macos 右上角菜单栏有个电脑的图标，图标右下角有个小人头像。 在被控制的 app 左上角也有显示这个图标； 可以在后台操作这个 app ，不阻塞用户使用电脑。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
supuwoerc 1 day ago
Computer use 吧
|
 |
2
jiuzhougege OP @supuwoerc 这个我也知道，但是底层是怎么实现的？
Accessibility API 是独占的，应该不是 Accessibility API 实现的 |
 |
3
cubecube 1 day ago
https://github.com/e2b-dev/open-computer-use
开源实现，原理差不多吧，codex 不一定用的这个 |
 |
4
vitality 1 day ago
就是用的录屏 API + Accessibility API 。
至于非独占：点击不控制光标，而是直接对目标进程的元素执行动作；输入不发全局键盘事件，而是设置元素的值、选中文本。所以不需要动光标也不抢焦点，只需要在后台运行。 |
 |
5
zephyru 1 day ago
啊，你是说后台使用电脑么？这部分，windwos 的话比如有 https://github.com/sebaxakerhtc/rdpwrap 同样不一定用的是这个，只是说类似的东西很多
|
 |
6
okkk 1 day ago
openai 收购了初创公司 Software Applications Incorporated (SAI)，苹果 “快捷指令”（ Shortcuts ） 应用的原创团队，Codex 后台操控 macOS 应用的核心组件，用的是 Sky 的客户端程序
|
 |
7
alexjoker467 3h 23m ago
我也想知道，但是就准确度和精准度而言，应该不是简单的识别窗口。
|
 |
8
kitinone 2h 53m ago
我记得 UiPath 这类 RPA 程序可以拾取 exe 程序的各类控件，就像 chrome 可以通过 devtools 聚焦各类 html 控件一样
问了 AI ，说是 windows 上有 UIA 技术，可以把桌面程序的按钮、输入框、菜单等暴露为一棵可查询、可操作的控件树。而且 Win32 、WinForms 、WPF 的标准控件都支持，除非是自定义或第三方控件。 |
Select Language