电脑操作
设置 → 电脑操作是电脑操作的控制界面 —— 「让智能体查看并操作你共享给它的桌面窗口。」它在 0.33.0 以预览形式推出。本页把它上面的每一行都列出来;共享窗口意味着什么、怎么停止,写在指南里。
这个界面有两种保存方式。顶部的开关在你拨动的当下就生效,驱动下的安装和卸载也一样。共享、输入与停止下的所有设置则要等该区的保存按钮。
启用电脑操作
默认关闭。「开启后,智能体可以列出应用和窗口,读取你共享的窗口,并在你允许操作的窗口里点击和输入。你从状态栏共享之前,任何窗口都不可读。」
它和协作 → 会话内工具里的查看和操作桌面窗口一行、以及状态栏 codeg-mcp 弹层里的那一行,是同一个设置 —— 一个开关的三个视图。打开它,工具会交给之后启动的智能体。关掉它则立即生效:所有共享结束,helper 停止,已经在路上的调用也会被拒绝。
驱动
桌面版,或以 CODEG_COMPUTER_USE 启动的服务器。只有一行 cua-driver,显示它的状态 —— 未安装、正在下载…、已安装 · 0.32.0,或者已安装的是旧版而当前 Codeg 使用另一个版本 —— 安装后还会显示它的存放路径。
- 安装立即获取,而不是等到首次使用;缓存里只有旧版本时,这个位置会变成升级到 …。
- 卸载会先询问,然后关闭电脑操作并结束所有共享。再次开启时会重新下载驱动。
Codeg 只运行一个版本 —— 0.32.0 —— 来自 Cua 项目的 GitHub 发布页,并用 Codeg 内置的 SHA-256 摘要校验。不能换成别的版本。→ 驱动
系统权限
仅限 macOS —— 桌面版,或运行在 Mac 上的服务器。两行:辅助功能(「读取窗口内容并操作窗口。」)和屏幕录制(「截图和读取窗口标题。」),每一行要么显示已授权,要么提供一个去授权按钮。两项都是授给 codeg-computer-helper 的,不是授给 Codeg。电脑操作关闭时,这一区只会提示你先开启它。
- 去授权只申请这一项权限。如果 macOS 弹出了自己的提示,那就到此为止;否则 Codeg 会打开系统设置里对应的面板。有请求在进行时,两个按钮都会等待。
- 你回到这个窗口时,这一区会自动更新;刷新可随时手动重新检查。
- 只要有一项缺失,就会有一段说明,提示你打开 codeg-computer-helper(不是 codeg) 的开关;系统设置的列表里没有这个 helper 时,在访达中显示能把它显示出来。
- 如果 Codeg 本身持有其中任何一项权限,会出现一条琥珀色警告:那样的话,智能体的 shell 可以在什么都没共享的情况下用上它。→ 为什么由 helper 持有权限
共享、输入与停止
这一区的所有设置共用一个保存。
窗口闲置多久后停止共享
默认 30 分钟;另有 10、60、240 分钟,以及永不(直到我停止)。一个窗口在这么长时间内没有被任何智能体使用 —— 读取或操作 —— 它的共享就会结束。整体共享的应用和整个屏幕各自只有一个时钟。
永不共享的应用
永不共享名单。每一项显示它的名称和它匹配的标识。出厂项是密码管理器,以及系统设置和系统的密码弹窗;你自己加的项标有你添加的。任何一项(包括默认项)都可以用它的 × 移除;按 bundle 标识(com.example.app)、可执行文件名(app.exe)或完整路径添加。输入一个你移除过的默认项的名称,会把那个默认项放回来。
恢复默认会先询问,说明你添加的几项会被去掉、你移除的几项默认项会被加回。在保存之前什么都不会变 —— 保存时,你刚添加的应用的任何共享都会结束。→ 永不共享名单
停止快捷键
仅限桌面版。macOS 上是 ⌃⌘Esc,Windows 和 Linux 上是 Ctrl+Alt+Esc。在任何应用里按下,效果都等同于停止共享。点击按键区即可录制新的组合 —— 一个字母、数字、F1–F12、Esc 或标点键,同时按住至少两个修饰键,其中一个是 Ctrl(Mac 上也可以是 ⌘),且不能包含 Windows 键 —— 也可以点默认或关闭。
下面那一行说明它的状态:已生效;开启电脑操作后生效;已关闭,此时只能用按钮停止共享;或者未生效 —— 这组按键可能已被别的应用占用,请换一组。只有在电脑操作开启时,Codeg 才会占用这组按键。
悬浮停止条
仅限桌面版。默认开启。有窗口共享时,一条小提示条浮在所有窗口之上,写明智能体能做什么,并带一个停止共享按钮。关掉它之后,状态栏弹层和快捷键仍然可以停止共享。
允许智能体把窗口切到前台
桌面版,或提供电脑操作的服务器。默认开启。有些应用在后台时收不到按键和打字 —— 在 Windows 上,凡是基于 Chromium 的应用都是如此,比如 Edge、Chrome 和 VS Code —— 所以智能体可以为一次操作把它被允许操作的窗口切到前台,然后切回你原来所在的窗口(在 Linux 上窗口会留在前台)。你会看到这个过程,那一刻你敲下的按键可能会进到它里面。
默认操作方式
后台(默认)或前台:智能体没有指定时,它的点击、滚动、打字和按键如何送达窗口。后台会让窗口留在原处,鼠标和键盘仍归你;前台会在每次操作时把窗口切上来。上面那个开关关闭时,这里锁定为后台,你的选择会保留到它重新开启。
允许智能体打开应用和移动窗口
默认关闭。一个开关管两个工具:在后台启动已安装的应用 —— 永远不包括 Codeg 和永不共享名单中的应用 —— 以及移动可操作窗口或调整其大小。启动应用不会共享它的任何窗口。
允许智能体使用剪贴板
默认关闭。开启后,智能体可以把文本放到剪贴板上再粘贴,也可以读回它自己从你共享的窗口里复制的内容。你自己复制的内容永远不会读给智能体。用 ⌘V 或 Ctrl+V 粘贴不需要任何开关,但只会粘贴智能体自己放上去的内容。
允许共享整个屏幕
默认关闭,且只在 macOS 和 Windows 上提供 —— Linux 上没有这一行。开启后,共享选择器会提供整个屏幕:整屏的一张画面、任意位置的点击、所有能共享的窗口以及桌面本身的快捷键,而 Codeg 自己的窗口和永不共享名单中的应用会被遮盖。关闭它会结束对整个屏幕的共享。
值得知道
- 两种保存。开关和驱动按钮立即生效;它们下面那一区有自己的保存。
- 有些行随运行环境出现或消失。驱动、系统权限,以及关于智能体如何操作、还能做什么的那几行,只在真正提供电脑操作的地方出现 —— 桌面版,或以
CODEG_COMPUTER_USE启动的codeg-server。快捷键和悬浮停止条只属于桌面版。在其他地方,这个页面只显示开关、闲置时长和永不共享名单。在没有这个变量的服务器上,它们背后并没有桌面;在访问桌面版自带 Web 服务的浏览器里,它们仍是桌面版的设置,其余各项则在桌面版里管理。→ 在服务器上 - 这些设置约束的范围。在 macOS 上,权限属于一个只有 Codeg 能用的 helper,所以智能体的 shell 碰不到它们。Windows 和 Linux 没有这层隔离:在那里,这些设置决定的是智能体通过 Codeg 能拿到什么,而不是你电脑上的程序能做什么。
- 这里没有活动记录。智能体做过什么,在状态栏弹层的最近活动里,只保存在本次运行的内存中。