soft-ops:桌面软件操作与后台 GUI
定位
网页平台的操作归 web-ops,桌面上那些零散的软件活儿——装软件、迁移设置、替换插件、修本地配置、驱动原生窗口——归 soft-ops。它的核心诉求有两个:把桌面软件任务做完,以及让 AI 在后台操作客户端时不抢你的鼠标和焦点。
模型自动触发:说「迁移 IDEA 设置」「把软件配好」「操作某个客户端」「后台点几下这个 App」都会走它。
执行原则:备份 → 改 → 回读
桌面配置的坑在于「相似界面不代表配置、插件 ABI 或动作 ID 兼容」,所以 skill 把顺序固定成一套纪律:
- 先读记录核实:安装版本、运行进程、真实配置路径、用户当前选中的配置,一项都不能凭印象。
- 优先原生手段:软件自带的 CLI、受支持的配置格式、导入转换器、系统自动化,都排在开浏览器之前。
- 备份再改:备份和测试产物放工作目录;密码库、token、证书、私钥不进 skill 也不进 git。进程还占着的 SQLite / localStorage 必须先正常退出软件再改。
- 写后回读:文件存在、解析通过、命令返回 0 都不算数——重启后在真实设置页核对,才算生效。
后台 GUI:三条路线对比
用户既要 AI 操作桌面软件、又不想被抢鼠标焦点时,按隔离程度从强到弱选:
| 路线 | 隔离 | 适用 | 代价 |
|---|---|---|---|
macOS 虚拟机(lume、tart) | 整机隔离 | 任意软件、要求零干扰 | 十几 GB 镜像、8GB+ 内存、虚拟机内重新登录 |
Electron 独立实例 + --inspect | 进程与 profile 隔离、窗口隐藏 | --inspect fuse 未关的 Electron 应用 | 只对 Electron;DOM 选择器随改版失效 |
cua-driver MCP | 同一桌面,后台投递 | 任意原生应用、需操作用户正在用的窗口 | 需授予辅助功能和屏幕录制;用户能看到窗口变化 |
能用业务 API 或 CLI 就直接调,不碰界面;只有真的没有接口时才上这三条。
Electron 独立实例用法
这是对 Electron 应用最干净的路线:另开一个 profile 的第二实例,经 Node inspector 隐藏窗口并脚本操作,和你的用户实例完全分开。
判断能不能用
先读 fuse 开关。在 Electron Framework 二进制里找哨兵 dL7pKGdnNz796PbbjQWNKmHXBZaB9tsX,其后 1 字节版本、1 字节长度、再是每个 fuse 一字节(0x31 开、0x30 关)。第 4 个 fuse(EnableNodeCliInspectArguments)开着,--inspect 才可用。生产包常在主进程删掉 --remote-debugging-port,别只看到端口不通就放弃——看启动日志确认。
启动第二实例
<App>.app/Contents/MacOS/<App> --inspect=<port> --user-data-dir=<独立目录>
不同 user-data-dir 不抢单例锁。要复用登录态,直接 rsync 用户的 userData 目录到独立目录,排除 *Cache、Singleton*、日志和大运行时目录(登录态是快照,用户重新登录后要重拷)。
用 insp.mjs 操作
脚本在 skill 的 scripts/electron-inspect/ 下,每次调用自动注入 main-setup.js 与 helpers.js,提供 W、run()、stealth()、tap()、tapSel()、type()、key()、NET。
两种调用方式:
# 主进程表达式
ELECTRON_INSPECT_PORT=<port> node insp.mjs '<主进程 JS 表达式>'
# 渲染进程表达式
ELECTRON_INSPECT_PORT=<port> node insp.mjs -r '<渲染进程 JS 表达式>'
有 HTTP 代理时要加 NO_PROXY='*',否则本地回环的 fetch 会走代理失败。窗口还没建时报 no BrowserWindow yet,等几秒重试。
常用操作:
stealth():透明、鼠标穿透、不可聚焦、showInactive,并关后台节流。tap(文本)/tapSel(选择器):走 CDP 可信点击,只进渲染进程,不动系统光标。type(字符串):Input.insertText,React 受控输入能收到。key(键):发按键,Enter/Escape/Tab/Backspace/' '有映射。NET:抓渲染进程的请求,只记 method、path、query/body 字段名、status。
踩坑
- 别用
hide(),用stealth():隐藏窗口不出帧,CSS 退出动画的animationend不触发,Radix 等组件的弹窗关不掉、旧浮层一直留在 DOM。已卡住时W.webContents.reload()清状态。 - Radix 下拉用
focus()+ 空格打开:脚本里el.click()或合成MouseEvent打不开 Radix 下拉;main-setup.js已开Emulation.setFocusEmulationEnabled(否则不可聚焦窗口里的菜单刚开就因失焦关闭)。仍打不开就查disabled、elementFromPoint命中,再用focus()+key(' '),实测比鼠标稳;子菜单项点role=menuitem本身。 - 焦点模拟:不可聚焦窗口要开 focus emulation,否则菜单秒关——这是后台 Electron 操作最容易翻车的点。
- 主进程请求看不到,去读 asar 源码:
NET只看得到渲染进程请求,主进程的fetch不在其中。业务接口和触发条件直接解包源码看:npx -y @electron/asar extract <App>.app/Contents/Resources/app.asar <目录>,搜ipcMain.handle、/api/和界面文案。页面上window.electronAPI.*(preload 暴露的 IPC)常可直接读状态做独立回读。 - 剪贴板与 LaunchAgents 副作用:应用的「分享 / 复制链接」会写系统剪贴板;定时任务类功能可能写
~/Library/LaunchAgents/*.plist。做完核实并撤销不需要的注册(停用任务、launchctl list回读)。 - 同账号双开的额度与工作目录共享:定时任务可能重复执行、额度共用;应用若有固定工作目录(如
~/Documents/<App> Workspace)会被两实例共享。隔离实例里建的本地数据只在该 profile,用户实例看不到。结束用主进程app.quit()正常退出,核实无残留进程。
cua-driver MCP
对非 Electron 的原生应用,或要操作用户正在用的同一个窗口时,用 cua-driver:辅助功能后台投递,不移动光标、不抢焦点。
- 不依赖大模型:
cua-driver本身不调用任何模型,由调用它的 agent 决定动作;也可以用cua-driver call <tool> '<json>'写无模型脚本。MIT 协议。 - 安装:
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)",装/Applications/CuaDriver.app并链接~/.local/bin/cua-driver。raw.githubusercontent.com不通时先下载脚本再走代理执行。 - 授权:
cua-driver permissions grant弹出辅助功能与屏幕录制授权,必须你本人在系统设置里允许;超时后再跑一次核验,cua-driver permissions status查看。未授权时工具返回permissions_pending。 - 接入:
cua-driver mcp-config --client claude|codex|...打印注册命令,同时往客户端 skills 目录装官方 skill 包(--no-skills跳过)。Claude Code 手动注册:claude mcp add-json --scope user cua-driver '{"command":"<绝对路径>/cua-driver","args":["mcp"]}';多实例客户端要在各自CLAUDE_CONFIG_DIR下分别注册。 - 遥测默认开启:装完执行
cua-driver telemetry disable关掉。 - 读状态:用
get_window_state(控件树 + 截图)、get_desktop_state,没有单独的 screenshot 工具。 - 能力矩阵:macOS Electron 后台可用左/右/双击、输入、按键、热键、子窗口;拖拽要应用 inspector 开着;后台滚动返回
background_unavailable,改用键盘翻页或切前台。 cua-perception扩展是 AGPL,按需单独安装。
双开:同一个软件开两份、登录两个账号
Electron / Chromium 内核的软件(判断:<App>.app/Contents/Frameworks/ 下有 Electron Framework.framework)把登录态和数据都放在一个 userData 目录里,单实例锁也按这个目录算。换一个目录启动,就是一个完全独立的第二份:
open -n -a /Applications/<App>.app --args --user-data-dir="$HOME/Library/Application Support/<app>-2"
-n必须带,否则open -a只会切到已经开着的那个。- 空目录启动是全新未登录状态,登录另一个账号即可;数据目录放
~/Library/Application Support/下长期保留。 - 想在「应用程序」里直接点开:用
scripts/dual-open/make-launcher.sh <源 .app>生成一个<名称>2.app启动器,图标沿用原应用。它会先检查副本是否已经在运行,在运行就切到前台,不会对同一个数据目录再开一个进程。终端 alias 直接指向这个启动器:alias app2='open -a /Applications/<名称>2.app'。 - 不想让副本占 Dock 位置:生成时加
DUAL_HIDE_DOCK=1。启动器会临时开一个只监听本机的调试端口,藏掉 Dock 图标后马上关闭端口。启动瞬间图标会闪一下,之后副本不出现在 Dock 和 Cmd+Tab 里,要靠再点一次启动器切回。 - 给自己日常用的双开不要加
--inspect,那个端口本机任何进程都能连上执行代码。 - 原生应用(如微信、QQ Mac 版)不认这个参数;也有个别 Electron 应用写死了单实例,需要逐个实测。
应用自己覆盖数据目录:要复制整包,改身份
有的 Electron 应用在启动时把 userData 改回自己的固定路径,或者数据和登录态都按 $HOME 拼(如 ~/.<app>、~/Library/Application Support/<厂商>/…/auth)。这类应用用上面的 --user-data-dir 或 make-launcher.sh 都得不到第二份:--user-data-dir 被应用覆盖,启动器生成的只是「同一个 App 的第二个窗口」——lsappinfo list 里子进程仍挂在原 bundle id 和原 bundle 路径下,Dock 和 Cmd+Tab 只有一个条目,退出还会连坐。
要两个真正独立的 App,用 scripts/dual-open/clone-app.sh <源 .app> [编号=2] 复制整包并改身份(WorkBuddy 国内版 2026-11-08 实测)。它做这几件事:
cp -cR克隆整包(APFS clonefile,不占额外空间)。- 改副本
Info.plist的 bundle id、名称和可执行文件名。 - 同时改所有 helper:
Contents/Frameworks/<App> Helper*.app的目录名、可执行文件名和 plist 一起换成<App>2 Helper…。helper 名取自CFBundleName,漏改会FATAL ... electron_main_delegate_mac.mm:67 Unable to find helper app。 - 新可执行文件是包装脚本:先把
HOME换成~/Library/Application Support/<app>-2/home,再启动原二进制。数据按$HOME拼的应用只有这样才真隔离;只写Info.plist的LSEnvironment时HOME不生效。 - ad-hoc 重签并
lsregister -f,之后open -a /Applications/<App>2.app即可。
要开第三个、第四个,编号递增即可,每份各有一个 HOME。
源应用升级后、或想给旧副本加上下面的 ego 绑定,用 DUAL_REPLACE=1 重建:副本得先退出,包会被替换,HOME 里的数据和登录态都保留。
副本要网页登录:绑定一个 ego profile
很多应用点「登录」会在系统默认浏览器打开授权页。默认浏览器里已经登着第一个账号,一点授权,副本就被登成同一个账号。生成副本时加 DUAL_EGO_PROFILE="Profile 1",副本打开的网页会进入 ego lite 的这个 profile,新建一个 <App>2 web <时间> 空间并交给你操作。原理是启动时临时开本机调试端口,把主进程的 shell.openExternal 改掉,然后马上关掉端口。
- 同名空间再带
profileId会报错,所以每次点登录都新建一个空间。 - 失败时不会退回默认浏览器(那样会登错账号),错误写在副本 HOME 下的
ego-external.log。 - 应用如果自己调
open命令开网页,这个办法拦不到。 - 怎么确认生效:副本启动后几秒内,那个临时调试端口就该消失(
lsof -nP -a -p <pid> -iTCP -sTCP:LISTEN)。端口一直开着,说明钩子没装上,比如应用主模块还没加载完。脚本会自动重试,但还是值得看一眼。
验收看 lsappinfo:两条进程的 bundle id 不同、各自有 Dock 图标、各自独立退出。代价:新 HOME 的 Documents 是空的,产物不落在原工作区;Keychain 里的加密主密钥全机共用;副本自带自动更新,源应用升级后用 DUAL_REPLACE=1 重建副本。
坑:启动瞬间弹窗抢前台
先正常启动再调 stealth() 会留一个空档:窗口创建到隐身之间大约 10 秒,窗口照常弹出并抢走焦点。试过用 NODE_OPTIONS="--require <预加载脚本>" 提前注入,打包后的 Electron 应用会直接忽略(日志 Most NODE_OPTIONs are not supported in packaged apps)。目前没有验证过的无闪现启动办法,启动前要先让用户知道会闪一下,并在启动后把前台还给原来的应用。
坑:同一个数据目录不能开两个进程
两个进程同时用同一个 --user-data-dir,IndexedDB 会加锁失败,应用显示「本地数据或登录状态未能及时恢复」,这份目录的数据就坏了。启动前先确认没有进程在用这个目录;实例自己退出了,先查原因再决定要不要重启。另外,从 Dock 或菜单栏退出应用,可能把同一个应用的所有实例一起关掉。
让任意软件启动时不显示在程序坞
程序坞图标由进程的「激活策略」决定,macOS 不允许外部进程直接改别的进程的这个策略,所以没有一招通吃的办法:
- Electron 应用:用双开启动器的
DUAL_HIDE_DOCK=1,启动后在进程内切到不显示 Dock 的模式,并拦住应用自己把图标调回来的逻辑。启动瞬间会闪一下。 - 其他应用:复制一份
.app,在副本的Info.plist里加LSUIElement=true再本机重签,从启动起就不进程序坞。代价是原开发者签名没了:钥匙串里存的密码可能读不到,沙盒或 App Store 应用可能起不来,自动更新会失败或把副本改回原样;应用如果自己会把图标调回来,这条路也无效。 - 不要直接改
/Applications里的原应用,也不要用注入动态库的办法,后者会被系统安全机制拦截。
每个新应用第一次用都要实测:启动后用 lsappinfo 确认它是 UIElement,观察 20 秒左右确认图标没有自己回来。
DBX 数据库客户端(2026-11-07 并入)
DBX 不是"操作系统软件",但它的操作方式——MCP 优先、桌面端后台驱动、写回 reference——和 soft-ops 的纪律完全一致,所以并入这里,不再单独占一个 skill(原 dev-workflow/dbx 已删)。原 dbx 的触发词(DBX、数据库连接、DBX 驱动管理、DBX MCP)已加进 soft-ops 的 description,说这些词照样自动触发。
- 默认走 MCP:
dbx_list_connections→dbx_list_tables/dbx_describe_table→dbx_execute_query;需要在一个会话里连续USE、建临时表、开事务时先dbx_open_session,完事dbx_close_session。宿主没有mcp__dbx__*工具时用scripts/dbx/dbx-mcp.mjs,密码只走--password-stdin。 - MCP 不适用或你要看界面才操作桌面端;静默任务不置前、不模拟键盘、不用固定坐标。
- 写入前先停在预览:
INSERT/UPDATE/DELETE、DDL、导入、传输、删除连接,都先说清目标、SQL、筛选条件和影响范围;生产连接用只读账号 + DBX Read-only + Production protection。 dbx.db不是业务库:它是 DBX 自己的 SQLite 配置库,connections表只有id+config_json,密码在connection_secrets。只读来诊断,不当业务库改。
两个容易踩的点:
- MCP 报
DATA_MIGRATION_REQUIRED:不是脚本坏了,是 DBX 有一项数据安全升级没做。先去设置 → MCP看「MCP Server」状态——未安装就先点安装(装@dbx-app/mcp-server);装完仍报这个错,说明是凭据存储迁移,得你本人打开桌面端走升级流程,不要改data_migrations表绕过,写错会丢连接密码。桌面端本身不受影响,加连接、测试、查数据都正常。 - 填端口会被追加而不是替换:桌面端新建连接时直接往端口框
type_text,会得到33063307。先点进框、cmd+a或End+cmd+Delete清空再输入,或在run_steps里连起来做。

留言板
0 条留言对话,从你开始
还没有留言。分享一个想法,或只是打声招呼。