◆

soft-ops:桌面软件操作与后台 GUI

2026-11-05 04:000

定位

网页平台的操作归 web-ops,桌面上那些零散的软件活儿——装软件、迁移设置、替换插件、修本地配置、驱动原生窗口——归 soft-ops。它的核心诉求有两个:把桌面软件任务做完,以及让 AI 在后台操作客户端时不抢你的鼠标和焦点。

模型自动触发:说「迁移 IDEA 设置」「把软件配好」「操作某个客户端」「后台点几下这个 App」都会走它。

执行原则:备份 → 改 → 回读

桌面配置的坑在于「相似界面不代表配置、插件 ABI 或动作 ID 兼容」,所以 skill 把顺序固定成一套纪律:

  1. 先读记录核实:安装版本、运行进程、真实配置路径、用户当前选中的配置,一项都不能凭印象。
  2. 优先原生手段:软件自带的 CLI、受支持的配置格式、导入转换器、系统自动化,都排在开浏览器之前。
  3. 备份再改:备份和测试产物放工作目录;密码库、token、证书、私钥不进 skill 也不进 git。进程还占着的 SQLite / localStorage 必须先正常退出软件再改。
  4. 写后回读:文件存在、解析通过、命令返回 0 都不算数——重启后在真实设置页核对,才算生效。

后台 GUI:三条路线对比

用户既要 AI 操作桌面软件、又不想被抢鼠标焦点时,按隔离程度从强到弱选:

路线隔离适用代价
macOS 虚拟机(lume、tart)整机隔离任意软件、要求零干扰十几 GB 镜像、8GB+ 内存、虚拟机内重新登录
Electron 独立实例 + --inspect进程与 profile 隔离、窗口隐藏--inspect fuse 未关的 Electron 应用只对 Electron;DOM 选择器随改版失效
cua-driver MCP同一桌面,后台投递任意原生应用、需操作用户正在用的窗口需授予辅助功能和屏幕录制;用户能看到窗口变化

能用业务 API 或 CLI 就直接调,不碰界面;只有真的没有接口时才上这三条。

Electron 独立实例用法

这是对 Electron 应用最干净的路线:另开一个 profile 的第二实例,经 Node inspector 隐藏窗口并脚本操作,和你的用户实例完全分开。

判断能不能用

先读 fuse 开关。在 Electron Framework 二进制里找哨兵 dL7pKGdnNz796PbbjQWNKmHXBZaB9tsX,其后 1 字节版本、1 字节长度、再是每个 fuse 一字节(0x31 开、0x30 关)。第 4 个 fuse(EnableNodeCliInspectArguments)开着,--inspect 才可用。生产包常在主进程删掉 --remote-debugging-port,别只看到端口不通就放弃——看启动日志确认。

启动第二实例

<App>.app/Contents/MacOS/<App> --inspect=<port> --user-data-dir=<独立目录>

不同 user-data-dir 不抢单例锁。要复用登录态,直接 rsync 用户的 userData 目录到独立目录,排除 *Cache、Singleton*、日志和大运行时目录(登录态是快照,用户重新登录后要重拷)。

用 insp.mjs 操作

脚本在 skill 的 scripts/electron-inspect/ 下,每次调用自动注入 main-setup.js 与 helpers.js,提供 W、run()、stealth()、tap()、tapSel()、type()、key()、NET。

两种调用方式:

# 主进程表达式
ELECTRON_INSPECT_PORT=<port> node insp.mjs '<主进程 JS 表达式>'

# 渲染进程表达式
ELECTRON_INSPECT_PORT=<port> node insp.mjs -r '<渲染进程 JS 表达式>'

有 HTTP 代理时要加 NO_PROXY='*',否则本地回环的 fetch 会走代理失败。窗口还没建时报 no BrowserWindow yet,等几秒重试。

常用操作:

  • stealth():透明、鼠标穿透、不可聚焦、showInactive,并关后台节流。
  • tap(文本) / tapSel(选择器):走 CDP 可信点击,只进渲染进程,不动系统光标。
  • type(字符串):Input.insertText,React 受控输入能收到。
  • key(键):发按键,Enter / Escape / Tab / Backspace / ' ' 有映射。
  • NET:抓渲染进程的请求,只记 method、path、query/body 字段名、status。

踩坑

  • 别用 hide(),用 stealth():隐藏窗口不出帧,CSS 退出动画的 animationend 不触发,Radix 等组件的弹窗关不掉、旧浮层一直留在 DOM。已卡住时 W.webContents.reload() 清状态。
  • Radix 下拉用 focus() + 空格打开:脚本里 el.click() 或合成 MouseEvent 打不开 Radix 下拉;main-setup.js 已开 Emulation.setFocusEmulationEnabled(否则不可聚焦窗口里的菜单刚开就因失焦关闭)。仍打不开就查 disabled、elementFromPoint 命中,再用 focus() + key(' '),实测比鼠标稳;子菜单项点 role=menuitem 本身。
  • 焦点模拟:不可聚焦窗口要开 focus emulation,否则菜单秒关——这是后台 Electron 操作最容易翻车的点。
  • 主进程请求看不到,去读 asar 源码:NET 只看得到渲染进程请求,主进程的 fetch 不在其中。业务接口和触发条件直接解包源码看:npx -y @electron/asar extract <App>.app/Contents/Resources/app.asar <目录>,搜 ipcMain.handle、/api/ 和界面文案。页面上 window.electronAPI.*(preload 暴露的 IPC)常可直接读状态做独立回读。
  • 剪贴板与 LaunchAgents 副作用:应用的「分享 / 复制链接」会写系统剪贴板;定时任务类功能可能写 ~/Library/LaunchAgents/*.plist。做完核实并撤销不需要的注册(停用任务、launchctl list 回读)。
  • 同账号双开的额度与工作目录共享:定时任务可能重复执行、额度共用;应用若有固定工作目录(如 ~/Documents/<App> Workspace)会被两实例共享。隔离实例里建的本地数据只在该 profile,用户实例看不到。结束用主进程 app.quit() 正常退出,核实无残留进程。

cua-driver MCP

对非 Electron 的原生应用,或要操作用户正在用的同一个窗口时,用 cua-driver:辅助功能后台投递,不移动光标、不抢焦点。

  • 不依赖大模型:cua-driver 本身不调用任何模型,由调用它的 agent 决定动作;也可以用 cua-driver call <tool> '<json>' 写无模型脚本。MIT 协议。
  • 安装:/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)",装 /Applications/CuaDriver.app 并链接 ~/.local/bin/cua-driver。raw.githubusercontent.com 不通时先下载脚本再走代理执行。
  • 授权:cua-driver permissions grant 弹出辅助功能与屏幕录制授权,必须你本人在系统设置里允许;超时后再跑一次核验,cua-driver permissions status 查看。未授权时工具返回 permissions_pending。
  • 接入:cua-driver mcp-config --client claude|codex|... 打印注册命令,同时往客户端 skills 目录装官方 skill 包(--no-skills 跳过)。Claude Code 手动注册:claude mcp add-json --scope user cua-driver '{"command":"<绝对路径>/cua-driver","args":["mcp"]}';多实例客户端要在各自 CLAUDE_CONFIG_DIR 下分别注册。
  • 遥测默认开启:装完执行 cua-driver telemetry disable 关掉。
  • 读状态:用 get_window_state(控件树 + 截图)、get_desktop_state,没有单独的 screenshot 工具。
  • 能力矩阵:macOS Electron 后台可用左/右/双击、输入、按键、热键、子窗口;拖拽要应用 inspector 开着;后台滚动返回 background_unavailable,改用键盘翻页或切前台。
  • cua-perception 扩展是 AGPL,按需单独安装。

双开:同一个软件开两份、登录两个账号

Electron / Chromium 内核的软件(判断:<App>.app/Contents/Frameworks/ 下有 Electron Framework.framework)把登录态和数据都放在一个 userData 目录里,单实例锁也按这个目录算。换一个目录启动,就是一个完全独立的第二份:

open -n -a /Applications/<App>.app --args --user-data-dir="$HOME/Library/Application Support/<app>-2"
  • -n 必须带,否则 open -a 只会切到已经开着的那个。
  • 空目录启动是全新未登录状态,登录另一个账号即可;数据目录放 ~/Library/Application Support/ 下长期保留。
  • 想在「应用程序」里直接点开:用 scripts/dual-open/make-launcher.sh <源 .app> 生成一个 <名称>2.app 启动器,图标沿用原应用。它会先检查副本是否已经在运行,在运行就切到前台,不会对同一个数据目录再开一个进程。终端 alias 直接指向这个启动器:alias app2='open -a /Applications/<名称>2.app'。
  • 不想让副本占 Dock 位置:生成时加 DUAL_HIDE_DOCK=1。启动器会临时开一个只监听本机的调试端口,藏掉 Dock 图标后马上关闭端口。启动瞬间图标会闪一下,之后副本不出现在 Dock 和 Cmd+Tab 里,要靠再点一次启动器切回。
  • 给自己日常用的双开不要加 --inspect,那个端口本机任何进程都能连上执行代码。
  • 原生应用(如微信、QQ Mac 版)不认这个参数;也有个别 Electron 应用写死了单实例,需要逐个实测。

应用自己覆盖数据目录:要复制整包,改身份

有的 Electron 应用在启动时把 userData 改回自己的固定路径,或者数据和登录态都按 $HOME 拼(如 ~/.<app>、~/Library/Application Support/<厂商>/…/auth)。这类应用用上面的 --user-data-dir 或 make-launcher.sh 都得不到第二份:--user-data-dir 被应用覆盖,启动器生成的只是「同一个 App 的第二个窗口」——lsappinfo list 里子进程仍挂在原 bundle id 和原 bundle 路径下,Dock 和 Cmd+Tab 只有一个条目,退出还会连坐。

要两个真正独立的 App,用 scripts/dual-open/clone-app.sh <源 .app> [编号=2] 复制整包并改身份(WorkBuddy 国内版 2026-11-08 实测)。它做这几件事:

  1. cp -cR 克隆整包(APFS clonefile,不占额外空间)。
  2. 改副本 Info.plist 的 bundle id、名称和可执行文件名。
  3. 同时改所有 helper:Contents/Frameworks/<App> Helper*.app 的目录名、可执行文件名和 plist 一起换成 <App>2 Helper…。helper 名取自 CFBundleName,漏改会 FATAL ... electron_main_delegate_mac.mm:67 Unable to find helper app。
  4. 新可执行文件是包装脚本:先把 HOME 换成 ~/Library/Application Support/<app>-2/home,再启动原二进制。数据按 $HOME 拼的应用只有这样才真隔离;只写 Info.plist 的 LSEnvironment 时 HOME 不生效。
  5. ad-hoc 重签并 lsregister -f,之后 open -a /Applications/<App>2.app 即可。

要开第三个、第四个,编号递增即可,每份各有一个 HOME。

源应用升级后、或想给旧副本加上下面的 ego 绑定,用 DUAL_REPLACE=1 重建:副本得先退出,包会被替换,HOME 里的数据和登录态都保留。

副本要网页登录:绑定一个 ego profile

很多应用点「登录」会在系统默认浏览器打开授权页。默认浏览器里已经登着第一个账号,一点授权,副本就被登成同一个账号。生成副本时加 DUAL_EGO_PROFILE="Profile 1",副本打开的网页会进入 ego lite 的这个 profile,新建一个 <App>2 web <时间> 空间并交给你操作。原理是启动时临时开本机调试端口,把主进程的 shell.openExternal 改掉,然后马上关掉端口。

  • 同名空间再带 profileId 会报错,所以每次点登录都新建一个空间。
  • 失败时不会退回默认浏览器(那样会登错账号),错误写在副本 HOME 下的 ego-external.log。
  • 应用如果自己调 open 命令开网页,这个办法拦不到。
  • 怎么确认生效:副本启动后几秒内,那个临时调试端口就该消失(lsof -nP -a -p <pid> -iTCP -sTCP:LISTEN)。端口一直开着,说明钩子没装上,比如应用主模块还没加载完。脚本会自动重试,但还是值得看一眼。

验收看 lsappinfo:两条进程的 bundle id 不同、各自有 Dock 图标、各自独立退出。代价:新 HOME 的 Documents 是空的,产物不落在原工作区;Keychain 里的加密主密钥全机共用;副本自带自动更新,源应用升级后用 DUAL_REPLACE=1 重建副本。

坑:启动瞬间弹窗抢前台

先正常启动再调 stealth() 会留一个空档:窗口创建到隐身之间大约 10 秒,窗口照常弹出并抢走焦点。试过用 NODE_OPTIONS="--require <预加载脚本>" 提前注入,打包后的 Electron 应用会直接忽略(日志 Most NODE_OPTIONs are not supported in packaged apps)。目前没有验证过的无闪现启动办法,启动前要先让用户知道会闪一下,并在启动后把前台还给原来的应用。

坑:同一个数据目录不能开两个进程

两个进程同时用同一个 --user-data-dir,IndexedDB 会加锁失败,应用显示「本地数据或登录状态未能及时恢复」,这份目录的数据就坏了。启动前先确认没有进程在用这个目录;实例自己退出了,先查原因再决定要不要重启。另外,从 Dock 或菜单栏退出应用,可能把同一个应用的所有实例一起关掉。

让任意软件启动时不显示在程序坞

程序坞图标由进程的「激活策略」决定,macOS 不允许外部进程直接改别的进程的这个策略,所以没有一招通吃的办法:

  • Electron 应用:用双开启动器的 DUAL_HIDE_DOCK=1,启动后在进程内切到不显示 Dock 的模式,并拦住应用自己把图标调回来的逻辑。启动瞬间会闪一下。
  • 其他应用:复制一份 .app,在副本的 Info.plist 里加 LSUIElement=true 再本机重签,从启动起就不进程序坞。代价是原开发者签名没了:钥匙串里存的密码可能读不到,沙盒或 App Store 应用可能起不来,自动更新会失败或把副本改回原样;应用如果自己会把图标调回来,这条路也无效。
  • 不要直接改 /Applications 里的原应用,也不要用注入动态库的办法,后者会被系统安全机制拦截。

每个新应用第一次用都要实测:启动后用 lsappinfo 确认它是 UIElement,观察 20 秒左右确认图标没有自己回来。

DBX 数据库客户端(2026-11-07 并入)

DBX 不是"操作系统软件",但它的操作方式——MCP 优先、桌面端后台驱动、写回 reference——和 soft-ops 的纪律完全一致,所以并入这里,不再单独占一个 skill(原 dev-workflow/dbx 已删)。原 dbx 的触发词(DBX、数据库连接、DBX 驱动管理、DBX MCP)已加进 soft-ops 的 description,说这些词照样自动触发。

  • 默认走 MCP:dbx_list_connections → dbx_list_tables / dbx_describe_table → dbx_execute_query;需要在一个会话里连续 USE、建临时表、开事务时先 dbx_open_session,完事 dbx_close_session。宿主没有 mcp__dbx__* 工具时用 scripts/dbx/dbx-mcp.mjs,密码只走 --password-stdin。
  • MCP 不适用或你要看界面才操作桌面端;静默任务不置前、不模拟键盘、不用固定坐标。
  • 写入前先停在预览:INSERT/UPDATE/DELETE、DDL、导入、传输、删除连接,都先说清目标、SQL、筛选条件和影响范围;生产连接用只读账号 + DBX Read-only + Production protection。
  • dbx.db 不是业务库:它是 DBX 自己的 SQLite 配置库,connections 表只有 id + config_json,密码在 connection_secrets。只读来诊断,不当业务库改。

两个容易踩的点:

  1. MCP 报 DATA_MIGRATION_REQUIRED:不是脚本坏了,是 DBX 有一项数据安全升级没做。先去 设置 → MCP 看「MCP Server」状态——未安装就先点安装(装 @dbx-app/mcp-server);装完仍报这个错,说明是凭据存储迁移,得你本人打开桌面端走升级流程,不要改 data_migrations 表绕过,写错会丢连接密码。桌面端本身不受影响,加连接、测试、查数据都正常。
  2. 填端口会被追加而不是替换:桌面端新建连接时直接往端口框 type_text,会得到 33063307。先点进框、cmd+a 或 End+cmd+Delete 清空再输入,或在 run_steps 里连起来做。

留言板

0 条留言
Markdown
0 字
对话记录每个声音,都值得被看见

对话,从你开始

还没有留言。分享一个想法,或只是打声招呼。

PAGE LOAD / LIVEsoft-ops:桌面软件操作与后台 GUI加载中