给模型操作 Windows 桌面的六个工具:列窗口并给出物理像素矩形、激活窗口、截窗口/区域/整屏、按物理像素点击、剪贴板粘贴中文、发送组合键。纯 PowerShell 零依赖,per-monitor v2 DPI 感知,坐标一律物理像素。
安装
# npm 包(预构建)
dsh plugin --profile web add dsh-win-gui
# GitHub 源码(首次需按提示配置 allowBuilds 构建授权后重试)
dsh plugin --profile web add github:alotherss/DeepSeekHarness-plugin#path:/packages/dsh-win-gui
装任何插件都等于在你的机器上跑第三方代码,权限和你本人一样大——能读你的文件、用你的凭据、访问网络,工具审批管不到它。GitHub 来源的插件还会在安装时执行构建脚本——pnpm 默认拦截,所以安装可能停在 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 或 ERR_PNPM_IGNORED_BUILDS;dsh 会打印出需要添加的确切键名,把它加进该 profile 的 pnpm-workspace.yaml 的 allowBuilds 下,重跑一次即可装上。放行构建本身就是一次信任判断:请只安装可信来源,并尽量锁定 commit(github:owner/repo#sha)。
README
给模型操作 Windows 桌面 GUI 的工具:截图 → 看 → 点击 → 再看一眼。
六个工具:win_gui_windows(窗口清单 + 物理像素坐标)、win_gui_focus(激活窗口)、
win_gui_shot(截窗口/区域/单屏/整屏)、win_gui_click(按物理像素点击)、
win_gui_type(剪贴板粘贴,中文没问题)、win_gui_key(ctrl+s 这类组合键)。
适合那些既没有 CLI、也没有可访问性接口的软件:老式 MFC 工具、厂商上位机、 只有图形界面的烧录软件。有 CLI 就用 CLI——这不是首选方案。
工具
| 工具 | 作用 |
|---|---|
win_gui_windows |
列出有标题的窗口:标题、进程、pid、物理像素矩形;同时给显示器与虚拟桌面 |
win_gui_focus |
SW_RESTORE + 置前,返回窗口矩形。type/key 之前必须先调用 |
win_gui_shot |
截窗口(默认)/ region / monitor / all;可 max_width 降采样 |
win_gui_click |
绝对物理像素点击,支持右键、双击、点击后等待 |
win_gui_type |
剪贴板 + Ctrl+V 输入,支持任意 Unicode;默认还原原剪贴板 |
win_gui_key |
发送组合键:enter / esc / tab / f5 / ctrl+s / alt+f4 |
坐标模型(这是最容易错的地方)
- 助手进程启动时就把自己设成 per-monitor v2 DPI aware,所以它看到、报告、接受的所有 坐标都是物理像素,不会被系统缩放二次变换。
- 窗口矩形用的是 DWM extended frame bounds,不是
GetWindowRect。后者在 Win10/11 上 会连带那条看不见的缩放边框(约 7–8px),截出来的图会比窗口大一圈,点击就会系统性偏移。 - 点击坐标 = 截图原点的
left/top+ 图内像素偏移。 - 截图默认降到
max_width: 1600:一张 4K 窗口截图大约 5k token,1600px 宽度大约 1.6k, 文字仍然看得清。降采样后结果里会给出scale与原始尺寸,换算关系是left + round(图内x * scale)、top + round(图内y * scale)。
典型闭环
win_gui_windows --filter 烧录 找到标题与矩形
win_gui_focus --window "烧录工具 v2.1" 激活
win_gui_shot --window "烧录工具 v2.1" 看一眼,图进上下文
win_gui_click --x 1373 --y 1132 点图上量出来的坐标
win_gui_shot --window "烧录工具 v2.1" 核对结果,不对就再点
安装
在 DSH 应用里:插件 → 插件市场,搜 dsh-win-gui。
命令行:
dsh plugin --profile web add dsh-win-gui
环境要求
- Windows(其他平台会明确报错,不会假装能用)。
- PowerShell 7(
pwsh)或 Windows PowerShell 5.1(powershell)。默认按这个顺序找; 要用别的那份,设DSH_WIN_GUI_POWERSHELL为它的完整路径。 - 必须是有交互桌面的会话:截图用的是屏幕拷贝(
CopyFromScreen), 服务化 / 无桌面会话下拿不到画面。 - 零依赖:纯 PowerShell + .NET / user32,不装任何包、不下载 Chromium。
注意事项
type/key不会自己激活窗口:先win_gui_focus,否则按键进的是当前前台程序。- 截窗口默认会先激活它(这样不会被压在上面的窗口挡住);不想要这个副作用就传
activate: false,对应脚本的--no-activate。 - 窗口被遮挡时截到的是遮挡它的画面——这就是默认先激活的原因。
- 每张截图都进上下文:优先截单个窗口,其次截
region,all最贵。 - 多显示器坐标是虚拟桌面绝对坐标,副屏在左侧时为负 X。
- 窗口移动、缩放、切分辨率之后,旧坐标全部失效,重新
win_gui_windows或win_gui_shot。
隐私与风险
截图里可能包含屏幕上的任何内容(all 更是所有屏)。这些图只进入当前会话的上下文和
本机临时目录,插件本身不联网、不上传。点击和输入是真实作用在你桌面上的:
建议先只截一张确认目标,再动手。
已知限制
- 纯屏幕坐标:没有 UI 自动化树,也没有模板匹配或 OCR——识别由模型看图完成。
- 不等待 UI 稳定:点完立即截图可能拍到中间态,需要时用
wait_ms。 - 输入走
SendKeys/mouse_event,个别以原始输入读取的游戏与反作弊程序会忽略它们。
许可
MIT
链接
同类插件
Tencent/WeKnora#dsh-weknora★ 37546
把 WeKnora 知识库接入 dsh 的四个只读工具:列出知识库、混合检索原文片段、按顺序还原单篇文档,以及直接取用 WeKnora 自己带引用的 RAG 或 ReAct agent 回答(含可续聊的 session id)。
DayuanJiang/next-ai-draw-io#dsh-plugin★ 36997
dsh 的 draw.io 绘图插件:通过 next-ai-drawio MCP 服务器作图,点回复里的链接在右侧栏打开实时预览,可以手动修改图,AI 的每次修改都是可以恢复的版本。需 Node.js 18+,首次使用由 npx 下载 MCP 服务器。
superdesigndev/treg★ 8164
给 Agent 的工具目录:按「要做的事」检索约 2,600 个外部接口(SEO 与 SERP、外链、社交、人物与公司信息补全、广告库、抓取),查看参数与单次调用价格后直接调用,凭据由服务端注入。附带技能,MCP 行在未设置 TREG_TOKEN 前保持禁用。
T-Auto/dsh-ops★ 5864
为 Windows 的 DSH 提供 bash、PowerShell 7 及 Rust 高性能工具,减少 token 消耗。
sixtysevenlf/dsh-blender-plugin★ 2147
让 DSH agent 通过直连 TCP 通道驱动本地 Blender,提供 15 个工具:视口帧、自定义视角渲染、Python 执行、无头与作业卸载、事务回滚,以及 34 个 family / 228 个 op 的规划层。
helloHub1212/dsh-windows-mcp★ 1456
通过官方 MCP 客户端桥接层把 CursorTouch/Windows-MCP 桌面自动化服务器接入 DSH,把截屏、UI 树快照、鼠标键盘输入、剪贴板、进程与注册表等工具注册成 mcp__windows__* 供模型调用,并附带 windows_mcp_doctor 诊断工具;Computer Use 默认关闭,需在插件面板里打开。
社区评论
评论公开保存在 GitHub Discussions。加载评论会连接 GitHub 和 Giscus;发表内容需要 GitHub 账号。