DeepSeek Harness 插件

alotherss/DeepSeekHarness-plugin#dsh-win-gui

Star 数 ★ 0 下载量(近 30 天) 316 分类 工具与能力 收录于 2026-11-16 npm dsh-win-gui

给模型操作 Windows 桌面的六个工具:列窗口并给出物理像素矩形、激活窗口、截窗口/区域/整屏、按物理像素点击、剪贴板粘贴中文、发送组合键。纯 PowerShell 零依赖,per-monitor v2 DPI 感知,坐标一律物理像素。

安装

# npm 包(预构建)

dsh plugin --profile web add dsh-win-gui

# GitHub 源码(首次需按提示配置 allowBuilds 构建授权后重试)

dsh plugin --profile web add github:alotherss/DeepSeekHarness-plugin#path:/packages/dsh-win-gui

装任何插件都等于在你的机器上跑第三方代码,权限和你本人一样大——能读你的文件、用你的凭据、访问网络,工具审批管不到它。GitHub 来源的插件还会在安装时执行构建脚本——pnpm 默认拦截,所以安装可能停在 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 或 ERR_PNPM_IGNORED_BUILDS;dsh 会打印出需要添加的确切键名,把它加进该 profile 的 pnpm-workspace.yaml 的 allowBuilds 下,重跑一次即可装上。放行构建本身就是一次信任判断:请只安装可信来源,并尽量锁定 commit(github:owner/repo#sha)。

README

给模型操作 Windows 桌面 GUI 的工具:截图 → 看 → 点击 → 再看一眼。

六个工具:win_gui_windows(窗口清单 + 物理像素坐标)、win_gui_focus(激活窗口)、 win_gui_shot(截窗口/区域/单屏/整屏)、win_gui_click(按物理像素点击)、 win_gui_type(剪贴板粘贴,中文没问题)、win_gui_key(ctrl+s 这类组合键)。

适合那些既没有 CLI、也没有可访问性接口的软件:老式 MFC 工具、厂商上位机、 只有图形界面的烧录软件。有 CLI 就用 CLI——这不是首选方案。

工具

工具 作用
win_gui_windows 列出有标题的窗口:标题、进程、pid、物理像素矩形;同时给显示器与虚拟桌面
win_gui_focus SW_RESTORE + 置前,返回窗口矩形。type/key 之前必须先调用
win_gui_shot 截窗口(默认)/ region / monitor / all;可 max_width 降采样
win_gui_click 绝对物理像素点击,支持右键、双击、点击后等待
win_gui_type 剪贴板 + Ctrl+V 输入,支持任意 Unicode;默认还原原剪贴板
win_gui_key 发送组合键:enter / esc / tab / f5 / ctrl+s / alt+f4

坐标模型(这是最容易错的地方)

  • 助手进程启动时就把自己设成 per-monitor v2 DPI aware,所以它看到、报告、接受的所有 坐标都是物理像素,不会被系统缩放二次变换。
  • 窗口矩形用的是 DWM extended frame bounds,不是 GetWindowRect。后者在 Win10/11 上 会连带那条看不见的缩放边框(约 7–8px),截出来的图会比窗口大一圈,点击就会系统性偏移。
  • 点击坐标 = 截图原点的 left/top + 图内像素偏移。
  • 截图默认降到 max_width: 1600:一张 4K 窗口截图大约 5k token,1600px 宽度大约 1.6k, 文字仍然看得清。降采样后结果里会给出 scale 与原始尺寸,换算关系是 left + round(图内x * scale)、top + round(图内y * scale)。

典型闭环

win_gui_windows  --filter 烧录          找到标题与矩形
win_gui_focus    --window "烧录工具 v2.1"  激活
win_gui_shot     --window "烧录工具 v2.1"  看一眼,图进上下文
win_gui_click    --x 1373 --y 1132       点图上量出来的坐标
win_gui_shot     --window "烧录工具 v2.1"  核对结果,不对就再点

安装

在 DSH 应用里:插件 → 插件市场,搜 dsh-win-gui。

命令行:

dsh plugin --profile web add dsh-win-gui

环境要求

  • Windows(其他平台会明确报错,不会假装能用)。
  • PowerShell 7(pwsh)或 Windows PowerShell 5.1(powershell)。默认按这个顺序找; 要用别的那份,设 DSH_WIN_GUI_POWERSHELL 为它的完整路径。
  • 必须是有交互桌面的会话:截图用的是屏幕拷贝(CopyFromScreen), 服务化 / 无桌面会话下拿不到画面。
  • 零依赖:纯 PowerShell + .NET / user32,不装任何包、不下载 Chromium。

注意事项

  • type / key 不会自己激活窗口:先 win_gui_focus,否则按键进的是当前前台程序。
  • 截窗口默认会先激活它(这样不会被压在上面的窗口挡住);不想要这个副作用就传 activate: false,对应脚本的 --no-activate。
  • 窗口被遮挡时截到的是遮挡它的画面——这就是默认先激活的原因。
  • 每张截图都进上下文:优先截单个窗口,其次截 region,all 最贵。
  • 多显示器坐标是虚拟桌面绝对坐标,副屏在左侧时为负 X。
  • 窗口移动、缩放、切分辨率之后,旧坐标全部失效,重新 win_gui_windows 或 win_gui_shot。

隐私与风险

截图里可能包含屏幕上的任何内容(all 更是所有屏)。这些图只进入当前会话的上下文和 本机临时目录,插件本身不联网、不上传。点击和输入是真实作用在你桌面上的: 建议先只截一张确认目标,再动手。

已知限制

  • 纯屏幕坐标:没有 UI 自动化树,也没有模板匹配或 OCR——识别由模型看图完成。
  • 不等待 UI 稳定:点完立即截图可能拍到中间态,需要时用 wait_ms。
  • 输入走 SendKeys / mouse_event,个别以原始输入读取的游戏与反作弊程序会忽略它们。

许可

MIT

内容来自项目 README(GitHub)↗

链接

同类插件

查看整个分类 →

社区评论

评论公开保存在 GitHub Discussions。加载评论会连接 GitHub 和 Giscus;发表内容需要 GitHub 账号。