macOS 场景感知探针:拉模型零轮询的 look 工具,读取最前非自身窗口(应用信息、AX 标题/选中文本、按需本地 OCR),支持召唤热键按下瞬间抓取快照注入对话。
安装
# npm 包(预构建)
dsh plugin --profile web add dsh-look
# GitHub 源码(首次需按提示配置 allowBuilds 构建授权后重试)
dsh plugin --profile web add github:mengxiaoxian/lookover#path:/dsh-look
装任何插件都等于在你的机器上跑第三方代码,权限和你本人一样大——能读你的文件、用你的凭据、访问网络,工具审批管不到它。GitHub 来源的插件还会在安装时执行构建脚本——pnpm 默认拦截,所以安装可能停在 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 或 ERR_PNPM_IGNORED_BUILDS;dsh 会打印出需要添加的确切键名,把它加进该 profile 的 pnpm-workspace.yaml 的 allowBuilds 下,重跑一次即可装上。放行构建本身就是一次信任判断:请只安装可信来源,并尽量锁定 commit(github:owner/repo#sha)。
README
遇到“这个页面、这段文字、这个报错”,按需读取当前窗口上下文,减少复制粘贴。
属于 lookover 桌面助手组合:搭配 dsh-bubble 在工作页面旁提问,再用 dsh-expmem 保存值得复用的经验。Look 也能单独在 DSH 主窗口使用。
如何用
把目标页面放到最前、选中文字,向 Agent 说:
请用 look 读取浏览器里的选中文字,解释这一段。
文字无法通过辅助功能读取且你愿意读取画面时,可以说:
请用 look 的 OCR 看一下当前报错窗口,先说清楚读到了什么,再帮我排查。
模型根据问题调用 look;多窗口选错时可指定应用或窗口名,如 look({pick:"浏览器"})。OCR 通过 look({ocr:true}) 按需启用。本插件只读上下文,不负责点击、输入或编辑其他应用。
读得到什么
| 权限 | 内容 | 边界 |
|---|---|---|
| 无额外权限 | 应用名、窗口位置大小等基本信息 | 不能声称看到页面正文 |
| 辅助功能 | 应用暴露的标题、文档地址、选中文字、焦点文本 | 部分应用不暴露内容,失焦可能丢选区 |
| 屏幕录制且请求 OCR | 当前窗口截图、本地 macOS Vision 文字识别 | 可能截图失败或识别错误 |
读取结果提供给当前 Agent;本地 OCR 不等于所有上下文永不离开本机。云端模型会收到提供给它的文本。视觉问题如需读图,还需宿主和模型支持相应能力。
不持续监视。每次读取在 ~/.dsh/look/log.jsonl 留痕,可能包含所读文本;临时截图 10 分钟过期,按后续调用清理,不是后台定时清理。
安装
0.1.1 面向 macOS arm64、官方 DeepSeek Harness 0.2.0-rc.2。关闭 DSH 后安装,再打开:
dsh plugin --profile desktop add https://github.com/mengxiaoxian/lookover/releases/download/lookover-2026.10.12/dsh-look-0.1.1.tgz
无 dsh 命令时见官方内置 CLI 用法。
当前边界
- 自动排除官方 DSH 与气泡窗口;其他桌面壳未在本轮验收。
- 官方版通过 Agent 调用
look;旧壳的 ⌥⌘Z/新会话热键和按键快照尚未迁移。 - 选区读取取决于应用和权限;首次体验建议明确请求
look,信息不足时粘贴文本。 - 本版不发布工作区里的
operate草稿,不附带其他应用的操作能力。 - 官方工具注册及 schema(数据格式)校验已有验证;不等于各种应用的正文、选区、OCR 端到端验收。
lib/index.js 注册工具与提示,native/look.swift 读取窗口,包内附 arm64 helper。源码构建用 npm run build:native,需要 Swift 编译工具。插件不自动授予系统权限。
链接
同类插件
liustack/modlens★ 4725
为纯文本模型架起视觉桥梁:粘贴图片,输出结构化 JSON 证据(OCR、版面、语义)。
ysr666/dsh-vision-router★ 1211
为纯文本 Agent 提供视觉能力:内置免 Key 视觉链 + 像素级视觉工具(看图问答、定位、裁剪、像素对比、取色、OCR、矢量化、抠图、截图);粘贴图片即可用。
Anionex/dsh-vision-toolkit★ 922
让纯文本模型处理视觉任务:粘贴图片后自动切换到 Vision Toolkit 变体,支持图片问答、多图比较、长截图 OCR、截图还原前端 UI、元素定位与像素对比。默认无需 API Key——图片经作者自建的免费服务处理,每台机器每天 100 张;也可改为指向自己的服务商。
SAOS-3624/dsh-video-storyboard★ 384
把视频(本地文件,或 B 站 / yt-dlp 链接)压成一张可寻址的宫格图:每格烧编号、对应精确时间、挂台词,底部还有同时间轴的音频包络;video_zoom 可对任意窗口高清重看——纯文本模型因此能「看」视频,而不是读别人写的摘要。
dickpy/dsh-imagegen★ 167
面向 DSH Web GUI 的 AI 生图插件:通过可配置的 OpenAI 兼容端点(gpt-image-2 / gpt-image-1 / dall-e-3)实现文生图与图生图,提供 api_url/api_key 设置卡片与侧边栏分栏生图工作台。
fandc520/dsh-comfyui★ 159
让 DeepSeek Harness 的 Agent 直接驱动本地或远程 ComfyUI:comfyui_run / comfyui_object_info / comfyui_workflow 工具生成与编辑图像、视频,附带工作流库(图工作流提取:按分量 / 主流程 / 整体)、加载区分辨率自动匹配、实时队列、SDXL 与 Wan 2.1 模板、配套 skill 与同源媒体代理。
社区评论
评论公开保存在 GitHub Discussions。加载评论会连接 GitHub 和 Giscus;发表内容需要 GitHub 账号。