-
为纯文本模型架起视觉桥梁:粘贴图片,输出结构化 JSON 证据(OCR、版面、语义)。
视觉与多模态安装 ▾
-
为纯文本 Agent 提供视觉能力:内置免 Key 视觉链 + 像素级视觉工具(看图问答、定位、裁剪、像素对比、取色、OCR、矢量化、抠图、截图);粘贴图片即可用。
视觉与多模态安装 ▾
-
把视频(本地文件,或 B 站 / yt-dlp 链接)压成一张可寻址的宫格图:每格烧编号、对应精确时间、挂台词,底部还有同时间轴的音频包络;video_zoom 可对任意窗口高清重看——纯文本模型因此能「看」视频,而不是读别人写的摘要。
视觉与多模态安装 ▾
-
让只有文字的智能体「看」实时屏幕或摄像头:每帧按画面变化量打分,只把真正变了的帧拼成一张带编号、带音轨条的宫格图——看视频、看演示、看游戏都行,token 只花在变了的地方。
视觉与多模态安装 ▾
-
让纯文本模型处理视觉任务:粘贴图片后自动切换到 Vision Toolkit 变体,支持图片问答、多图比较、长截图 OCR、截图还原前端 UI、元素定位与像素对比。默认无需 API Key——图片经作者自建的免费服务处理,每台机器每天 100 张;也可改为指向自己的服务商。
视觉与多模态安装 ▾
-
面向 DSH Web GUI 的 AI 生图插件:通过可配置的 OpenAI 兼容端点(gpt-image-2 / gpt-image-1 / dall-e-3)实现文生图与图生图,提供 api_url/api_key 设置卡片与侧边栏分栏生图工作台。
视觉与多模态安装 ▾
-
面向 DSH Web GUI 的 AI 生图与生视频插件:文生图/图生图按渠道配置模型目录,并按模型族适配请求协议(gpt-image、Grok Imagine、Nano Banana、Seedream、GLM-Image、Qwen-Image、MiniMax image-01、DALL-E 3),提供侧边栏生图工作台、带节点工作流的无限画布、文件预览与画布技能,以及提示词模板库;生视频侧含文生视频、图生视频、首尾帧与多参考图模式,走异步提交/轮询/下载链路,另有宿主侧视频工具、画布视频节点,并可用本机 ffmpeg 把两个以上视频节点拼接成一个 MP4。
视觉与多模态安装 ▾
-
让 DeepSeek Harness 的 Agent 直接驱动本地或远程 ComfyUI:comfyui_run / comfyui_object_info / comfyui_workflow 工具生成与编辑图像、视频,附带工作流库(图工作流提取:按分量 / 主流程 / 整体)、加载区分辨率自动匹配、实时队列、SDXL 与 Wan 2.1 模板、配套 skill 与同源媒体代理。
视觉与多模态安装 ▾
-
增强 DSH 原生图片查看体验,支持指针中心缩放、拖动、画廊、下载、键盘操作和图片区域备注。
视觉与多模态安装 ▾
-
让纯文本模型也能处理聊天贴图,提供原生视觉体验,支持批量看图,走内置 OpenAI 兼容识图工具 analyze_image;具备视觉能力的模型不受影响。
视觉与多模态安装 ▾
-
把 gif 和动图 webp 当作动画来读:贴进聊天框的照常播放,模型收到的是横跨整段采样、带帧号与时长的胶片条;工作区里的文件由 read_animation 按需采样。
视觉与多模态安装 ▾
-
DSH 的生图与读图:侧边栏「图像」页面(英文界面显示 Images;按模型分行、10 种比例、1K–4K 尺寸、联系表 + 详情卡 + 放大 + 复用 + 删除),三个预设提供方外加自定义端点(其中一个完全免 Key),另有 vision-review 读图技能。粘进去的 Key 只写进本机 ~/.dsh/secrets/media-tools.env(权限 600),只发给你选的那家服务商。页面文案跟随 DSH 界面语言(中文 / 英文)。需要 Python 3.9+(生图由 scripts/generate.py 执行);该页面需桌面版 DSH 0.2.1+。
视觉与多模态安装 ▾
-
通过 inspect_image 工具将本地图片或 HTTP(S) 图片链接发送至配置的 OpenAI 兼容视觉端点,并将文字结果带回对话。
视觉与多模态安装 ▾
-
多引擎文生图(OpenAI Images 与智谱 CogView 预设):按会话配额、引擎故障切换、凭证安全配置,结果卡片支持重新生成。
视觉与多模态安装 ▾
-
一站式 AI 影视创作工作站,作为 DSH 全局浮层面板运行,不占用对话框:生图(文生图 / 图生图 / 多图合成,1K–4K、8 种宽高比)、生视频(文生视频 / 图生视频,4–12 秒、支持首帧控制)、短剧(导入 .txt/.md/.json 剧本自动拆解分镜,故事板预览与批量生成)与提示词专家工作区。零运行时依赖。
视觉与多模态安装 ▾
-
让智能体看懂本地视频:根据画面运动与停顿自适应抽取关键帧,支持任意时间点全分辨率定点检视;自动从内嵌字幕或配置的语音转写(ASR)中提取台词并与画面时间轴对齐。需预装 ffmpeg 与 ffprobe;无字幕视频要台词另需转写引擎(约 190 MB 本地 whisper 模型、云端 API Key 或官方语音输入模型)。
视觉与多模态安装 ▾
-
给 DeepSeek Harness 的纯文本模型补上免费识图:`vision` 工具直连智谱 GLM 视觉 API 描述/OCR 图片文件(glm-4v-flash 降级链),无需任何外部 CLI。
视觉与多模态安装 ▾
-
按人看片的顺序取样,而不是下载整片:先元数据与章节,再按时间码抽帧看画面、字幕优先转录(平台没有字幕才走本地 ASR)、AudioSet 527 类声音事件标签与高赞评论——21 个工具共用一个磁盘缓存,并带跨进程锁。需要 Python 3.10+、ffmpeg 与 vidlens 包(pip install vidlens-mcp);缺依赖时回给你的是两种修法,而不是一句 ImportError。
视觉与多模态安装 ▾
-
liustack/modlens 的全媒体(视频/音频/图像)延伸:把本地媒体转成结构化证据(时间线/转写/版面区域)注入对话,让纯文本模型能引用具体帧、秒、说话人——Evidence, not imagination。每个媒体一条 failover 链,逐跳记录在 meta.attempts(降级绝不静默):宿主已注册全模态模型优先,其次自配 OpenAI-compatible 端点(逗号分隔多 key 轮换),再落到本地 ffmpeg 抽帧 / 本地 ASR CLI,末位仅元数据降级。吸收 modlens 实战经验——仅 auth/quota 类失败触发冷却且软化垫队尾(不剔除)、错误文本先脱密后截断、magic-byte 校验绝不信任扩展名。可选 vision-bridge 把透镜包装成模型选择器可见的 media-lens 包装 provider,让纯文本主力获得图/音/视频视野。多模态模型的注册/认证与真正的音视频直传依赖两个姊妹插件配合(均声明为 optional peer,未装则能力自动降级、不报错):dsh-thinking-levels 承接模型配置录入/登记面,dsh-llm-openai-completions 做 OpenAI-compatible 传输接管、把 file 块序列化成 video_url / input_audio 真正上送。隐私:媒体缺省会发往远端 provider,开启 strictLocalOnly 则不出本机。不随包分发的安装前提:PATH 上的 ffmpeg/ffprobe(抽帧/重编码/时长探测,缺失时降为仅元数据),以及音频兜底需用户自备本地 ASR CLI。支持宿主 0.1.7 / 0.2.0 / 0.2.1 共 6 个 rc(engines.dsh 精确枚举)。npm 包名:dsh-media-lens。
视觉与多模态安装 ▾
-
侧边栏 AI 创作面板,除生图与生视频外还带画布节点图和短剧模式:画布上用 ffmpeg 抽取上一镜尾帧,作为下一镜首帧自动串联;短剧模式可导入剧本拆解为分镜。生成与轮询都在宿主进程后台执行,刷新页面或关闭面板都不中断,结果与最多 80 条历史保存在本机。
视觉与多模态安装 ▾
-
DSH 版 Codex Appshots:全局快捷键精准捕获当前工作窗口,零摩擦挂载至 Composer 作为上下文向 Agent 提问。
视觉与多模态安装 ▾
-
在设置中配置多个生图供应商,对话通过 image_generate 调用当前选中的模型;图片保存到工作区 generate/image,并在对话中内联显示。
视觉与多模态安装 ▾
-
纯文本路由的本地 OCR 兜底:会话模型明确声明不接受图片时,把附件的图片存入本地缓存并注入路径,模型调 ocr_image 用 PP-OCRv5 + ONNX Runtime 在纯 CPU 上离线识别,无需 API key,图片不出本机;模型能看图时静默。
视觉与多模态安装 ▾
-
驱动本机 Adobe Photoshop 处理游戏截图与照片:分层 HDR、多区域颜色/人物蒙版、SUPIR/Real-ESRGAN 超分与原生 1:1 视觉检查。需要 Windows 10/11 与 Adobe Photoshop 2025;macOS 与更早的 Photoshop 版本无法运行调色工具。
视觉与多模态安装 ▾
安装
# npm 包(预构建) dsh plugin --profile web add <npm-package> # GitHub 源码(首次需按提示配置 allowBuilds 构建授权后重试) dsh plugin --profile web add github:owner/repo
装任何插件都等于在你的机器上跑第三方代码,权限和你本人一样大——能读你的文件、用你的凭据、访问网络,工具审批管不到它。GitHub 来源的插件还会在安装时执行构建脚本——pnpm 默认拦截,所以安装可能停在 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 或 ERR_PNPM_IGNORED_BUILDS;dsh 会打印出需要添加的确切键名,把它加进该 profile 的 pnpm-workspace.yaml 的 allowBuilds 下,重跑一次即可装上。放行构建本身就是一次信任判断:请只安装可信来源,并尽量锁定 commit(github:owner/repo#sha)。
收录你的插件
给 awesome-dsh-plugin 提一个 PR:在 data/plugins/ 下新增一个 YAML 文件就是完整投稿,README 与本站会自动重新生成。也请为你的仓库打上 dsh-plugin topic。