你的 Agent 浏览了无数网页,现在该让它看视频了。Video2Agent 让 AI Agent 看懂视频、直接回答:B 站和本地视频都能问——讲了什么、哪条更好、值不值得看。跨视频检索返回视频与时间码,按时间码取帧作证据,一次批量分析 1-10 个视频;本地优先,云端 ASR/OCR 与 B 站登录可选。需要 Python 3.11+、FFmpeg 与 CLI(pip install video2agent),设置页可一键检查并安装环境。它的 HTTP 路由没有 DSH 的访问检查,浏览器里打开的网页可以调用它们。
安装
# npm 包(预构建)
dsh plugin --profile web add dsh-video2agent
# GitHub 源码(首次需按提示配置 allowBuilds 构建授权后重试)
dsh plugin --profile web add github:Harm0ny-AI/DSH-Video2Agent#path:/packages/dsh-video2agent
装任何插件都等于在你的机器上跑第三方代码,权限和你本人一样大——能读你的文件、用你的凭据、访问网络,工具审批管不到它。GitHub 来源的插件还会在安装时执行构建脚本——pnpm 默认拦截,所以安装可能停在 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 或 ERR_PNPM_IGNORED_BUILDS;dsh 会打印出需要添加的确切键名,把它加进该 profile 的 pnpm-workspace.yaml 的 allowBuilds 下,重跑一次即可装上。放行构建本身就是一次信任判断:请只安装可信来源,并尽量锁定 commit(github:owner/repo#sha)。
README
Video search and understanding for DSH. One library for local files and Bilibili links: cross-video search with video + timecode, exact-frame evidence, and 1–10 video batch analysis. Local-first; cloud ASR/OCR and Bilibili login are optional.
What you can ask
- 「这期视频讲了什么?」→ 概要 + 时间码,想核对就点回原片;
- 「这几个速通视频哪条讲得更好/更全?」→ 1–10 个视频批量读完后对比共识与分歧;
- 「这个视频值不值得看?」→ 用转写、画面上的字(OCR)和关键帧回答,不靠标题;
- 「第 12 分钟那张表写了什么?」→ 按时间码取帧,配同一帧上的文字作证据。
Install
# 1. The Python CLI (the plugin calls this executable)
pip install video2agent # PyPI; pipx install video2agent also works
video2agent setup # install the Skill into ~/.dsh/skills
video2agent doctor # checks Python, FFmpeg and the Python packages
# 2. This plugin
dsh plugin --profile web add dsh-video2agent # npm
Requires Python 3.11+ and FFmpeg. The plugin settings page has a one-click
环境检查 (Python / CLI / FFmpeg) that reports what is missing and installs it
(CLI via pip, FFmpeg via winget/brew). Any DSH 0.2.1 / 0.2.2 profile works; the host
command is optional, so headless/TUI profiles still get the tool and /video.
- PyPI: https://pypi.org/project/video2agent/
- npm: https://www.npmjs.com/package/dsh-video2agent
- Releases: https://github.com/Harm0ny-AI/DSH-Video2Agent/releases
Screenshots
| 识别视频链接 | 批量处理 | 设置页 · 环境检查 |
|---|---|---|
![]() |
![]() |
![]() |
What it adds
video2agenttool and/videocommand.- Composer preview for
bilibili.com/video/BV…,avnumbers,b23.tvlinks and bare BV ids. - A session-scoped selected-video table above the composer: cover, title, one plain-language status and stop.
- Search across videos (the default scope), batch analysis of 1–10 videos, and evidence frames with transcript/OCR from the same moment.
- Optional Bilibili QR login for discovery, favorites/history/folders and CC/AI subtitles. The DSH account tool is read-only; folder writes are CLI-only with
--confirm. - Local ASR/OCR runs on this machine; only the frames/text you ask for reach the host model. Cloud ASR/OCR is opt-in per section and uses the provider key you configure.
Manifest
package.json declares:
"dsh": { "bundle": { "patch": "./cordis.patch.yml" }, "client": { "platform": "web" } }
The host command is optional (webServer is injected, not required), so headless/TUI profiles still get the tool and /video.
Documentation
Apache-2.0.
链接
同类插件
liustack/modlens★ 4996
为纯文本模型架起视觉桥梁:粘贴图片,输出结构化 JSON 证据(OCR、版面、语义)。
ysr666/dsh-vision-router★ 1281
为纯文本 Agent 提供视觉能力:内置免 Key 视觉链 + 像素级视觉工具(看图问答、定位、裁剪、像素对比、取色、OCR、矢量化、抠图、截图);粘贴图片即可用。
Anionex/dsh-vision-toolkit★ 945
让纯文本模型处理视觉任务:粘贴图片后自动切换到 Vision Toolkit 变体,支持图片问答、多图比较、长截图 OCR、截图还原前端 UI、元素定位与像素对比。默认无需 API Key——图片经作者自建的免费服务处理,每台机器每天 100 张;也可改为指向自己的服务商。
SAOS-3624/dsh-see-now★ 672
让只有文字的智能体「看」实时屏幕或摄像头:每帧按画面变化量打分,只把真正变了的帧拼成一张带编号、带音轨条的宫格图——看视频、看演示、看游戏都行,token 只花在变了的地方。
SAOS-3624/dsh-video-storyboard★ 560
把视频(本地文件,或 B 站 / yt-dlp 链接)压成一张可寻址的宫格图:每格烧编号、对应精确时间、挂台词,底部还有同时间轴的音频包络;video_zoom 可对任意窗口高清重看——纯文本模型因此能「看」视频,而不是读别人写的摘要。
kingcharleslzy-ai/dsh-qwen-studio★ 229
DSH 的 Qwen Image 2.1 创作工作区:本机 MLX 或自己的 NVIDIA 服务器,支持原生参考编辑、LoRA、结构控制、蒙版、整套预设、图库与对话实时进度,提供校验更新和 Agent 安装指南。



社区评论
评论公开保存在 GitHub Discussions。加载评论会连接 GitHub 和 Giscus;发表内容需要 GitHub 账号。