大肥鱼语音球:桌面悬浮语音伴侣——点一下球说一句话,它开口回答一句。本地 Whisper 识别 + edge-tts 合成,RuiC-2D 实时角色渲染;支持 ollama / DSH / DeepSeek 三种回答后端;独立 Electron 窗口,首次运行自动配置环境(克隆角色引擎、建 venv、装依赖)。
安装
# GitHub 源码(首次需按提示配置 allowBuilds 构建授权后重试)
dsh plugin --profile web add github:qfnin/dafeiyu-voice-ball
装任何插件都等于在你的机器上跑第三方代码,权限和你本人一样大——能读你的文件、用你的凭据、访问网络,工具审批管不到它。GitHub 来源的插件还会在安装时执行构建脚本——pnpm 默认拦截,所以安装可能停在 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 或 ERR_PNPM_IGNORED_BUILDS;dsh 会打印出需要添加的确切键名,把它加进该 profile 的 pnpm-workspace.yaml 的 allowBuilds 下,重跑一次即可装上。放行构建本身就是一次信任判断:请只安装可信来源,并尽量锁定 commit(github:owner/repo#sha)。
README
一颗住在桌面右上的小圆球,点一下就能和住在里面的鲸鱼娘「大肥鱼1号」语音聊天。
大肥鱼语音球是一个全本地运行的 Windows 桌面语音伴侣:透明置顶悬浮球里渲染 RuiC-2D 的实时角色,按住说话 → 本地 Whisper 识别 → LLM 回答 → edge-tts 合成开口说话。角色会眨眼、摆尾、口型对齐。
所有数据(缓存、日志、模型、配置)都写在项目自己的目录里,不占 C 盘、不上传任何语音。
功能
- 🎈 桌面悬浮球:透明无边框置顶小窗(Electron),位置记忆、右键菜单、开机自启、双击从最小化恢复
- 🗣️ 语音对话:麦克风拾音 → faster-whisper 本地识别(自动断句)→ LLM → edge-tts 合成,口型随音量驱动
- 🧠 三种回答后端,
config.json里llm_backend一键切换:后端 说明 需要什么 ollama本地模型,稳且免费(默认) 安装 Ollama 并 ollama pull qwen2.5-coder:7bdsh走本机 DeepSeek Harness 的额度 本机运行 dsh web(端口 3425) deepseekDeepSeek 官方 API 设置环境变量 DEEPSEEK_API_KEY - 🐋 角色可换:
project字段指向任意 RuiC-2D 工程,默认自带「大肥鱼1号」 - 🎭 人设可改:
persona/whale-system-prompt.txt直接编辑
架构
大肥鱼语音球.vbs (双击启动,防重复启动)
└─ app/start.ps1
├─ app/voice_bridge.py 语音桥 :8798(faster-whisper 识别 + LLM 调度)
└─ app/launch.py
└─ shell/main.js Electron 悬浮球窗口
├─ RuiC-2D 服务 :8796 /pet.html?project=da-fei-yu-1(角色渲染)
├─ 语音桥 :8798(录音/合成/对话状态)
└─ edge-tts(子进程合成 mp3,逐句播放)
快速开始
前置要求
安装
git clone https://github.com/HRuiCcc/dafeiyu-voice-ball.git
cd dafeiyu-voice-ball
powershell -ExecutionPolicy Bypass -File scripts\setup.ps1
setup.ps1 会自动:克隆角色引擎 RuiC-2D 到仓库旁边 → 建 Python venv 装依赖 → 装 Electron → (可选)预下载 Whisper 模型。
启动
双击仓库根目录的 大肥鱼语音球.vbs。球出现在屏幕右上角:
- 点一下球上的麦克风按钮,说一句话——说完自动断句识别,回答完自动回待机;再点一下说下一句
- 右键 弹出菜单:置顶开关、开机自启、静态模式、退出
- 再次双击
.vbs只会把球从最小化恢复,不会重复启动
使用 DeepSeek 官方 API(可选)
# 设置环境变量(或在 系统属性 → 环境变量 里永久设置)
setx DEEPSEEK_API_KEY "sk-你的key"
然后把 config.json(首次启动前复制 config.example.json)里的 "llm_backend" 改成 "deepseek"。
配置说明
复制 config.example.json 为 config.json 后修改(球的位置等会被程序自动写回):
| 字段 | 默认 | 说明 |
|---|---|---|
project |
da-fei-yu-1 |
RuiC-2D 角色工程名 |
diameter |
360 |
球直径(px) |
voice |
zh-CN-XiaoyiNeural |
edge-tts 音色,任意 官方音色 名 |
rate / pitch |
+10% / +30Hz |
语速 / 音调 |
whisper |
base |
识别模型:tiny(0.3s) base(0.6s) small(2.3s) |
llm_backend |
ollama |
ollama | dsh | deepseek |
model |
qwen2.5-coder:7b |
后端对应的模型名 |
input_device |
null |
麦克风设备号;null = 每次通话自动探测有信号的设备 |
silence_rms |
35 |
说话音量门槛(环境噪声大就调高) |
topmost |
true |
球是否置顶 |
hardCircle |
false |
是否用系统圆形裁切硬边(默认靠页面透明圆,边缘更细腻) |
目录结构
dafeiyu-voice-ball/
├─ 大肥鱼语音球.vbs 双击启动
├─ config.example.json 配置模板(复制为 config.json)
├─ app/ Python 语音链路(识别/LLM/合成调度 + 启动器)
│ ├─ voice_bridge.py 语音桥 HTTP 服务 :8798
│ ├─ voice_engine.py 核心引擎:录音断句、whisper、LLM 后端、合成
│ ├─ launch.py 拉起 Electron
│ ├─ start.ps1 顶层启动器
│ └─ selftest_*.py 开发期自测脚本(抓屏验收球/菜单/麦克风)
├─ shell/ Electron 外壳(窗口/右键菜单/开机自启/TTS 子进程)
├─ persona/ 大肥鱼1号的系统提示词与人设
├─ assets/ 球图标
├─ tts/ 合成音频输出 + 试音样本
├─ scripts/
│ ├─ setup.ps1 一键安装
│ └─ prepare-models.ps1 预下载 Whisper 模型
└─ cache/ logs/ models/ 运行时产物(git 忽略)
常见问题
Q: 首次语音对话没反应?
第一次会下载 Whisper 模型(约 150MB,走 hf-mirror 镜像),等一会儿;或先跑 scripts\prepare-models.ps1。
Q: 识别不到我说话?
环境噪声大把 silence_rms 调高;还不行就跑 python app\selftest_mic2.py 逐个设备测真实 RMS,再把设备号写进 input_device。
Q: 想让球停在别的位置?
直接拖球,位置自动记忆(写回 config.json)。
Q: 不想用 ollama,想用回 DeepSeek? 见上文「使用 DeepSeek 官方 API」。
Q: 为什么坚持全本地? 麦克风音频、对话记录、Whisper 推理全部不出本机;只有 LLM 回答走你选择的后端 API。
致谢
- 角色与渲染引擎:RuiC-2D(同一作者的另一个项目)
- 语音识别:faster-whisper
- 语音合成:edge-tts
作者
清风同学灬 · GitHub: qfnin
License
链接
同类插件
Yuuyuko-uu/dsh-tts-bridge★ 257
用 DeepSeek 网页端自带的朗读,把 DSH 里的对话念出来,靠一个小浏览器扩展驱动。
Fishsb/dsh-voice-prompt-enhancer★ 130
把输入框草稿改写为更清晰、结构化的提示词(5 模式·模型回退链·可选多轮记忆),并为 DSH 语音输入加上说完自动停、热键与口水词清理;识别仍由官方 speechToText 提供,插件不自带引擎。
PolinniZhong/dsh-omi-voice★ 75
DeepSeek Harness 对话内朗读:点一下即可朗读、暂停、继续 AI 回复,豆包 TTS 自然音色(BYOK),只读最终回答并过滤代码、表格与图形,本地引擎,插件零 Key。
ppy-web/dsh-plugin-xiaomi-mimo-tts★ 61
为 DSH 提供小米 MiMo、豆包、Breeze 和浏览器语音,支持接入外部供应商与本地模型、文本过滤、实时流式朗读、音频下载、音效、桌宠及 QQ Bot、AI Passport 联动。
1624318455/dsh-plugin-tts★ 60
用免费 Edge TTS 或你自己的 RVC 音色朗读 AI 回复:消息朗读与自动朗读、长文自适应分块渐进播放(无缝衔接)、音色包仓库一键安装、便携 RVC 运行时。
beiyege-01/dsh-voice-ai-girlfriend-plugin★ 57
Web UI 语音 AI 女友:FunASR 麦克风语音输入、Qwen3-TTS 语音回复、数字人动画窗、QQ 双向聊天(文本/语音/图片推送,经 NapCat)。
社区评论
评论公开保存在 GitHub Discussions。加载评论会连接 GitHub 和 Giscus;发表内容需要 GitHub 账号。