xxiaoxiong/dsh-prometheus

English | 中文

面向 DeepSeek Harness 的 Prometheus 指标插件与可直接导入的 Grafana Dashboard。插件只观察 DSH 的公开生命周期扩展点，在导出前限制指标序列基数，并避免输出对话或工具载荷。

发布状态：0.1.0 是首个 Developer Preview 版本，已针对 DSH 0.1.0-rc.6 完成测试。

监控范围

• 活跃 Session；Agent turn、step、error 及耗时直方图
• LLM 请求速率、终止状态、延迟，以及互不重叠的输入/输出/推理/缓存 token 计数
• Tool 调用速率、规范化成功/失败状态及延迟
• Approval 请求和固定结果计数
• Subagent 启动、结果及耗时
• 后台 job 的活跃/启动/完成/终止/失败数量及耗时
• 进程启动时间和标签溢出诊断

完整指标名、标签和语义见 docs/metrics.md。

兼容性

组件	已测试版本
DeepSeek Harness npm packages	0.1.0-rc.6
官方源码基线	47f943859bef60e4160492346772ded9b24f765a（2026-08-13）
Cordis	^4.0.1
Node.js	`^22.19.0
prom-client	15.1.3

DeepSeek Harness 当前仍是 Developer Preview。每次升级 DSH 都应视为一次兼容性变更，并执行完整测试与发布清单。

安装

将 npm package 安装到 DSH profile，并检查 bundle layer：

dsh plugin --profile monitoring add dsh-prometheus
dsh --profile monitoring --dump-config

Bundle 会插入 id 为 prometheus 的一行。启动 profile 前，请确认 dump 中出现 dsh-prometheus layer。

Endpoint 选择

默认 mode: auto 会在插件激活时做一次选择：

1. 如果公开的 DSH webServer 已激活且绑定安全，则注册精确的 /metrics 路由；
2. 否则在 127.0.0.1:9464 启动独立 endpoint。

仓库内的 Docker 示例需要固定 target，建议在 profile 的 cordis.patch.yml 中强制 standalone。后应用的 patch 会替换整段 config：

- id: prometheus
  config:
    enabled: true
    mode: standalone
    host: 127.0.0.1
    port: 9464
    path: /metrics
    allowRemote: false
    maxLabelValues: 64
    maxLabelValueLength: 80

配置项

字段	默认值	说明
enabled	true	不删除 row 的情况下禁用全部 collector 与 endpoint。
mode	auto	auto、webserver 或 standalone。
host	127.0.0.1	独立服务绑定地址：loopback 或 0.0.0.0。
port	9464	独立服务端口；0 仅建议用于测试。
path	/metrics	精确路由；必须以 / 开头且不能以 / 结尾。
allowRemote	false	绑定 0.0.0.0 或复用对外 WebServer 时必须显式确认。
maxLabelValues	64	每个动态标签键允许的不同值数量。
maxLabelValueLength	80	动态标签值最大长度。

远程暴露没有内置认证或 TLS。启用前请阅读 SECURITY.md。

快速抓取

curl --fail --silent http://127.0.0.1:9464/metrics

Endpoint 支持 GET/HEAD；其他方法返回 405；响应禁止缓存并使用 prom-client 的 Prometheus/OpenMetrics 兼容 Content-Type。

Prometheus 与 Grafana

仓库提供完整本地监控栈：

docker compose -f examples/docker-compose.yml up -d

Prometheus 地址为 http://127.0.0.1:9090，Grafana 地址为 http://127.0.0.1:3000（本地默认 admin / admin，非本地环境必须修改）。Datasource 和 DeepSeek Harness / Overview Dashboard 会自动 provision。

可独立使用的资产位于 examples/prometheus.yml 与 grafana/dsh-overview.json。安全、兼容性和验证证据分别见 docs/security.md、docs/compatibility.md 和 docs/verification-report.md。

常用查询：

# Turn 吞吐
sum(rate(dsh_agent_turns_total[5m]))

# Turn 失败率
sum(rate(dsh_agent_turns_total{status=~"error|blocked|aborted"}[5m]))
/
clamp_min(sum(rate(dsh_agent_turns_total[5m])), 0.000001)

# 按 provider/model 的 P95 LLM 延迟
histogram_quantile(0.95,
  sum by (le, provider, model) (rate(dsh_llm_request_duration_seconds_bucket[5m])))

# 按 tool 的失败速率
sum by (tool) (rate(dsh_tool_calls_total{status!="success"}[5m]))

初始告警规则见 examples/prometheus/alerts.yml。请按实际负载调阈值；没有任务时吞吐为零是正常现象。

隐私与基数控制

Collector 不会导出 prompt、用户/助手消息、system prompt、tool 参数或结果、错误文本、文件路径、工作目录、任意 metadata，也不会导出 session/agent/call/job/subagent id。

只有四类运行时动态标签：provider、model、tool 和 job kind。值必须匹配 [A-Za-z0-9][A-Za-z0-9_.:/-]*，长度不得超限，并受每个键的数量上限约束。非法或超量值统一映射为 __other__；dsh_metrics_label_overflow_total 只记录发生次数，不记录原值。

provider/model/tool/kind 名称仍属于运维 metadata，请勿把客户标识或秘密放入这些名称。

生命周期

所有 listener、job observer、路由、socket 和 registry 都属于插件的 Cordis fiber。热重载或卸载时，Web 路由会注销；独立服务器会停止接受连接并关闭剩余 socket。Registry 是实例私有的，重载不会与进程全局 collector 冲突。

已有 live session 和 job 只用于初始化 gauge；不会回放历史事件填充 counter。进程重启或热重载造成 counter reset 属于正常 Prometheus 语义。

升级、降级与卸载

# 获取新版本 tarball 后升级
dsh plugin --profile monitoring add ./dsh-prometheus-NEW.tgz
dsh --profile monitoring --dump-config

# 删除依赖和 bundle layer
dsh plugin --profile monitoring remove dsh-prometheus

降级前请比较 CHANGELOG.md 中的指标和配置契约。卸载插件不会删除 Prometheus 已保存的数据。

开发

pnpm install --frozen-lockfile
pnpm check
pnpm test:coverage
pnpm pack

测试覆盖配置/基数、隐私、LLM/tool waterfall、endpoint 方法、远程暴露门禁、WebServer 路由卸载、独立 socket 卸载、job/subagent 生命周期，以及真实 rc.6 AgentLoop turn。参见 CONTRIBUTING.md、docs/architecture.md 和 docs/release-checklist.md。

排障与限制

参见 docs/troubleshooting.md 和 docs/known-limitations.md。

许可证

MIT