正在整理你需要的资料…
让 AI 实时看着你的屏幕干活,规矩却是你得描述它看见什么。dsh-see-now 是给 DSH 用的实时视觉插件:把屏幕、摄像头或视频按变化量筛出关键帧,压成一张几帧拼成的图再交给模型;静止画面几乎不花 token,一镜到底的视频按运动量给帧,幻灯片每硬切一次留一帧。Apache-2.0 协议,随便用。
适合想让 AI 助手实时看着屏幕干活(结对调试、自动操作、远程协助),又不想为每一帧付 token 钱的开发者;它是 DSH 的插件,单独用不起来。

下面是把仓库 README 逐节读完后归纳出的中文要点。
介绍 DSH 的实时视觉插件:把屏幕、摄像头或视频按变化量筛成几帧拼图交给模型,静止画面几乎不耗成本
采用 Apache License 2.0 授权:个人、公司内部、闭源产品、SaaS 与二次分发都能免费用,只需保留许可与声明文件
介绍调试窗、逐场景模式与悬浮窗三种界面:调试窗显示抓到的帧和正在拼的图,逐场景每次换画面出一张满幅图,悬浮窗显示并朗读 AI 说的话
指出定时全屏截图的两个死结:重复画面浪费 token、间隔截图丢掉过程;改为先给每帧打变化分,只在画面突变或运动量攒够时保留
分静止屏幕、滚网页、一镜到底视频、硬切幻灯片四种场景说明出帧节奏,并按画布档位列出每张图的 token 成本,一图塞 4 帧还是 8 帧价格相同
核心不内置 TTS 引擎,只动态导入指定模块,say 会进悬浮窗并被念出;自定义模型走 options 交给 attach,macOS 自带示例读本地配置
npx dsh-see-window # 开窗(已经开着就什么都不做)
npx dsh-see-window --status # 只看它在不在
npx dsh-see-window --force # 杀掉重开
npx dsh-see-window --close # 关掉src/
capture.js 唯一 spawn ffmpeg 的地方,一根 rawvideo 管道
binaries.js 找 ffmpeg(DSH 桌面版不进 PATH,所以不能写裸命令)
cuts.js 逐帧变化分(64×36 HSV 网格)
pipeline.js 唯一有状态的地方:帧 → 打分 → 切点/积分 → 留帧 → 档位 → pack → 出图
tiers.js 档位(格子边长 1/k)与策略
pack.js DP 装箱:把 N 个不同大小的格子铺满画布
sheet.js 合成 PNG(烧帧号、留缝)
runner.js 采集管线 + 阻塞取图 + 节奏
listen.js 听声音:扫 wav → 转写(宿主/本地 HTTP)→ 台词缓冲 → 挂到图上
loop.js 常驻循环:有新图就唤醒模型
index.js 工具注册与路由
examples/floating-chat/ 悬浮窗(Tk)+ listen.py(抓回环、按静音断句)+ mic.py(麦克风)
debug/ 调试窗 + audio-check.mjs(手工验听声音,不在 npm 包里)
test/ 181 条测试| 主要语言 | JavaScript | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-11-01 | 最近提交 | 2026-11-16 |
| 站内采集 | 2026-11-06 起,连续观察 13 天 | 最近一次 | 2026-11-18 |
给 DeepSeek Harness 的实时视觉插件:把屏幕、摄像头或视频按变化量筛成几帧拼成一张图,静止画面几乎不花 token。
dsh-see-now 解决的问题很具体,AI 要看屏幕时如果把整屏不停传,静止界面等于白烧钱。插件的做法是按变化量筛帧,静止的屏幕几乎不产生新帧,一镜到底的视频按运动量取帧,硬切幻灯片每次切留一帧,再把留下的几帧按真实像素位置拼成一张图交给模型。另有逐场景模式,参数 scene:true 时每换一次画面就单独出一张满幅图,右下角标出已出图数量和帧占比。除了看屏幕也能接摄像头和视频文件,仓库自带雨夜、烟火、行车雾、工具窗口等样例图,还有 800x450 到 1600x900 四档尺寸和三档质量。调试窗能看到每一帧被留下还是被丢掉,悬浮窗则把 AI 说的话显示出来并念出来。
最近 13 次采集
2026-11-06 403 ★ → 2026-11-18 686 ★ (累计 +283)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。