显存被谁吃了、机器怎么转的:2,936 星 gputaskman 和 3,397 星 teardown 把黑盒拆开

显存被谁吃了、机器怎么转的:2,936 星 gputaskman 和 3,397 星 teardown 把黑盒拆开

本地跑大模型最烦的不是跑不起来,是不知道慢在哪。任务管理器只会告诉你「15GB 显存被占了」,不告诉你是模型权重、是 128K 上下文的 KV cache,还是你那个开着的浏览器。这周两个新项目各补了一块:一个把显存的账本翻到进程和缓冲区一级,一个把整台机器做成能拆开的 3D 模型。

gputaskman:htop 只看占用了多少,它看里面装的是什么

仓库 shanselman/gputaskman,11 月 3 日才建,今天(11 月 13 日)刚发 v0.4.1,2,936 星、138 fork,MIT,Python 写的终端 TUI。作者是 Scott Hanselman——微软的老牌布道者,博客 hanselman.com 写了二十年,不是那种三天热度的小号。PyPI 包名就叫 gputaskman,命令还能缩写成 gtm。

它的数据源分三层。Windows 上走 WDDM 的每进程计数器拿显存和引擎占用;NVIDIA 走 NVML(随驱动安装,不需要装 CUDA Toolkit);AMD 在 Windows 上靠 ADL 补 GPU 利用率、时钟和 ASIC 功耗。Linux、WSL 和 Apple Silicon 也能跑。

真正值钱的是归因那一步:把进程的显存占用,跟它加载了什么运行库、映射了哪个模型文件、GGUF 文件头里写的架构对上,然后把大模型的显存拆成权重、KV cache、计算缓冲三块。所以你才能回答「我把上下文从 8K 拉到 128K,到底多花了几个 G」「为什么 8GB 卡跑 7B 会掉进共享内存开始拖」「Unsloth 微调的时候是谁在吃显存」。

作者自己把边界划得很清楚,这点比很多项目诚实:设备计数器和进程计数器是测量值,模型识别和 GGUF 缓冲拆解是估算值——一个 CUDA DLL 证明不了是哪个模型,映射了文件也不代表它真在 GPU 上跑。AMD 上温度、显存活动、PCIe 读不到;Intel Arc 只用模拟计数器验证过,没上真卡;纯 CPU、纯 NPU 和云端 GPU 一概不管。

用法很轻:uv tool install gputaskman 或 pipx install gputaskman,然后敲 gtm。--once 打一次快照就退出,--json 直接吐结构化数据。Windows 还有免 Python 的便携包,官方说明写了「目前未签名」。

gputaskman 数据流:NVML、WDDM、AMD ADL 的计数器经采样与归因,最后分成终端面板和 --json 两路输出
gputaskman 的数据链路:三路计数器进来,采样器只负责实测值,归因那一步才引入模型与缓冲区的估算,最后分成终端面板和结构化 JSON 两条出口。

teardown:让 Claude Code 把任何机器做成能拆的 3D 模拟器

另一个是 elvarofficial/teardown,10 月 30 日建的,3,397 星、507 fork,MIT,3,397 星里有一半大概是冲着 GIF 去的——仓库首页那三台机器(机械蜂、机械蝎、机械章鱼)确实好看。

它的逻辑不是画图,是造一个能动、能拆的离线页面。你用一句人话问「四冲程摩托车发动机怎么工作,给我做个能拆的模拟器」,Claude Code 读它写的 SKILL.md,生成一个单文件 HTML:three.js 和字体全部内联,机器在中间跑,四周面板读的是真实数值,点按钮能剖开正在工作的那个零件,没人操作时页面自己巡演一遍。

再往下是产线:sims/capture.mjs 用 Playwright 逐帧截图,拼成 60fps 的 mp4;ffmpeg 出片;run_sfx.py 按时间轴生成程序化音效,母带到 −14 LUFS。仓库里带了三个成品可跑:V8 发动机、塞斯纳、Strandbeest 风力兽。装法两条命令——npx skills add elvarofficial/teardown -g -a claude-code,进目录再 npm install && npx playwright install chromium,需要 Node 20 以上。底层复用了 whaleyxbt/claude-motion(同样 MIT)。

实话是:这东西质量取决于模型对几何和物理的理解,参数不一定对,当科普动画和内容素材很值,当工程教材得自己核。它解决的是「讲清楚」,不是「算准确」。

实话

两个项目星数都不到四千,按现在的榜单标准不算爆款,但它们补的是同一件事:本地 AI 的瓶颈已经从「能不能跑」变成「知不知道为什么慢、怎么讲清楚」。

gputaskman 我建议直接接 --json 做定时采集,比盯着终端看曲线靠谱,也方便和别的监控拼起来。teardown 更适合做内容的人,尤其是要给别人解释机械原理的场景——省下的建模时间是真的。但两边都别当权威:一个是作者自己标注的早期实验软件,一个是模型生成的可视化,看完能理解原理,具体数值和结构还得回手册。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注