| 显卡 | 架构 | 计算能力 | 显存 | 带宽 GB/s | 最低 CUDA | 适合的模型规模(Q4) |
|---|
功能说明
为什么看这三项就够了
判断一块卡能不能跑本地大模型,不用记住全部参数,只要看三样。显存容量决定模型能不能装进去——参数量乘以每参数字节数,再留出一部分给上下文缓存;计算能力(compute capability,写作 sm_89 这种)决定能不能用新版 CUDA 与推理框架,太老的卡会被直接排除在支持列表外;显存带宽决定生成速度,大模型推理是带宽瓶颈,带宽越高每秒吐字越快。
表里的模型规模按 Q4 量化估算:7B 约 4.5GB、14B 约 9GB、32B 约 20GB、70B 约 43GB,再加上上下文缓存与框架开销。所以 24GB 卡跑 32B 是舒服的,跑 70B 只能靠部分卸载,速度会明显下降。
三步查表
- 第一步,搜型号。输入 4090、A100、3060 这类关键词,表会实时过滤;不确定型号就先按品牌系列搜。
- 第二步,按显存筛。知道自己要跑多大模型后,反过来选「≥ 24GB」这类条件,只看达标的卡。
- 第三步,看计算能力定 CUDA。sm_89 起需要 CUDA 11.8 以上,sm_120(RTX 50 系)需要 12.8 以上;老卡注意新版 CUDA 已经不再支持。
常见问题
- 显存刚好装下模型就能跑吗?不一定。还要留出上下文缓存与框架开销,通常建议显存比模型体积多 20%–30%,否则长上下文时会爆显存。
- 两张卡显存能叠加吗?能,但要求模型支持张量并行或按层切分,普通消费级双卡在多数推理框架里只能各跑一份,不能简单相加。
- 计算能力越高越快吗?不直接等价。计算能力决定指令集与特性支持,速度更多看带宽与核心数;同代卡之间比带宽与显存更有意义。
- AMD 显卡和苹果芯片呢?它们不适用 CUDA 体系。AMD 走 ROCm,苹果 M 系列走 Metal 与统一内存,选型逻辑是另一套,本表不含。
数据依据 NVIDIA 官方各代架构文档与产品规格整理,CUDA 最低版本按官方支持矩阵给出;不同推理框架的实际支持范围可能更窄,采购或部署前请以官方最新文档为准。
使用步骤
1. 在「搜索型号,如 4090 / A100」中填写需要处理的数值。
2. 在结果区核对输出结果,需要留档时手动复制。
常见问题
显卡算力与显存速查能做什么?
查询常见 NVIDIA 显卡的计算能力(sm 架构)、显存容量、显存带宽与最低 CUDA 版本,按显存筛选并给出各卡适合运行的本地大模型规模(Q4 量化口径)。全部处理在浏览器本地完成,无需注册、无需安装。
这里的数据来源是什么?
数据整理自公开标准、规范或通行资料,页面上标注了口径与适用范围。涉及法规、标准的内容以官方最新发布为准。
数据会随标准更新吗?
随站点版本更新,遇到标准修订或口径调整会同步修正。长期未变的条目通常是因为对应标准本身没有修订。
查询结果能直接用于正式材料吗?
可以作速查与核对参考;合同、申报、公示这类正式材料请以官方发布文本为准。工具的价值是快速定位,不替代权威出处。
你可能还想问
显卡算力与显存速查和大模型显存需求计算器有什么区别?
显卡算力与显存速查 侧重查询常见 NVIDIA 显卡的计算能力(sm 架构)、显存容量、显存带宽与最低 CUDA 版本,按显存筛选并给出各卡 等;大模型显存需求计算器 侧重按参数量、精度、层数、隐藏维度与上下文长度估算模型推理所需显存,含权重与 KV Cache 两部分,帮助判断显卡能否 等。两者各有分工,按手上的具体任务选一个即可,不需要串联使用。
这个工具需要联网才能用吗?
第一次打开页面需要联网加载,之后的计算与处理都在本地完成,断网也能继续操作。数据不经过服务器,也不受网络波动影响。
处理结果怎么保存或分享?
结果区支持一键复制,也可按页面提供的下载入口保存到本地;页面不做云端存储,关掉浏览器后需要重新处理。
速查在线工具箱