显卡算力与显存速查

本地处理
  • 打赏支持
  • 分享链接
  • 反馈建议
这张表用来回答一个具体问题:我这块卡能跑多大的模型。判据有三样——显存容量决定能不能装下,计算能力(sm)决定 CUDA 与推理框架能不能用,带宽决定生成速度。表里的模型规模按 Q4 量化 + 8K 上下文粗估,实际以模型卡与推理框架为准。
显卡架构计算能力显存带宽 GB/s最低 CUDA适合的模型规模(Q4)

功能说明

为什么看这三项就够了

判断一块卡能不能跑本地大模型,不用记住全部参数,只要看三样。显存容量决定模型能不能装进去——参数量乘以每参数字节数,再留出一部分给上下文缓存;计算能力(compute capability,写作 sm_89 这种)决定能不能用新版 CUDA 与推理框架,太老的卡会被直接排除在支持列表外;显存带宽决定生成速度,大模型推理是带宽瓶颈,带宽越高每秒吐字越快。

表里的模型规模按 Q4 量化估算:7B 约 4.5GB、14B 约 9GB、32B 约 20GB、70B 约 43GB,再加上上下文缓存与框架开销。所以 24GB 卡跑 32B 是舒服的,跑 70B 只能靠部分卸载,速度会明显下降。

三步查表

  • 第一步,搜型号。输入 4090、A100、3060 这类关键词,表会实时过滤;不确定型号就先按品牌系列搜。
  • 第二步,按显存筛。知道自己要跑多大模型后,反过来选「≥ 24GB」这类条件,只看达标的卡。
  • 第三步,看计算能力定 CUDA。sm_89 起需要 CUDA 11.8 以上,sm_120(RTX 50 系)需要 12.8 以上;老卡注意新版 CUDA 已经不再支持。

常见问题

  • 显存刚好装下模型就能跑吗?不一定。还要留出上下文缓存与框架开销,通常建议显存比模型体积多 20%–30%,否则长上下文时会爆显存。
  • 两张卡显存能叠加吗?能,但要求模型支持张量并行或按层切分,普通消费级双卡在多数推理框架里只能各跑一份,不能简单相加。
  • 计算能力越高越快吗?不直接等价。计算能力决定指令集与特性支持,速度更多看带宽与核心数;同代卡之间比带宽与显存更有意义。
  • AMD 显卡和苹果芯片呢?它们不适用 CUDA 体系。AMD 走 ROCm,苹果 M 系列走 Metal 与统一内存,选型逻辑是另一套,本表不含。

数据依据 NVIDIA 官方各代架构文档与产品规格整理,CUDA 最低版本按官方支持矩阵给出;不同推理框架的实际支持范围可能更窄,采购或部署前请以官方最新文档为准。

使用步骤

1. 在「搜索型号,如 4090 / A100」中填写需要处理的数值。

2. 在结果区核对输出结果,需要留档时手动复制。

常见问题

显卡算力与显存速查能做什么?

查询常见 NVIDIA 显卡的计算能力(sm 架构)、显存容量、显存带宽与最低 CUDA 版本,按显存筛选并给出各卡适合运行的本地大模型规模(Q4 量化口径)。全部处理在浏览器本地完成,无需注册、无需安装。

这里的数据来源是什么?

数据整理自公开标准、规范或通行资料,页面上标注了口径与适用范围。涉及法规、标准的内容以官方最新发布为准。

数据会随标准更新吗?

随站点版本更新,遇到标准修订或口径调整会同步修正。长期未变的条目通常是因为对应标准本身没有修订。

查询结果能直接用于正式材料吗?

可以作速查与核对参考;合同、申报、公示这类正式材料请以官方发布文本为准。工具的价值是快速定位,不替代权威出处。

你可能还想问

显卡算力与显存速查和大模型显存需求计算器有什么区别?

显卡算力与显存速查 侧重查询常见 NVIDIA 显卡的计算能力(sm 架构)、显存容量、显存带宽与最低 CUDA 版本,按显存筛选并给出各卡 等;大模型显存需求计算器 侧重按参数量、精度、层数、隐藏维度与上下文长度估算模型推理所需显存,含权重与 KV Cache 两部分,帮助判断显卡能否 等。两者各有分工,按手上的具体任务选一个即可,不需要串联使用。

这个工具需要联网才能用吗?

第一次打开页面需要联网加载,之后的计算与处理都在本地完成,断网也能继续操作。数据不经过服务器,也不受网络波动影响。

处理结果怎么保存或分享?

结果区支持一键复制,也可按页面提供的下载入口保存到本地;页面不做云端存储,关掉浏览器后需要重新处理。

相关工具

AI工具
大模型显存需求计算器

按参数量、精度、层数、隐藏维度与上下文长度估算模型推理所需显存,含权重与 KV Cache 两部分,帮助判断显卡能否跑得动,纯浏览器本地计算。

AI工具
微调与RAG方案成本对比器

在线对比微调与 RAG 两种方案的月度与一次性成本,按文档规模、查询量、训练样本与模型单价测算回收周期,帮助判断知识库类应用该选哪条技术路线。

AI工具
模型量化体积与显存估算器

在线估算大模型的权重体积与部署显存,按参数量、量化精度、上下文长度、层数与批大小计算权重、KV Cache 与框架开销,并对比 FP32 到 INT4 各精度的显存占用。

AI工具
LLM API 速查

58个主流模型API一站对照,含model ID、价格、能力标签,支持搜索筛选

AI工具
大模型 Token 估算器

粘贴文本即可估算大模型消耗的 Token 数量,分别统计汉字、英文单词与符号,并给出常见上下文窗口的占用比例,纯浏览器本地计算。

AI工具
提示词压缩收益估算器

在线估算提示词压缩带来的成本节省,按原始 token 数、压缩率与月调用量计算每次与每月节省金额,并给出不同压缩率下的收益对照与质量风险提示。

AI工具
GPU租用与训练预算计算器

在线估算云 GPU 按小时租用的训练成本、含重跑预算、人民币折算与自建回本小时数,覆盖 H200/H100/A100/L40S/4090 等主流型号

AI工具
模型训练时间估算器

估算模型训练的墙钟时间与 GPU 成本,按总步数、每步耗时、卡数与并行效率换算,并支持按卡时单价估算总费用。