跑大语言模型，Nvidia A4000比Geforce 2080Ti能有提高吧？
269
6
|
[1 楼] 八大行星
[资深泡菜]
9-7 00:36
我用2080 Ti跑deepseek 14B非常快。跑32B性能也能满足需求。
A4000是16GB显存，2080Ti是11GB显存。 新入A4000，我打算两块显卡都装，看看效果。 A4000还有一个优势是只占单槽PCI-E插槽。这很重要。 |
|
[7 楼] 八大行星
[资深泡菜]
9-9 10:50
八大行星 发表于 2025-09-09 07:50 qwen3:30b 厉害了。达到57token/s。A4000 GPU占用率跑到100%，2080 Ti GPU占用率跑到85%。  八大行星 编辑于 2025-09-09 10:51 |
|
[6 楼] 八大行星
[资深泡菜]
9-9 07:50
A4000装到机器中了。
deepseek 32b 过去在2080 Ti上跑是2.4-2.9 Token/s，现在达到17.89 Token/s, 有趣的是看资源管理器，GPU完全是2080 Ti上运行，占用率45%左右。A4000 GPU占用率级别为0。但A4000的显存在使用。 在Ollama中查看GPU/CPU使用状态，现在显示为100% GPU。看来装了一块A4000，看上去相当于只增加了16GB显存。话说这个代价是不是有点大？ |
|
[5 楼] 荣夏
[泡菜]
9-8 15:50
显存大小是王道
如果在意价格 就3090 |
|
[4 楼] 小胖子
[资深泡菜]
9-8 14:30
把28ti换22G显存，应该更快。
|
|
[3 楼] 老雾
[泡菜]
9-8 12:07
只要看显存就行了，大是基础。。。。
单机跑大模型，算力不重要。 |
|
[2 楼] Trompette
[泡菜]
9-7 09:29
A4000 是 3070 的限功耗版
2080Ti 只是 CUDA 核少一些，代次也旧一代，但 2080Ti 的 Tensor 核，光追核都更多 跑 AI 绝对性能 2080Ti 好一些，考虑显存性价比还有 2080Ti 22G 除了非常限定体积的mini工作站（为追求性能的工作站限定体积，本身就很奇怪），绝大多数场景完全不需要考虑 A4000 |