跑大模型太需要资源而一般都没有~

使用中，不过没快多少~ 便宜显卡~

根据提供的 NVIDIA-SMI 输出，可以明确以下几点：

GPU 处于高负载状态
GPU-Util 显示 100%，表明 GPU 正在满负荷运行Memory-Usage 为 1846MiB / 2048MiB，显存占用率达 90%Power Usage 57W 接近 75W 的 TDP 上限Python 进程正在占用 GPU
两个 Python 进程（PID 58646 和 58754）分别占用 153MiB 和 1647MiB 显存进程类型为 C (Compute)，表明正在执行计算密集型任务代码是否实际使用 GPU？
您的代码中使用了 PyTorch 和 facenet_pytorch默认情况下，如果安装了 CUDA 版本的 PyTorch，模型会自动尝试使用 GPU

pytorch 一段识别人像代码~ gpu跑起来没有不知道但gpu肯定检测到了

开山鼻祖 编辑于 2025-03-25 19:07

。。豆包因为🈶抖音视频，所以查个啥都有视频看，这也是其他厂家不具备的优势。腾讯（还有百度）虽然有视频，但是给看电视的观众用的，短视频都没人看所以也不好意思示众。


开山鼻祖 编辑于 2025-03-25 00:53

。。
发布自 iOS客户端

r1  项目目录预览 - DeepSeek-R1:探索新一代推理模型，DeepSeek-R1系列以大规模强化学习为基础，实现自主推理，表现卓越，推理行为强大且独特。开源共享，助力研究社区深入探索LLM推理能力，推动行业发展。【此简介由AI生成】 - GitCode

说明该仓库为一个超大型模型（如 DeepSeek-V2-Chat 的扩展版本），通过分片存储（163 个文件）降低单文件大小，便于分布式加载。若需下载完整模型，需确保本地磁盘空间至少为 642 GB（考虑压缩和缓存）。

这只是存储要求，后面开算还需要多少资源无法预测。
开山鼻祖 编辑于 2025-03-25 00:05

来个开源模型资源需求（链接网页（可下载）文件部分描述扔给豆包综合）~DeepSeek-V2-Chat . 模型库

根据文件列表中的信息，总大小计算如下：
总文件大小约 471.28 GB
（主要由 55 个分片模型文件构成，其他文件占比极小）
关键文件分析模型分片文件（55 个）
前 5 个文件：每个约 8.59-8.60 GB中间 49 个文件：每个约 8.60 GB最后 1 个文件：6.89 GB总和：约 471.27 GB其他文件
配置文件（如config.json）、代码文件（如modeling_deepseek.py）等，总大小仅约 7.39 MB（可忽略不计）。说明该仓库为一个大型模型（如 DeepSeek-V2-Chat）的存储库，通过分片存储（55 个文件）降低单文件大小，便于传输和加载。若需下载完整模型，需确保本地磁盘空间至少为 472 GB（考虑压缩和缓存）。


开山鼻祖 编辑于 2025-03-24 23:32

都需要什么资源呢？普通服务器加上一块4060，是不是就可以跑起来最基本的了？