为什么 AI 工作负载需要 GPU
CPU 并非不能跑推理，但在并行吞吐上存在物理量级的差距。以 7B/8B 参数语言模型为例，普通 CPU 服务器的生成速度往往停留在每秒个位数 token；若换用 RTX 4090，吞吐通常可达每秒 80–100 token 以上。
模型参数越大，内存带宽的瓶颈越明显。70B 级别模型若在 CPU 内存上运行，延迟过高而难以用于实时服务，通常必须依赖 GPU 显存。
此外，训练和推理侧重点不同：
- 推理（Inference）：要求高显存带宽与低延迟响应，RTX 4090 这类消费级高端卡性价比突出。
- 训练与微调（Training / Fine-tuning）：对张量算力、显存容量及卡间互联带宽要求极高，A100、H100 等数据中心加速卡更具优势。
主流 GPU 型号对比
选型前需明确核心硬件指标与对应能力边界：
| GPU | 显存 | 适合场景 | 性价比 |
|---|---|---|---|
| RTX 4090 | 24GB | 本地推理、Stable Diffusion、Ollama | 高 |
| L40S | 48GB | 推理服务、中等规模模型部署 | 中高 |
| A100 40GB/80GB | 40/80GB | 微调、全量训练、大模型部署 | 中 |
| H100 | 80GB | 大规模分布式训练、前沿模型研发 | 低（单价高） |
| MI300X（AMD） | 192GB | 超大参数模型免切分推理 | 中 |
RTX 4090 是当前推理场景中综合成本较低的选择。其 24GB 显存足以承载常见 7B–14B 量化模型及 Stable Diffusion XL 出图。在 RunPod 和 Vast.ai 上，4090 单卡时租通常约为 H100 的十分之一。
H100 凭借高算力与高速 NVLink 互联，在多卡多节点分布式训练上效率突出，但硬件单价与租用门槛较高，主要面向企业级训练任务。
主流服务商逐一评估
Vultr GPU Cloud
Vultr 较早面向通用开发者提供 GPU 云主机，主力机型包含 NVIDIA L40S 和 A100，支持按小时计费，全球可用区分布广泛。
主要优势在于云生态平整：对象存储、VPC 私网、Kubernetes 和负载均衡都在同一控制台内，GPU 实例能直接挂载到现有业务链路中。平台提供 Marketplace 镜像，支持快速拉起预装环境。
整体属于中端标准云，单价比算力撮合平台高，但网络基础设施与 SLA 相对有保障。
DigitalOcean GPU Droplets
DigitalOcean 在整合 Paperspace 算力资源后推出了 GPU Droplets，主打 NVIDIA H100 实例。
DO 延续了控制台交互直观、文档规范的特点。对于已有业务部署在 DO 平台上的团队，扩容 GPU 节点几乎没有系统迁移成本，与 DOKS（Kubernetes）协同也相对成熟。
价格处于主流 H100 提供商的常规区间，以官方控制台实时结算为准。
Lambda Cloud
Lambda 专注 AI 深度学习算力，不销售普通建站 VPS。实例覆盖 RTX 4090、A100、H100，特定周期内也会上线 H200/B200 机型。
该平台在 AI 开发者与学术圈使用率较高，系统预装 CUDA、cuDNN 与 PyTorch 环境，免去了基础驱动配置成本，算力单价也相对务实。
主要短板在于热门机型常年库存紧张，偶发需要排队或等待释出，机房区域数量也少于综合型云厂商。适合模型微调与科研实验任务。
CoreWeave
CoreWeave 定位超大规模 AI 原生云，背靠 NVIDIA 算力资源扶持，持有规模庞大的 H100 与 A100 集群。
其商业模式面向具有大规模集群需求的企业客户，多采用长期协议合约采购，而非面向散户的按小时即开即停模式。
个人开发者或测试阶段的小团队门槛偏高，通常不作为轻量部署的第一选择。
RunPod
RunPod 介于标准云服务与分布式算力市场之间，常年提供单价较低的计算实例，涵盖 RTX 4090、A100 与 H100。
平台支持常规 Pod 虚拟机与 Serverless 容器模式，其中 Serverless 适合按调用量付费的推理 API 服务。社区沉淀了大量开箱镜像，包含 ComfyUI、SD WebUI 和 Ollama 模板。
需要注意的是，部分低价资源由第三方数据中心或机房托管，SLA 表现因机房而异，生产环境建议配置多节点冗余。
Vast.ai
Vast.ai 是去中心化的算力撮合市场，允许第三方主机提供商与个人出租闲置显卡，因此常能搜到单价极低的 RTX 3090、4090 或 A100 实例。
该模式的代价是稳定性完全取决于 Host 端：网络带宽差异大、宿主机可能随时离线或被强制回收。适合跑个人批处理作业、模型试跑和学习实验，不建议部署高可用线上服务。
TensorWave
TensorWave 主力部署 AMD Instinct MI300X 加速卡。MI300X 单卡配备 192GB HBM3 显存，能让 70B 级别的 FP16 未量化模型整卡载入，无需跨卡分片或激进量化。
适合需要跑高精度大模型长上下文推理、或基于 AMD ROCm 软件栈进行适配的团队。
Crusoe Cloud
Crusoe 主打高能效与清洁能源驱动的算力中心，采用油田伴生气转化电力和可再生能源。机型以 H100、H200 为主，同样是严肃的企业级算力供应商，偏重长周期合同与合规场景。
按工作负载选服务商
不同 AI 任务对计算资源的核心诉求各异：
- Ollama 本地 LLM 推理：RTX 4090 兼顾性能与成本，24GB 显存应对量化后的大多数主流开源模型空间充裕，优先考虑 RunPod 或 Vast.ai。
- Stable Diffusion / ComfyUI 出图：RTX 4090 显存与核心算力足以保证出图速度，可利用 RunPod 或 Vultr 预置镜像快速上线。
- 模型微调（LoRA / QLoRA）：优先选用 A100 80GB，显存余量充足，Lambda 与 RunPod 均为常见可选渠道。
- 全量预训练或跨卡分布式训练：H100 仍是当前主流方案，视预算与规模选择 Lambda 或 CoreWeave。
- 超大参数未量化模型单卡推理：可评估 TensorWave 的 MI300X 方案，省去复杂的张量并行配置。
| 工作负载 | 推荐 GPU | 推荐服务商 |
|---|---|---|
| Ollama 推理 | RTX 4090 | RunPod / Vast.ai |
| Stable Diffusion | RTX 4090 | RunPod / Vultr |
| ComfyUI | RTX 4090 | RunPod |
| LLM 微调 | A100 80GB | Lambda / RunPod |
| 大规模训练 | H100 | Lambda / CoreWeave |
| 超大模型推理 | MI300X / H100 | TensorWave / CoreWeave |
| 开发测试环境 | RTX 4090 / L40S | Vultr / DigitalOcean |
租 GPU 还是买 GPU
在自建工作站与租用云算力之间权衡，主要看开机利用率与任务形态：
单张 RTX 4090 采购硬件成本约 1,500–2,000 美元，按常规云端 4090 算力及周边存储综合租金折算，大致对应 1,500–2,000 小时的机时开销。若每天连续满载 8 小时以上，大约 6–8 个月硬件成本即与租金持平。
但自购硬件需要自行承担前期现金支出、机房/家庭电力与散热噪音、硬件折旧以及新一代架构迭代带来的残值波动。
一般评估逻辑：
- 按需租赁：适合短周期高强度微调、方案验证、弹性推理或间歇性出图需求。
- 自建硬件：适合业务负载稳定、有固定连续计算需求且具备基础运维环境的场景。
按预算选服务商
- 极度注重单价、接受节点不稳定性：Vast.ai，适合个人实验、开源模型尝鲜。
- 独立开发者与早期初创团队：RunPod，兼顾模板生态、价格与 API 灵活性。
- 已有业务上云、需要基础网络协同：Vultr 或 DigitalOcean，网络拓扑、存储与鉴权易于集成。
- 专业算法研究与中型训练：Lambda Cloud，深度学习软件栈开箱即用，硬件性能稳定。
- 企业级高并发与大规模集群：CoreWeave 或 Crusoe，通过合同制采购保障独占算力与 SLA。