跳转到内容

CUDA 生态全景:从 SM 到 AI 工厂

CUDA 不是「一个库」,也不只是「一门语言」,而是一套从 GPU 指令与驱动、编译器与运行库,一直延伸到 AI 框架和集群调度的纵向技术栈。 本文按自下而上的顺序梳理,并在第 4.5 节用三个可交互的火柴人动画解释最核心的原理。

版本口径:截至 2026 年 11 月,CUDA Toolkit 已演进到 13.x 世代(13.x 引入 Tile IR / CUDA Tile C++、加强 CUDA Python 支持,并提供新架构的开发者支持)。具体版本号、驱动最低要求与已移除特性请以 CUDA Toolkit Archive 和 官方文档 为准。

层 解决什么问题 代表组件 通常在哪接触
应用与框架 把业务问题变成可训练 / 可推理的计算图 PyTorch、JAX、TensorFlow、vLLM、TensorRT-LLM、Triton Inference Server 写模型、部署推理服务
编程模型与语言 描述「并行怎么切」 CUDA C++、Grid/Block/Warp、cuda-python、Numba、Triton、CUTLASS、Tile IR 写 kernel、写算子
官方库与工具链 复用高度优化的算子与通信原语 cuBLAS、cuDNN、CUTLASS、NCCL、TensorRT、nvcc、Nsight、Compute Sanitizer 调性能、排错、编译
运行时与驱动 把 kernel 和内存操作真正交给 GPU libcudart、libcuda、Stream / Graph、nvidia.ko、NVML、Container Toolkit 装环境、处理版本兼容
硬件与互联 执行指令、搬运数据 SM、Tensor Core、HBM、NVLink / NVSwitch、InfiniBand、MIG 选型、拓扑设计
CUDA 生态分层全景

点击架构图可全屏查看。上层调用下层,下层反过来约束上层:没有 Tensor Core 的 GPU 就走不了 FP8 / FP4 的 Transformer Engine 路径;驱动版本决定 toolkit 能不能跑起来。

一块 GPU 由若干 SM(Streaming Multiprocessor)、共享 L2、HBM 显存控制器和 NVLink / PCIe 接口组成。每个 SM 内部大致包含:

  • Warp Scheduler:每周期挑一个就绪 warp 发射指令,靠大量在飞线程隐藏访存延迟;
  • CUDA Core:FP32 / INT32 / FP64 标量运算单元,FP64 单元数量通常远少于 FP32;
  • Tensor Core:矩阵乘加专用单元,支持 TF32、BF16、FP16、FP8、INT8、FP4 等低精度(能力随架构代际变化);
  • Register File / Shared Memory / L1:线程私有寄存器、block 内可编程共享内存、片上缓存;
  • 特殊单元:Turing 起有 RT Core(光追),Hopper 起有 TMA(异步批量搬运)与 DPX 指令,Blackwell 起有第二代 Transformer Engine。

理解 SM 的意义在于:CUDA 的性能优化本质上是让 SM 的调度器、访存带宽和 Tensor Core 都别闲着。

架构(大致年代) 代表性能力 计算能力
Tesla / G80(2006) CUDA 诞生,统一着色器,C 扩展编程 sm_1x
Fermi(2010) 完整计算架构、L1/L2 缓存、ECC sm_2x
Kepler(2012) Dynamic Parallelism、Hyper-Q sm_3x
Maxwell(2014) 能效与每瓦性能大幅提升 sm_5x
Pascal(2016) NVLink 1.0、HBM2、统一内存改进 sm_6x
Volta(2017) 首代 Tensor Core、独立线程调度、NVLink 2 sm_70
Turing(2018) RT Core、INT8 / INT4 推理 sm_75
Ampere(2020) TF32 / BF16、结构化稀疏、MIG、第三代 Tensor Core sm_80 / sm_86
Hopper(2022) FP8 Transformer Engine、TMA、线程块集群、第四代 Tensor Core sm_90
Blackwell(2024) FP4 / 第二代 Transformer Engine、NVLink 5、NVL72 机架级互联 sm_100 系列
Rubin 世代(路线图) 新一代互联与 Tensor Core,CUDA 13.x 起提供开发者支持 见官方文档

计算能力(compute capability)决定能编译哪些指令、能用哪些特性,完整对照见 CUDA GPUs。

部件 作用域 角色
HBM / GDDR 显存 全设备 容量最大、带宽最高,但延迟最高;需要合并访存
L2 全 GPU 设备级缓存,跨 SM 共享
Shared Memory / L1 单个 block / SM 可编程片上暂存,用于分块复用与 block 内协作
Register File 单个线程 最快的存储,寄存器溢出会落到 local memory(实际在显存)
NVLink / NVSwitch 机内 GPU 之间 远高于 PCIe 的 GPU-GPU 带宽,是多卡并行的关键
PCIe CPU ↔ GPU 通用通道,也是 H2D / D2H 拷贝的默认路径
GPUDirect RDMA / Storage 网卡 / 存储 ↔ GPU 绕过 CPU 内存中转,降低多机通信与数据加载延迟
MIG / MPS 单卡虚拟化 / 共享 把一块 GPU 切分或让多进程共享

消费级 GeForce / RTX、专业工作站 RTX 与 L 系列、数据中心 A / H / B / GB 系列、整机 DGX / HGX / GB200 NVL72、云上 GPU 实例,以及边缘侧 Jetson(ARM + 集成 GPU)。同一份 CUDA 源码可以跨形态编译,但性能特性、可用精度和互联能力差别很大。

层 典型入口 特点
CUDA Runtime API cudaMemcpy、cudaMalloc、cudaLaunchKernel、<<<...>>> libcudart,隐式 context、自动初始化,最常用
CUDA Driver API cuInit、cuCtxCreate、cuModuleLoad、cuLaunchKernel libcuda.so,随驱动安装,显式控制、更底层
内核驱动与固件 nvidia.ko、GSP 固件、NVML 由驱动包提供,nvidia-smi / DCGM 从这里读信息

Runtime API 最终会调用 Driver API;两者可以混用。另有 NVML(监控管理)、CUPTI(性能采集接口)、cuda-python(官方 Python 绑定)等旁路接口。

  • 驱动决定「能运行的最高 CUDA 版本」,Toolkit 决定「编译时能用的 API 与 PTX 特性」,二者可以不同版本共存;
  • CUDA 11 起引入 Minor Version Compatibility:同一 major 版本内,较新 Toolkit 编译的程序可在较旧的(满足最低要求的)驱动上运行;跨 major 不行;
  • 数据中心场景还有 Forward Compatibility:通过驱动包中的兼容组件运行更新版 userspace;
  • 编译目标用 -gencode arch=compute_XX,code=sm_XX 指定:只带 PTX 可在新架构上 JIT 运行(首次有编译开销),带 SASS/cubin 则只能在对应架构上跑,通常把多代代码打进 fatbin;
  • 容器里不装内核驱动,只需要匹配版本的 userspace 库 + NVIDIA Container Toolkit 把宿主驱动挂载进来;
  • PyTorch 等 Python wheel 现在多自带 CUDA runtime 依赖,但内核驱动仍由宿主机决定。
现象 常见原因 处理
CUDA driver version is insufficient 驱动低于 Toolkit 最低要求 升级驱动,或改用较低版本 Toolkit / wheel
no kernel image is available for execution 编译时没包含该 GPU 的 sm_XX 补 -gencode,或保留 PTX 走 JIT
第一次启动很慢 PTX JIT 编译 预编译对应 cubin、开启持久化 JIT 缓存
宿主机 nvidia-smi 显示版本与 nvcc --version 不一致 两者本来就是不同组件 核对兼容性矩阵,不必强行一致

详见 CUDA Compatibility Guide 与 Linux Installation Guide。

终端窗口
nvidia-smi # 驱动版本、GPU 拓扑、显存与进程
nvidia-smi topo -m # 机内 GPU / 网卡互联拓扑
nvcc --version # Toolkit 编译器版本
/usr/local/cuda/extras/demo_suite/deviceQuery # 计算能力、SM 数(来自 cuda-samples)
python -c "import torch; print(torch.version.cuda, torch.cuda.get_device_capability())"
ncu --version && nsys --version # Nsight Compute / Systems

CPU(Host)与 GPU(Device)有各自的地址空间。一次典型调用是:分配显存 → 拷贝输入 → 启动 kernel → 等待 → 拷回结果。

__global__ void saxpy(int n, float a, const float* x, float* y) {
int i = blockIdx.x * blockDim.x + threadIdx.x; // 每个线程负责一个元素
if (i < n) y[i] = a * x[i] + y[i];
}
// Host 侧
cudaMemcpy(d_x, x, bytes, cudaMemcpyHostToDevice);
saxpy<<<(n + 255) / 256, 256>>>(n, a, d_x, d_y); // <<<grid, block>>>
cudaMemcpy(y, d_y, bytes, cudaMemcpyDeviceToHost);

<<<...>>> 语法由 nvcc 展开为 Runtime API 调用,因此 grid、block 的切分方式直接决定有多少线程、如何映射到数据。

层级 作用域 关键能力
Grid 一次 kernel 启动 由若干 block 组成,最多三维
Block 被调度到一个 SM 块内可 __syncthreads()、共享 shared memory
Warp 32 个连续线程 硬件调度单位,同一时刻执行同一条指令(SIMT)
Thread 最小执行单元 私有寄存器、局部索引 threadIdx

由此得到两个推论:同一个 warp 里出现 if/else 分支时会发生分支发散,两条路径被串行执行,未走该路径的线程被屏蔽;block 之间没有执行顺序保证,跨 block 协作要靠原子操作、kernel 边界或 Cooperative Groups。

层次 作用域 延迟量级 优化要点
Register 线程 ~1 cycle 控制每线程寄存器用量,避免溢出到 local memory
Shared Memory / L1 block / SM 几十 cycle 分块复用数据;避免 bank conflict
L2 全 GPU 百 cycle 量级 提高数据复用、合理使用缓存策略
Global(HBM) 全设备 / 主机可访问 数百 cycle 合并访存(连续线程访问连续地址)是第一位
Constant / Texture 只读 有缓存 适合只读参数与具备局部性的采样
Unified / Managed 统一虚拟地址 取决于页面位置 简化编程,但要留意页面迁移带来的抖动
Pinned Host Memory 主机侧 — 页锁定内存是 cudaMemcpyAsync 真正异步的前提

延迟数字仅表示量级,随架构与频率变化。

  • Stream:同一 stream 内顺序执行,不同 stream 可重叠拷贝与计算;
  • Event:计时与跨流依赖;cudaMemcpyAsync + pinned memory 才能与 kernel 重叠;
  • CUDA Graphs:把一串 launch 捕获成图,显著降低 CPU 侧反复启动 kernel 的开销,对推理小 batch 尤其有效;
  • Cooperative Groups / Dynamic Parallelism:更灵活的线程组同步、kernel 内再启动 kernel;
  • 原子操作与 fence:跨线程 / 跨 block 同步的底层手段。

4.5 火柴人互动讲解:三个核心原理

Section titled “4.5 火柴人互动讲解:三个核心原理”

动画滚动到视口会自动播放一次;点击画面重播,点击下面任一步骤可跳到对应片段,步骤会随动画同步高亮。尊重系统的「减少动态效果」设置时只显示静态帧。

原理一 · CPU 与 GPU 怎么分工

左侧是 Host(CPU),右侧是 Device(GPU)。注意数据要「过一次 PCIe」,而计算发生在成千上万个线程上。

  1. 1准备输入:分配显存,用 cudaMemcpy(或异步版)把数据从 Host 搬到 Device,这一步受 PCIe 带宽限制。
  2. 2启动 kernel:kernel<<<grid, block>>>() 描述要启动多少线程,Driver 把任务下发给 GPU。
  3. 3并行计算:大量线程同时执行同一份 kernel,靠 warp 切换隐藏访存延迟——GPU 擅长的是吞吐,不是单线程低延迟。
  4. 4取回结果:同步后 cudaMemcpy 把结果搬回 Host。频繁来回搬运会吃掉算力,所以要把尽量多的步骤留在 GPU 上。

原理二 · Grid / Block / Warp 与分支发散

蓝色高亮代表一个 warp 同时执行同一条指令;灰色小人代表在分支中被屏蔽(masked)的线程。

  1. 1划分 Grid:一次 kernel 启动对应一个 Grid,它由许多 block 组成,维度通常按数据形状来选。
  2. 2调度 Block 到 SM:block 是资源分配单位,块内线程可以共享 shared memory 并用 __syncthreads() 同步。
  3. 3Warp 同步执行:32 个线程一条指令(SIMT),所以让同一 warp 访问连续地址、走同一分支,性能最好。
  4. 4分支发散:warp 内出现 if/else 时两条路径串行执行,被屏蔽的线程空等,实际吞吐下降。

原理三 · 为什么要有显存层次

从右往左看:容量越来越小、速度越来越快。矩阵乘的 tiling 优化本质就是让数据尽量停在离 SM 近的地方。

  1. 1Global Memory / HBM:容量大但延迟高,必须合并访存,避免随机的小块读取。
  2. 2Shared Memory / L1:把一小块数据(tile)搬进来给整个 block 反复用,这是 GEMM 优化的核心。
  3. 3Register:每个线程的私有寄存器,一个 cycle 量级即可取数,但数量有限,用多了会降低占用率。
  4. 4计算并写回:在寄存器里完成乘加,再按层次写回;把「搬运次数」压下来往往比优化算术更有效。
陷阱 表现 对策
分支发散 warp 利用率低 按 warp 对齐分支、改用查表 / mask
非合并访存 显存带宽跑不满 调整数据布局(SoA)、让连续线程读连续地址
Shared memory bank conflict 共享内存变慢 padding、调整 tile 形状
寄存器溢出 / 占用率低 SM 上活跃 warp 太少 调 --maxrregcount、块大小,用 Occupancy Calculator 估算
隐式同步 时间线上出现空洞 避免默认 stream 上的同步拷贝,用异步 + event
频繁 kernel launch CPU 成为瓶颈 CUDA Graphs、算子融合
flowchart LR
A[".cu 源码"] --> B["nvcc 拆分 host / device"]
B --> C["Host 代码 → gcc / clang"]
B --> D["Device 代码 → PTX 虚拟 ISA"]
D --> E["ptxas → SASS / cubin"]
C --> F["fatbin + 可执行文件"]
E --> F
F --> G["驱动加载 / PTX JIT → GPU 执行"]
概念 说明
PTX 虚拟 ISA,与具体 GPU 解耦,可被驱动 JIT 到新架构
SASS 真实机器码,绑定 sm_XX,用 cuobjdump / nvdisasm 反汇编
cubin / fatbin 单个架构的二进制 / 打包多架构二进制
-gencode 指定 compute_XX / sm_XX 组合,决定可执行文件支持哪些 GPU
NVRTC 运行时编译 CUDA 字符串,适合动态生成 kernel
libdevice 设备侧数学函数库(如 __nv_sinf)
Tile IR / CUDA Tile C++ CUDA 13.x 起引入的分块(tile)级编程抽象
clang CUDA LLVM 路线的 CUDA 编译,常用于与 HIP / SYCL 共存的工程
工具 用途
nvcc、ptxas 编译与汇编
cuobjdump、nvdisasm、nvprune 查看 cubin / SASS、裁剪 fatbin
cuda-gdb 设备侧断点调试
compute-sanitizer memcheck / racecheck / initcheck / synccheck
nsys(Nsight Systems) 系统级时间线:拷贝、kernel、CPU 阻塞、多卡协同
ncu(Nsight Compute) kernel 级指标:stall 原因、吞吐、占用率、指令构成
CUPTI / NVML / DCGM 采集接口与监控,支撑自研 profiler 与集群告警
CMake LANGUAGES CUDA、cuda-python、setuptools 扩展 工程化构建与 Python 打包
类别 代表库 作用
线性代数与数学 cuBLAS / cuBLASLt、cuSPARSE、cuSOLVER、cuFFT、cuRAND GEMM、稀疏、求解、FFT、随机数
原语与模板 CUB、Thrust、libcudacxx、CUTLASS warp/block 级原语、并行算法、可定制 GEMM 模板
深度学习训练 cuDNN、CUTLASS、cuDNN Frontend 卷积、注意力、归一化等算子
推理 TensorRT、TensorRT-LLM、Triton Inference Server、DALI 图优化、量化、LLM 推理引擎、服务化与数据预处理
通信 NCCL、NVSHMEM 集合通信与 GPU 侧共享内存模型(见站内 NCCL 笔记)
数据与多媒体 RAPIDS(cuDF / cuML / cuGraph)、CV-CUDA、nvJPEG、NVDEC / NVENC 数据框、图计算、图像视频编解码
领域计算 cuQuantum、cuOpt、 cuSOLVER、HPC SDK、CUDA-X 系列 量子模拟、组合优化、HPC 工具集合

经验规则:能用官方库就别自己写 kernel;库跟不上时先用 CUTLASS / Triton 定制,最后才手写 CUDA C++。

  • 框架:PyTorch(最主流)、TensorFlow、JAX / XLA、PaddlePaddle;推理侧 vLLM、SGLang、TensorRT-LLM、Triton Inference Server;训练侧 DeepSpeed、Megatron-LM、FSDP;算子侧 FlashAttention、FlashInfer、xFormers。
  • Python 路线:官方 cuda-python(Driver/Runtime binding)、CuPy、Numba、PyCUDA、Triton DSL、CUTLASS DSL;JAX/PyTorch 的自定义算子通常落到 Triton 或 CUDA C++ 扩展。
  • 其他语言:CUDA Fortran(HPC SDK)、Julia CUDA.jl、C++ 标准并行(via nvc++)、OpenACC 指令式并行。
  • 跨厂商:ROCm / HIP + HIPIFY、SYCL / oneAPI、OpenCL、Vulkan Compute、ZLUDA 等兼容层。它们解决的是「可移植」,但性能调优路径、库生态与工具链仍与 CUDA 不同,迁移需要重新做性能验证。
并行策略 切分方式 主要通信
数据并行 DP / DDP 切样本 all-reduce 梯度
张量并行 TP 切矩阵维度 all-reduce / all-gather
流水并行 PP 切层 点对点 send/recv
专家并行 EP 切 MoE 专家 all-to-all
序列并行 SP / 上下文并行 切序列 all-gather / reduce-scatter

底层依赖 NCCL 的集合通信原语(all-reduce、all-gather、reduce-scatter、broadcast、all-to-all、send/recv),以及机内 NVLink / NVSwitch、跨机 InfiniBand / RoCE、GPUDirect RDMA、CUDA-aware MPI / UCX。拓扑感知的 rank 映射往往能带来成倍差异,参见 NCCL 官方文档 与站内 NCCL 笔记。

组件 作用
NVIDIA Driver + nvidia.ko / GSP 宿主机必须安装,版本决定可运行的 CUDA 上限
NVIDIA Container Toolkit 把驱动与设备节点挂进容器(--gpus)
nvidia/cuda 镜像 base(最小 runtime)、runtime、devel(含 nvcc)三层
Kubernetes Device Plugin 把 GPU 作为可调度资源暴露
GPU Operator 用 Operator 统一管理驱动、Toolkit、插件、监控
MIG / vGPU / MPS 单卡切分、虚拟化、多进程共享
DRA(Dynamic Resource Allocation) K8s 新一代设备资源分配方式
DCGM Exporter / NVML GPU 指标采集、Prometheus 告警、故障定位

多版本共存建议:宿主机只保留一套驱动,把不同 CUDA Toolkit 放进不同容器镜像;主机上如需多版本,用 /usr/local/cuda-X.Y 加环境变量或 module 切换。

  1. 先正确再快:用 compute-sanitizer 排掉越界、竞态、未初始化。
  2. 看全局时间线:nsys 找出是 kernel 慢、拷贝慢,还是 CPU 在等同步。
  3. 看单个 kernel:ncu 判断瓶颈是访存带宽、计算吞吐、占用率还是 warp stall。
  4. 按 Roofline 决策:算力受限就上 Tensor Core / 低精度;带宽受限就改数据布局、复用与融合。
  5. 减少开销:异步拷贝重叠、CUDA Graphs、算子融合、避免隐式同步。
  6. 回归验证:记录吞吐、延迟、显存峰值与功耗,绑定 GPU 型号 / 驱动 / Toolkit 版本。
指标 关注点
SM / Tensor Core Utilization 计算单元是否闲置
Memory Throughput 是否接近 HBM 理论带宽
Achieved Occupancy 活跃 warp 是否足够隐藏延迟
Warp Stall Reasons 卡在访存、同步、分支还是指令发射
DRAM / L2 / Shared 命中与事务数 合并访存与复用是否有效
  • CUDA Toolkit 可免费下载使用,但属于专有软件,受 NVIDIA EULA 约束;EULA 中包含对转译、在非 NVIDIA 硬件上运行等行为的限制条款,商业化使用前应核对当前许可证原文;
  • 生态锁定主要体现在算子库、性能调优经验、集群工具链与驱动兼容矩阵,而不只是语言本身;
  • 风险对冲:保持算子层抽象(框架 / Triton / CUTLASS)、保留 ROCm 或 SYCL 验证路径、在 CI 中固定驱动与 Toolkit 版本;
  • NVIDIA AI Enterprise、NGC、CUDA-X 属于商业支持与预集成发行形态,和开源 Toolkit 的边界要区分。
角色 建议路径
应用 / 算法工程师 先用框架 → 理解 Host/Device 与显存 → 学会看 nvidia-smi 与 nsys → 用 Triton 写算子
性能 / 算子工程师 CUDA C++ 编程模型 → 内存层次与合并访存 → CUTLASS / cuBLASLt → ncu 指标与 SASS
平台 / 运维 驱动与兼容矩阵 → Container Toolkit → Device Plugin / GPU Operator → MIG 与 DCGM 监控
研究者 / 学生 cuda-samples → Programming Guide → Best Practices Guide → 复现一个 GEMM 分块优化

常用入口:

终端窗口
nsys profile -t cuda,nvtx ./app # 系统级时间线
ncu --set full -o report ./app # kernel 级详细指标
compute-sanitizer --tool memcheck ./app # 内存与同步错误
cuobjdump -sass ./app | less # 查看生成的 SASS
CUDA_VISIBLE_DEVICES=0,1 ./app # 控制可见 GPU