CUDA 生态全景:从 SM 到 AI 工厂
CUDA 不是「一个库」,也不只是「一门语言」,而是一套从 GPU 指令与驱动、编译器与运行库,一直延伸到 AI 框架和集群调度的纵向技术栈。 本文按自下而上的顺序梳理,并在第 4.5 节用三个可交互的火柴人动画解释最核心的原理。
版本口径:截至 2026 年 11 月,CUDA Toolkit 已演进到 13.x 世代(13.x 引入 Tile IR / CUDA Tile C++、加强 CUDA Python 支持,并提供新架构的开发者支持)。具体版本号、驱动最低要求与已移除特性请以 CUDA Toolkit Archive 和 官方文档 为准。
1. 一张图看懂分层
Section titled “1. 一张图看懂分层”| 层 | 解决什么问题 | 代表组件 | 通常在哪接触 |
|---|---|---|---|
| 应用与框架 | 把业务问题变成可训练 / 可推理的计算图 | PyTorch、JAX、TensorFlow、vLLM、TensorRT-LLM、Triton Inference Server | 写模型、部署推理服务 |
| 编程模型与语言 | 描述「并行怎么切」 | CUDA C++、Grid/Block/Warp、cuda-python、Numba、Triton、CUTLASS、Tile IR | 写 kernel、写算子 |
| 官方库与工具链 | 复用高度优化的算子与通信原语 | cuBLAS、cuDNN、CUTLASS、NCCL、TensorRT、nvcc、Nsight、Compute Sanitizer | 调性能、排错、编译 |
| 运行时与驱动 | 把 kernel 和内存操作真正交给 GPU | libcudart、libcuda、Stream / Graph、nvidia.ko、NVML、Container Toolkit | 装环境、处理版本兼容 |
| 硬件与互联 | 执行指令、搬运数据 | SM、Tensor Core、HBM、NVLink / NVSwitch、InfiniBand、MIG | 选型、拓扑设计 |
点击架构图可全屏查看。上层调用下层,下层反过来约束上层:没有 Tensor Core 的 GPU 就走不了 FP8 / FP4 的 Transformer Engine 路径;驱动版本决定 toolkit 能不能跑起来。
2. 硬件层:算力从哪里来
Section titled “2. 硬件层:算力从哪里来”2.1 SM 是基本执行单元
Section titled “2.1 SM 是基本执行单元”一块 GPU 由若干 SM(Streaming Multiprocessor)、共享 L2、HBM 显存控制器和 NVLink / PCIe 接口组成。每个 SM 内部大致包含:
- Warp Scheduler:每周期挑一个就绪 warp 发射指令,靠大量在飞线程隐藏访存延迟;
- CUDA Core:FP32 / INT32 / FP64 标量运算单元,FP64 单元数量通常远少于 FP32;
- Tensor Core:矩阵乘加专用单元,支持 TF32、BF16、FP16、FP8、INT8、FP4 等低精度(能力随架构代际变化);
- Register File / Shared Memory / L1:线程私有寄存器、block 内可编程共享内存、片上缓存;
- 特殊单元:Turing 起有 RT Core(光追),Hopper 起有 TMA(异步批量搬运)与 DPX 指令,Blackwell 起有第二代 Transformer Engine。
理解 SM 的意义在于:CUDA 的性能优化本质上是让 SM 的调度器、访存带宽和 Tensor Core 都别闲着。
2.2 架构代际与能力演进
Section titled “2.2 架构代际与能力演进”| 架构(大致年代) | 代表性能力 | 计算能力 |
|---|---|---|
| Tesla / G80(2006) | CUDA 诞生,统一着色器,C 扩展编程 | sm_1x |
| Fermi(2010) | 完整计算架构、L1/L2 缓存、ECC | sm_2x |
| Kepler(2012) | Dynamic Parallelism、Hyper-Q | sm_3x |
| Maxwell(2014) | 能效与每瓦性能大幅提升 | sm_5x |
| Pascal(2016) | NVLink 1.0、HBM2、统一内存改进 | sm_6x |
| Volta(2017) | 首代 Tensor Core、独立线程调度、NVLink 2 | sm_70 |
| Turing(2018) | RT Core、INT8 / INT4 推理 | sm_75 |
| Ampere(2020) | TF32 / BF16、结构化稀疏、MIG、第三代 Tensor Core | sm_80 / sm_86 |
| Hopper(2022) | FP8 Transformer Engine、TMA、线程块集群、第四代 Tensor Core | sm_90 |
| Blackwell(2024) | FP4 / 第二代 Transformer Engine、NVLink 5、NVL72 机架级互联 | sm_100 系列 |
| Rubin 世代(路线图) | 新一代互联与 Tensor Core,CUDA 13.x 起提供开发者支持 | 见官方文档 |
计算能力(compute capability)决定能编译哪些指令、能用哪些特性,完整对照见 CUDA GPUs。
2.3 存储与互联
Section titled “2.3 存储与互联”| 部件 | 作用域 | 角色 |
|---|---|---|
| HBM / GDDR 显存 | 全设备 | 容量最大、带宽最高,但延迟最高;需要合并访存 |
| L2 | 全 GPU | 设备级缓存,跨 SM 共享 |
| Shared Memory / L1 | 单个 block / SM | 可编程片上暂存,用于分块复用与 block 内协作 |
| Register File | 单个线程 | 最快的存储,寄存器溢出会落到 local memory(实际在显存) |
| NVLink / NVSwitch | 机内 GPU 之间 | 远高于 PCIe 的 GPU-GPU 带宽,是多卡并行的关键 |
| PCIe | CPU ↔ GPU | 通用通道,也是 H2D / D2H 拷贝的默认路径 |
| GPUDirect RDMA / Storage | 网卡 / 存储 ↔ GPU | 绕过 CPU 内存中转,降低多机通信与数据加载延迟 |
| MIG / MPS | 单卡虚拟化 / 共享 | 把一块 GPU 切分或让多进程共享 |
2.4 产品形态
Section titled “2.4 产品形态”消费级 GeForce / RTX、专业工作站 RTX 与 L 系列、数据中心 A / H / B / GB 系列、整机 DGX / HGX / GB200 NVL72、云上 GPU 实例,以及边缘侧 Jetson(ARM + 集成 GPU)。同一份 CUDA 源码可以跨形态编译,但性能特性、可用精度和互联能力差别很大。
3. 驱动、运行时与版本兼容
Section titled “3. 驱动、运行时与版本兼容”3.1 三层 API 的关系
Section titled “3.1 三层 API 的关系”| 层 | 典型入口 | 特点 |
|---|---|---|
| CUDA Runtime API | cudaMemcpy、cudaMalloc、cudaLaunchKernel、<<<...>>> |
libcudart,隐式 context、自动初始化,最常用 |
| CUDA Driver API | cuInit、cuCtxCreate、cuModuleLoad、cuLaunchKernel |
libcuda.so,随驱动安装,显式控制、更底层 |
| 内核驱动与固件 | nvidia.ko、GSP 固件、NVML |
由驱动包提供,nvidia-smi / DCGM 从这里读信息 |
Runtime API 最终会调用 Driver API;两者可以混用。另有 NVML(监控管理)、CUPTI(性能采集接口)、cuda-python(官方 Python 绑定)等旁路接口。
3.2 版本匹配是最常见的坑
Section titled “3.2 版本匹配是最常见的坑”- 驱动决定「能运行的最高 CUDA 版本」,Toolkit 决定「编译时能用的 API 与 PTX 特性」,二者可以不同版本共存;
- CUDA 11 起引入 Minor Version Compatibility:同一 major 版本内,较新 Toolkit 编译的程序可在较旧的(满足最低要求的)驱动上运行;跨 major 不行;
- 数据中心场景还有 Forward Compatibility:通过驱动包中的兼容组件运行更新版 userspace;
- 编译目标用
-gencode arch=compute_XX,code=sm_XX指定:只带 PTX 可在新架构上 JIT 运行(首次有编译开销),带 SASS/cubin 则只能在对应架构上跑,通常把多代代码打进 fatbin; - 容器里不装内核驱动,只需要匹配版本的 userspace 库 + NVIDIA Container Toolkit 把宿主驱动挂载进来;
- PyTorch 等 Python wheel 现在多自带 CUDA runtime 依赖,但内核驱动仍由宿主机决定。
| 现象 | 常见原因 | 处理 |
|---|---|---|
CUDA driver version is insufficient |
驱动低于 Toolkit 最低要求 | 升级驱动,或改用较低版本 Toolkit / wheel |
no kernel image is available for execution |
编译时没包含该 GPU 的 sm_XX |
补 -gencode,或保留 PTX 走 JIT |
| 第一次启动很慢 | PTX JIT 编译 | 预编译对应 cubin、开启持久化 JIT 缓存 |
宿主机 nvidia-smi 显示版本与 nvcc --version 不一致 |
两者本来就是不同组件 | 核对兼容性矩阵,不必强行一致 |
详见 CUDA Compatibility Guide 与 Linux Installation Guide。
3.3 环境自检
Section titled “3.3 环境自检”nvidia-smi # 驱动版本、GPU 拓扑、显存与进程nvidia-smi topo -m # 机内 GPU / 网卡互联拓扑nvcc --version # Toolkit 编译器版本/usr/local/cuda/extras/demo_suite/deviceQuery # 计算能力、SM 数(来自 cuda-samples)python -c "import torch; print(torch.version.cuda, torch.cuda.get_device_capability())"ncu --version && nsys --version # Nsight Compute / Systems4. 编程模型:CUDA 的真正内核
Section titled “4. 编程模型:CUDA 的真正内核”4.1 Host / Device 与 kernel launch
Section titled “4.1 Host / Device 与 kernel launch”CPU(Host)与 GPU(Device)有各自的地址空间。一次典型调用是:分配显存 → 拷贝输入 → 启动 kernel → 等待 → 拷回结果。
__global__ void saxpy(int n, float a, const float* x, float* y) { int i = blockIdx.x * blockDim.x + threadIdx.x; // 每个线程负责一个元素 if (i < n) y[i] = a * x[i] + y[i];}
// Host 侧cudaMemcpy(d_x, x, bytes, cudaMemcpyHostToDevice);saxpy<<<(n + 255) / 256, 256>>>(n, a, d_x, d_y); // <<<grid, block>>>cudaMemcpy(y, d_y, bytes, cudaMemcpyDeviceToHost);<<<...>>> 语法由 nvcc 展开为 Runtime API 调用,因此 grid、block 的切分方式直接决定有多少线程、如何映射到数据。
4.2 线程层次与 SIMT
Section titled “4.2 线程层次与 SIMT”| 层级 | 作用域 | 关键能力 |
|---|---|---|
| Grid | 一次 kernel 启动 | 由若干 block 组成,最多三维 |
| Block | 被调度到一个 SM | 块内可 __syncthreads()、共享 shared memory |
| Warp | 32 个连续线程 | 硬件调度单位,同一时刻执行同一条指令(SIMT) |
| Thread | 最小执行单元 | 私有寄存器、局部索引 threadIdx |
由此得到两个推论:同一个 warp 里出现 if/else 分支时会发生分支发散,两条路径被串行执行,未走该路径的线程被屏蔽;block 之间没有执行顺序保证,跨 block 协作要靠原子操作、kernel 边界或 Cooperative Groups。
4.3 内存层次
Section titled “4.3 内存层次”| 层次 | 作用域 | 延迟量级 | 优化要点 |
|---|---|---|---|
| Register | 线程 | ~1 cycle | 控制每线程寄存器用量,避免溢出到 local memory |
| Shared Memory / L1 | block / SM | 几十 cycle | 分块复用数据;避免 bank conflict |
| L2 | 全 GPU | 百 cycle 量级 | 提高数据复用、合理使用缓存策略 |
| Global(HBM) | 全设备 / 主机可访问 | 数百 cycle | 合并访存(连续线程访问连续地址)是第一位 |
| Constant / Texture | 只读 | 有缓存 | 适合只读参数与具备局部性的采样 |
| Unified / Managed | 统一虚拟地址 | 取决于页面位置 | 简化编程,但要留意页面迁移带来的抖动 |
| Pinned Host Memory | 主机侧 | — | 页锁定内存是 cudaMemcpyAsync 真正异步的前提 |
延迟数字仅表示量级,随架构与频率变化。
4.4 异步、流与图
Section titled “4.4 异步、流与图”- Stream:同一 stream 内顺序执行,不同 stream 可重叠拷贝与计算;
- Event:计时与跨流依赖;
cudaMemcpyAsync+ pinned memory 才能与 kernel 重叠; - CUDA Graphs:把一串 launch 捕获成图,显著降低 CPU 侧反复启动 kernel 的开销,对推理小 batch 尤其有效;
- Cooperative Groups / Dynamic Parallelism:更灵活的线程组同步、kernel 内再启动 kernel;
- 原子操作与 fence:跨线程 / 跨 block 同步的底层手段。
4.5 火柴人互动讲解:三个核心原理
Section titled “4.5 火柴人互动讲解:三个核心原理”动画滚动到视口会自动播放一次;点击画面重播,点击下面任一步骤可跳到对应片段,步骤会随动画同步高亮。尊重系统的「减少动态效果」设置时只显示静态帧。
原理一 · CPU 与 GPU 怎么分工
左侧是 Host(CPU),右侧是 Device(GPU)。注意数据要「过一次 PCIe」,而计算发生在成千上万个线程上。
- 1准备输入:分配显存,用
cudaMemcpy(或异步版)把数据从 Host 搬到 Device,这一步受 PCIe 带宽限制。 - 2启动 kernel:
kernel<<<grid, block>>>()描述要启动多少线程,Driver 把任务下发给 GPU。 - 3并行计算:大量线程同时执行同一份 kernel,靠 warp 切换隐藏访存延迟——GPU 擅长的是吞吐,不是单线程低延迟。
- 4取回结果:同步后
cudaMemcpy把结果搬回 Host。频繁来回搬运会吃掉算力,所以要把尽量多的步骤留在 GPU 上。
原理二 · Grid / Block / Warp 与分支发散
蓝色高亮代表一个 warp 同时执行同一条指令;灰色小人代表在分支中被屏蔽(masked)的线程。
- 1划分 Grid:一次 kernel 启动对应一个 Grid,它由许多 block 组成,维度通常按数据形状来选。
- 2调度 Block 到 SM:block 是资源分配单位,块内线程可以共享 shared memory 并用
__syncthreads()同步。 - 3Warp 同步执行:32 个线程一条指令(SIMT),所以让同一 warp 访问连续地址、走同一分支,性能最好。
- 4分支发散:warp 内出现
if/else时两条路径串行执行,被屏蔽的线程空等,实际吞吐下降。
原理三 · 为什么要有显存层次
从右往左看:容量越来越小、速度越来越快。矩阵乘的 tiling 优化本质就是让数据尽量停在离 SM 近的地方。
- 1Global Memory / HBM:容量大但延迟高,必须合并访存,避免随机的小块读取。
- 2Shared Memory / L1:把一小块数据(tile)搬进来给整个 block 反复用,这是 GEMM 优化的核心。
- 3Register:每个线程的私有寄存器,一个 cycle 量级即可取数,但数量有限,用多了会降低占用率。
- 4计算并写回:在寄存器里完成乘加,再按层次写回;把「搬运次数」压下来往往比优化算术更有效。
4.6 常见陷阱速查
Section titled “4.6 常见陷阱速查”| 陷阱 | 表现 | 对策 |
|---|---|---|
| 分支发散 | warp 利用率低 | 按 warp 对齐分支、改用查表 / mask |
| 非合并访存 | 显存带宽跑不满 | 调整数据布局(SoA)、让连续线程读连续地址 |
| Shared memory bank conflict | 共享内存变慢 | padding、调整 tile 形状 |
| 寄存器溢出 / 占用率低 | SM 上活跃 warp 太少 | 调 --maxrregcount、块大小,用 Occupancy Calculator 估算 |
| 隐式同步 | 时间线上出现空洞 | 避免默认 stream 上的同步拷贝,用异步 + event |
| 频繁 kernel launch | CPU 成为瓶颈 | CUDA Graphs、算子融合 |
5. 编译器与工具链
Section titled “5. 编译器与工具链”5.1 nvcc 做了什么
Section titled “5.1 nvcc 做了什么”flowchart LR A[".cu 源码"] --> B["nvcc 拆分 host / device"] B --> C["Host 代码 → gcc / clang"] B --> D["Device 代码 → PTX 虚拟 ISA"] D --> E["ptxas → SASS / cubin"] C --> F["fatbin + 可执行文件"] E --> F F --> G["驱动加载 / PTX JIT → GPU 执行"]5.2 关键概念
Section titled “5.2 关键概念”| 概念 | 说明 |
|---|---|
| PTX | 虚拟 ISA,与具体 GPU 解耦,可被驱动 JIT 到新架构 |
| SASS | 真实机器码,绑定 sm_XX,用 cuobjdump / nvdisasm 反汇编 |
| cubin / fatbin | 单个架构的二进制 / 打包多架构二进制 |
-gencode |
指定 compute_XX / sm_XX 组合,决定可执行文件支持哪些 GPU |
| NVRTC | 运行时编译 CUDA 字符串,适合动态生成 kernel |
| libdevice | 设备侧数学函数库(如 __nv_sinf) |
| Tile IR / CUDA Tile C++ | CUDA 13.x 起引入的分块(tile)级编程抽象 |
| clang CUDA | LLVM 路线的 CUDA 编译,常用于与 HIP / SYCL 共存的工程 |
5.3 常用工具
Section titled “5.3 常用工具”| 工具 | 用途 |
|---|---|
nvcc、ptxas |
编译与汇编 |
cuobjdump、nvdisasm、nvprune |
查看 cubin / SASS、裁剪 fatbin |
cuda-gdb |
设备侧断点调试 |
compute-sanitizer |
memcheck / racecheck / initcheck / synccheck |
nsys(Nsight Systems) |
系统级时间线:拷贝、kernel、CPU 阻塞、多卡协同 |
ncu(Nsight Compute) |
kernel 级指标:stall 原因、吞吐、占用率、指令构成 |
| CUPTI / NVML / DCGM | 采集接口与监控,支撑自研 profiler 与集群告警 |
CMake LANGUAGES CUDA、cuda-python、setuptools 扩展 |
工程化构建与 Python 打包 |
6. 官方库与 SDK
Section titled “6. 官方库与 SDK”| 类别 | 代表库 | 作用 |
|---|---|---|
| 线性代数与数学 | cuBLAS / cuBLASLt、cuSPARSE、cuSOLVER、cuFFT、cuRAND | GEMM、稀疏、求解、FFT、随机数 |
| 原语与模板 | CUB、Thrust、libcudacxx、CUTLASS | warp/block 级原语、并行算法、可定制 GEMM 模板 |
| 深度学习训练 | cuDNN、CUTLASS、cuDNN Frontend | 卷积、注意力、归一化等算子 |
| 推理 | TensorRT、TensorRT-LLM、Triton Inference Server、DALI | 图优化、量化、LLM 推理引擎、服务化与数据预处理 |
| 通信 | NCCL、NVSHMEM | 集合通信与 GPU 侧共享内存模型(见站内 NCCL 笔记) |
| 数据与多媒体 | RAPIDS(cuDF / cuML / cuGraph)、CV-CUDA、nvJPEG、NVDEC / NVENC | 数据框、图计算、图像视频编解码 |
| 领域计算 | cuQuantum、cuOpt、 cuSOLVER、HPC SDK、CUDA-X 系列 | 量子模拟、组合优化、HPC 工具集合 |
经验规则:能用官方库就别自己写 kernel;库跟不上时先用 CUTLASS / Triton 定制,最后才手写 CUDA C++。
7. 语言与上层框架生态
Section titled “7. 语言与上层框架生态”- 框架:PyTorch(最主流)、TensorFlow、JAX / XLA、PaddlePaddle;推理侧 vLLM、SGLang、TensorRT-LLM、Triton Inference Server;训练侧 DeepSpeed、Megatron-LM、FSDP;算子侧 FlashAttention、FlashInfer、xFormers。
- Python 路线:官方
cuda-python(Driver/Runtime binding)、CuPy、Numba、PyCUDA、Triton DSL、CUTLASS DSL;JAX/PyTorch 的自定义算子通常落到 Triton 或 CUDA C++ 扩展。 - 其他语言:CUDA Fortran(HPC SDK)、Julia
CUDA.jl、C++ 标准并行(via nvc++)、OpenACC 指令式并行。 - 跨厂商:ROCm / HIP + HIPIFY、SYCL / oneAPI、OpenCL、Vulkan Compute、ZLUDA 等兼容层。它们解决的是「可移植」,但性能调优路径、库生态与工具链仍与 CUDA 不同,迁移需要重新做性能验证。
8. 分布式与多机多卡
Section titled “8. 分布式与多机多卡”| 并行策略 | 切分方式 | 主要通信 |
|---|---|---|
| 数据并行 DP / DDP | 切样本 | all-reduce 梯度 |
| 张量并行 TP | 切矩阵维度 | all-reduce / all-gather |
| 流水并行 PP | 切层 | 点对点 send/recv |
| 专家并行 EP | 切 MoE 专家 | all-to-all |
| 序列并行 SP / 上下文并行 | 切序列 | all-gather / reduce-scatter |
底层依赖 NCCL 的集合通信原语(all-reduce、all-gather、reduce-scatter、broadcast、all-to-all、send/recv),以及机内 NVLink / NVSwitch、跨机 InfiniBand / RoCE、GPUDirect RDMA、CUDA-aware MPI / UCX。拓扑感知的 rank 映射往往能带来成倍差异,参见 NCCL 官方文档 与站内 NCCL 笔记。
9. 部署、容器与云原生
Section titled “9. 部署、容器与云原生”| 组件 | 作用 |
|---|---|
NVIDIA Driver + nvidia.ko / GSP |
宿主机必须安装,版本决定可运行的 CUDA 上限 |
| NVIDIA Container Toolkit | 把驱动与设备节点挂进容器(--gpus) |
nvidia/cuda 镜像 |
base(最小 runtime)、runtime、devel(含 nvcc)三层 |
| Kubernetes Device Plugin | 把 GPU 作为可调度资源暴露 |
| GPU Operator | 用 Operator 统一管理驱动、Toolkit、插件、监控 |
| MIG / vGPU / MPS | 单卡切分、虚拟化、多进程共享 |
| DRA(Dynamic Resource Allocation) | K8s 新一代设备资源分配方式 |
| DCGM Exporter / NVML | GPU 指标采集、Prometheus 告警、故障定位 |
多版本共存建议:宿主机只保留一套驱动,把不同 CUDA Toolkit 放进不同容器镜像;主机上如需多版本,用 /usr/local/cuda-X.Y 加环境变量或 module 切换。
10. 性能方法论
Section titled “10. 性能方法论”- 先正确再快:用
compute-sanitizer排掉越界、竞态、未初始化。 - 看全局时间线:
nsys找出是 kernel 慢、拷贝慢,还是 CPU 在等同步。 - 看单个 kernel:
ncu判断瓶颈是访存带宽、计算吞吐、占用率还是 warp stall。 - 按 Roofline 决策:算力受限就上 Tensor Core / 低精度;带宽受限就改数据布局、复用与融合。
- 减少开销:异步拷贝重叠、CUDA Graphs、算子融合、避免隐式同步。
- 回归验证:记录吞吐、延迟、显存峰值与功耗,绑定 GPU 型号 / 驱动 / Toolkit 版本。
| 指标 | 关注点 |
|---|---|
| SM / Tensor Core Utilization | 计算单元是否闲置 |
| Memory Throughput | 是否接近 HBM 理论带宽 |
| Achieved Occupancy | 活跃 warp 是否足够隐藏延迟 |
| Warp Stall Reasons | 卡在访存、同步、分支还是指令发射 |
| DRAM / L2 / Shared 命中与事务数 | 合并访存与复用是否有效 |
11. 授权、生态边界与风险
Section titled “11. 授权、生态边界与风险”- CUDA Toolkit 可免费下载使用,但属于专有软件,受 NVIDIA EULA 约束;EULA 中包含对转译、在非 NVIDIA 硬件上运行等行为的限制条款,商业化使用前应核对当前许可证原文;
- 生态锁定主要体现在算子库、性能调优经验、集群工具链与驱动兼容矩阵,而不只是语言本身;
- 风险对冲:保持算子层抽象(框架 / Triton / CUTLASS)、保留 ROCm 或 SYCL 验证路径、在 CI 中固定驱动与 Toolkit 版本;
- NVIDIA AI Enterprise、NGC、CUDA-X 属于商业支持与预集成发行形态,和开源 Toolkit 的边界要区分。
12. 学习路径与速查
Section titled “12. 学习路径与速查”| 角色 | 建议路径 |
|---|---|
| 应用 / 算法工程师 | 先用框架 → 理解 Host/Device 与显存 → 学会看 nvidia-smi 与 nsys → 用 Triton 写算子 |
| 性能 / 算子工程师 | CUDA C++ 编程模型 → 内存层次与合并访存 → CUTLASS / cuBLASLt → ncu 指标与 SASS |
| 平台 / 运维 | 驱动与兼容矩阵 → Container Toolkit → Device Plugin / GPU Operator → MIG 与 DCGM 监控 |
| 研究者 / 学生 | cuda-samples → Programming Guide → Best Practices Guide → 复现一个 GEMM 分块优化 |
常用入口:
nsys profile -t cuda,nvtx ./app # 系统级时间线ncu --set full -o report ./app # kernel 级详细指标compute-sanitizer --tool memcheck ./app # 内存与同步错误cuobjdump -sass ./app | less # 查看生成的 SASSCUDA_VISIBLE_DEVICES=0,1 ./app # 控制可见 GPU- CUDA Toolkit 官方文档 · Toolkit Archive · Release Notes
- CUDA C++ Programming Guide · Best Practices Guide
- Runtime API · Driver API · CUDA Compatibility
- nvcc 文档 · PTX ISA · CUDA GPUs 计算能力表
- CUDA-X 库 · NCCL · cuDNN · TensorRT
- Nsight Systems · Nsight Compute · Compute Sanitizer
- NVIDIA Container Toolkit · GPU Operator
- cuda-samples · CUTLASS · Triton