CS336 Lecture 5-6: GPUs & Kernels, Triton

Mon, 08 Jun 2026 00:00:00 +0000

为什么这两讲至关重要

在已经学过的课程中，L1-L4 讲的是"模型长什么样"，L7-L8 讲的是"多卡怎么协作"。L5-L6 卡在两者之间——单卡内部到底在发生什么。

如果你不理解 GPU 的硬件结构，你就无法理解：

Percy 在 L6 的原话很直白：“You cannot optimize what you don’t measure, and you cannot measure what you don’t understand.”

H100 的基本参数：

关键不在于这些数字有多大，而在于数字之间的比例。