CS336 是一门很好的课,但是很多内容都比较基础,或者在网上已经有很多资源了。
2026/04/06:我学到了Lecture4,目前来看,CS336的精华内容还是在Lab上面,如果想要系统学习LLM的训练细节,建议直接看Lab的内容,Lecture部分可以作为辅助材料来理解一些概念和背景知识。
2026/04/09:Lecture4之后因为对并行训练的兴趣,直接跳到了Lecture7-8,感觉内容非常有价值,值得细看一下lecture视频或者讲义,精华在于不同并行方式的介绍和分析,在Lecture8里有一些简单的通信操作代码示例,帮助理解。