一个索引+TODO
- CS336
- NanoGPT:从零训练一个 LLM
- NanoVLM-LLaVA
- NanoVLM-AnyRes
- CodeByMySelf-Transformer
- CodeByMySelf-Diffusion
- Pytorch-Tricks
TODO
- CodeByMySelf-RL(TODO)
- 并行训练实践(未完成)
- DINO系列(DINO、DINOv2、DINOv3)
- Flow Transformer(以及一些变体,如 rectified flow、FLUX 式架构等)
- DPO(以及后续的更新,如 KTO、SimPO 等)
- Shortcut Model 蒸馏(thinking-aware distillation)