-
2026 · Sep 21
Kimi K3 学习笔记（四）：Muon 优化器
围绕 Kimi K3 报告，学习和整理 Muon 优化器及其相关工作。
-
2026 · Aug 18
Kimi K3 学习笔记（三）：Stable LatentMoE
学习和整理 Kimi K3 中 Stable LatentMoE 的设计。
-
2026 · Aug 5
Residual 学习笔记（四）：信息流的二维视角
从 sequence 与 layer 两个维度理解 residual 所定义的信息传递方式。
-
2026 · Aug 4
Residual 学习笔记（三）：Hyper-Connections 的后续工作
阅读 Hyper-Connections 路线的后续研究。
-
2026 · Aug 4
Residual 学习笔记（二）：跨层信息聚合方法
阅读其他 residual 相关工作。
-
2026 · Aug 2
Residual 学习笔记（一）：Manifold-Constrained Hyper-Connections
从 AttnRes 留下的问题开始
-
2026 · Aug 1
Kimi K3 学习笔记（二）：Attention Residuals
1. 残差连接
-
2026 · Aug 1
Kimi K3 学习笔记（一）：Kimi Delta Attention
1. Linear Attention
-
2026 · Jul 30
人择
开始记录我学习的过程。