https://github.com/LLMBook-zh/LLMBook-zh.github.io/blob/main/slides/%E7%AC%AC%E4%BA%8C%E8%AF%BE%20%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%9E%84/2.3%20%E9%95%BF%E4%B8%8A%E4%B8%8B%E6%96%87%E6%A8%A1%E5%9E%8B%E5%92%8C%E6%96%B0%E5%9E%8B%E6%9E%B6%E6%9E%84.pdf

PDF课件 2.3 长上下文模型和新型架构.pdf 中 旋转基截断部分 较大、较小是否备注反了。

\theta_i 就是旋转基,因此应该是较大的旋转基保留,较小的旋转基置0。

不知我的理解有没有问题。