20251217

论文阅读

经朋友推荐阅读了一篇模型结构相关的论文Atlas: Learning to Optimally Memorize the Context at Test Time
学习到了一些奇技淫巧：
Newton-Schulz5 5次矩阵乘法来逼近矩阵的逆或正交形式