2023年6月21日 · 细分这几个模块叫法的本质区别2.FC（全连接）： "FC" 表示全连接层，与 "Linear" 的含义相同。在神经网络中，全连接层是指每个神经元都与上一层的所有神经元相连接。每个连接都有一 …

2019年4月24日 · （如果非要给个名字，f (x)=ax+b如果表示函数或映射的话，应该叫仿射，而不是线性映射）。 至于，线性映射和线性方程的联系。 可以参照 An equation written as f (x) = C is called linear …

2025年6月23日 · Linear 层就能帮你完成这个从 784 到 10 的维度压缩和映射。 通过学习到的权重 W，Linear 层能自动发现哪些输入特征是重要的，哪些是噪音。 它像一个高效的信息过滤器和整合器， …

2025年1月16日 · Lightning Attention 是如何克服传统线性注意力机制需要累加求和的缺陷的？ 传统Linear Attention虽然计算复杂度降到了O (n)，但是在因果 (causal)推理时，往往需要cumsum操作，导 …

2025年6月7日 · 那Log-linear Attention是如何改变这个复杂度的，一个很直观的解释就是在softmax attention里面，每个token单独对应一个记忆 (KV Cache)，而在linear attention中，所有的信息被组合 …

2020年9月4日 · 如何评价线性代数教材《Introduction to Linear Algebra》？ Gilbert Strang 的《Introduction to Linear Algebra》是我们专业的线性代数课程的教材。 跟国内的任何一本教材或… 显示 …

2020年9月22日 · 很惭愧，我只看过《线性代数及其应用》，《Introduction to Linear Algebra》我看过英文扫描版，因为英语水平实在太差只读了前面几章就没再读了。 《线性代数及其应用》这本书面向的 …

2025年10月30日 · 如何评价Kimi Linear？ Kimi Linear 是一种混合线性注意力架构，在短文本、长文本及强化学习（RL）扩展场景下均优于传统全注意力方法。 其核心是 Kimi Delta … 显示全部 关注者 227 …

2025年9月30日 · Linear attention的update rule决定了利用有限state的效率，像Lightning attention, Mamba2这样利用 （gated）Hebbian update rule的架构在利用state上面 存在一些本质的缺陷，虽说 …

2025年4月24日 · 当然可以，且不说linear本质上就是1x1的卷积和unigram 只要信息不泄漏，还可以用更大的 卷积核 去提取 而且效果还会更好，因为卷积天然适合处理local信息 RWKV-4 和5的token shift就 …