#linear-complexity

Mamba 状态空间模型原理与 Transformer 对比

本文解读 Mamba 选择性状态空间模型，针对 Transformer 自注意力二次复杂度与固定上下文窗口的瓶颈，提出让 SSM 参数随输入动态变化的选择机制，并设计硬件感知并行 scan 算法，在保持线性序列复杂度的同时达到 Transformer 级别的建模能力。