大模型与架构 2026/7/12
Mamba 状态空间模型原理与 Transformer 对比
本文解读 Mamba 选择性状态空间模型，针对 Transformer 自注意力二次复杂度与固定上下文窗口的瓶颈，提出让 SSM 参数随输入动态变化的选择机制，并设计硬件感知并行 scan 算法，在保持线性序列复杂度的同时达到 Transformer 级别的建模能力。
mamba state-space-model
阅读更多
本文解读 Mamba 选择性状态空间模型，针对 Transformer 自注意力二次复杂度与固定上下文窗口的瓶颈，提出让 SSM 参数随输入动态变化的选择机制，并设计硬件感知并行 scan 算法，在保持线性序列复杂度的同时达到 Transformer 级别的建模能力。