标签： #mamba

RNN 串行训练慢、Transformer 注意力 O(L²) 贵，状态空间模型（SSM，S4/Mamba 一族的骨架）走第三条路：把隐藏状态写成对角线性递推 h_t = a⊙h_{t-1} + b⊙x_t，衰减率 a 按对数均匀铺满短记忆到长记忆，一层状态就是一组不同时间尺度的指数记忆核，推理 O(L·N) 且可并行扫描。本文用纯 numpy 从零实现多时间尺度对角线性 SSM + 统一 Ridge 读出，在两个合成任务上诚实实测：平滑多尺度记忆任务（1800 小样本）上 SSM-16 状态 R²=0.787 完胜 OLS-256 滞后的 0.664；但尖锐 lag-64 任务上被 OLS-128 滞后（0.922）打爆（SSM 只有 0.487）——指数记忆核天然抹平孤立尖锐滞后。并拆穿线性状态无损/状态越多越好/SSM 必胜滞后回归/长程=万能/金融直接落地五类真实陷阱（中阶）。

Transformer 的注意力是 O(N²) 且训练时看不到未来、推理时还得把整段重新过一遍；RNN 虽是线性复杂度却有梯度消失、难以并行。状态空间模型（SSM，Gu et al. 2021）走中间路线：用连续系统的离散化，把历史压成一个状态向量 h_t 沿时间递推。Mamba（Gu & Dao 2023）再加一招「选择性」——让扫描步长 Δ 由输入决定，模型自己决定「记住什么、忘掉什么」。本文用纯 numpy+scipy 从零实现零阶保持离散化、递归扫描与卷积视角，在「目标被 130 步前事件驱动」的长程依赖合成序列上实测：带持久循环状态的选择性 SSM 预测 MSE=0.50，相对 120 窗口线性基线(2.93)降 82.9%、相对 AR(1)(1.34)降 62.7%——因为循环状态携带了窗口外的回声；并诚实拆穿线性读出下 SSM 不赢线性基线、Δ 选择性是演示近似、状态维度 N 受限、训练不稳、长程衰减五类真实陷阱（中阶）。