标签： #长序列预测

Informer 还在点积注意力里挑活跃查询，Autoformer（NeurIPS 2021）直接换了两个零件：一是把「分解」从预处理搬进模型内部——移动平均逐层剥趋势，季节项与趋势项分开建模；二是把点积注意力换成「自相关机制」——用 FFT 以 O(L·logL) 算出自相关谱 R(τ)，取 top-k 滞后当候选周期，按 softmax(R(τ)) 权重做时延聚合：预测 = Σ w(τ)·x(t−τ)，从「点对点找相似」升级为「整段周期对齐」。纯 numpy 从零实现因果分解 + FFT 自相关 + 时延聚合递推预测，在三重周期(24/96/168)+慢趋势+AR(1)噪声合成序列上做 50 窗口滚动 H=24 多步预测：分解+自相关 MSE=0.257 优于无分解消融 0.263 与季节 naive 0.367，自相关机制自动找到 τ∈{24,96} 真周期；但诚实披露 OLS-96滞后递推 MSE=0.193 仍是全场最优——机制的优雅不等于精度的碾压。附「分解泄漏未来」的一次真实翻车修复（居中移动平均让 AF 版 MSE 虚好 42%），拆穿分解万能/自相关=注意力上位/多步递推免费/top-k 自动对/金融强周期五类陷阱(中阶)。

标准 Transformer 注意力是 O(L²)：序列拉到 4096 步，一层注意力就要算 1600 万对相似度。Informer（AAAI 2021 最佳论文）的 ProbSparse 注意力抓住一个经验事实——注意力矩阵天然长尾，绝大多数查询行近乎均匀分布、对输出没贡献。它用采样估计每个查询的稀疏度 M(q,K)=max−mean，只让 top-u=c·lnL 个「活跃查询」做完整注意力，懒查询直接输出 V 的均值，复杂度砍到 O(L·lnL)。纯 numpy 从零实现 ProbSparse + 单层注意力回归（手写反向传播、有限差分梯度校验 1e-10 级），实测 L=4096 时提速 53 倍；但诚实披露：在 L=96 的短窗口预测任务上，注意力行不够长尾，c=10 的 ProbSparse 推理 R²=−0.40 远差于 full 推理 0.746，c 扫到 20（u/L≈96%）才恢复 0.727——稀疏近似的前提是分布真的稀疏。另附 OLS-96滞后 R²=0.834 反超注意力的诚实对照，拆穿「ProbSparse 无损/长序列必用 Transformer/加速免费/M 度量万能/金融直接落地」五类真实陷阱(中阶)。