博客

两条价格各自都是随机游走，差分建模却会把它们之间最值钱的信息——长期均衡关系——直接扔掉。VECM 的答案：在差分方程里加回误差修正项 α(y1−βy2)，让偏离均衡的距离本身成为回归的拉力。纯 numpy 走完全流程：Engle-Granger 两步法估出协整系数 1.232（真值 1.25），残差 ADF=−7.24 确认协整；伪回归对照组 R²=0.62 但 ADF 只有 −1.60——高 R² 不等于协整。误差修正系数 α₁=−0.061 (t=−3.8)、α₂=+0.062 (t=+3.8)，两腿对向修正，价差半衰期 4.8 天；Johansen 迹检验 54.9 >> 15.5 临界值交叉验证。配对交易样本外 500 天：z>2 开仓、|z|<0.5 平仓、z>4 止损，净 Sharpe 2.08、回撤 3.5%、19 次动作。诚实说明：合成数据协整关系永不破裂，真实市场协整会死（招行/平安、可乐/百事都散过伙）；EG 法把 β 的估计误差全部灌进价差；z>4 止损保护不了缓慢漂移型破裂。拆穿相关性=协整、半衰期恒定等经典误区（中阶）。

去噪的终极难题不是『去掉噪声』，是『别把真实跳变一起磨平』。小波阈值去噪的答案：噪声的能量摊平在所有细节层系数上，真实跳变的能量集中在少数几个大系数上——设一条阈值线，小系数归零、大系数存活，跳变就保住了。合成实验（4 个 ±4~6 元的真实跳变 + std 1.2 的噪声）：MAD 从最细层估出 sigma=1.178（真值 1.2），universal threshold 硬阈值把整体 RMSE 从 1.135 压到 0.474；跳变后误差收敛只要 2 天，20 日均线要 5 天，因果均线的跳变后 12 日 RMSE 是小波的 3 倍。但最重要的一节是反面教材：同一个去噪算法，离线全样本版在跳变前一天就开始『预降』（去噪值 99.83 vs 观测 102.99）——它看见了未来。用离线去噪序列做趋势策略总收益 +19.5，换成只用当日以前数据的因果滚动版立刻变成 -16.7。文献里大量『小波去噪+LSTM』的惊人精度，就是死在这一步（中高阶）。

情感词典（利好词 +1、利空词 −1）有个致命短板：它只认得你手工列进去的词。市场天天造新词——『超预期』你收录了，明天出现『扩产』『中标』你没收录，词典对它们视而不见，直接算 0。词嵌入用 skip-gram 从公告语料里学出每个词的向量，语义相近的词自动挨在一起，于是词典外的新词也能被『情绪轴』投影出方向。合成实验：4000 条公告、三类语义（利好/利空/中性），纯 numpy 负采样 skip-gram 训练后同类词余弦 0.981 vs 异类 0.896；构造情绪因子做 IC 检验——在含词典内词的公告上嵌入因子 IC 0.607 与词典计数 0.574 基本打平，但在『全是词典外新词』的留出集上，词典计数 IC 直接归零（0.000），嵌入因子仍有 0.602。附向量可视化、维度敏感性与五类真实陷阱（中阶）。

朴素词袋(BoW)把标题当成一堆无序词的集合，丢掉了「词序」和「哪几个词最关键」。Transformer 的自注意力让每个词去「看」标题里所有其他词、按相关性加权聚合——于是「标题头段和中段的情绪词」能被自动放大。本文用纯 numpy 从零实现自注意力编码器(含完整前向/反向)，在「位置加权的好/坏消息」合成标题上实测：测试集 R² Transformer=−0.026 远优于 BoW 的 −0.873（提升 97%）、方向准确率 54.0% vs 46.4%、读出 token 对关键位置(12,30)的注意力命中率 1.00、互换两个非关键 token 后预测一致性 1.000，并诚实拆穿「注意力一定尖锐聚焦 / 位置编码多余 / 深层才有效 / 小数据随便训 / 注意力=因果」五类真实陷阱（中阶）。

普通 CNN 做序列预测有个死穴：卷积核宽锁死感受野，要看到 32 步前的周期相位得堆几十层。膨胀卷积（dilated convolution）用「每隔 d 个点采一个样」把感受野从线性拉成指数级——d 逐层翻倍 (1,2,4,8,16)，5 层就能覆盖 1+(3−1)·(1+2+4+8+16)=63 步，整根周期纳进窗口；左填充 (k−1)·d 个零保证严格因果、不偷看未来。本文用纯 numpy 从零实现因果膨胀卷积 + 有限差分梯度校验，在多周期正弦叠加合成序列（周期 5/11/17/23/31 步）上实测：膨胀因果 CNN 测试集 R²=0.997、MSE=0.0029，相对普通 CNN(0.996/0.0041) 略有改进，但讽刺的是它仍输给 OLS 线性(0.999/0.0009)——因为任务本质是已知周期的线性叠加，OLS 在精确频率特征上近最优。文章诚实拆穿「膨胀救一切 / 膨胀 CNN 比线性强 / 感受野越大越好 / 因果填充零成本 / 真周期≠可预测」五类真实误区(中阶)。

Pearson 只能抓线性、dCor 把「独立」变成可检验量，但两者的数学本质到底是什么？距离协方差（DCov）给出最干净的回答：它等于把数据映射到再生核希尔伯特空间（RKHS）后的协方差，也等于「能量距离」在依赖维度上的投影。本文从零实现 dCov/dCor 与 HSIC（核视角），并用「能量距离」这个真正的分布间距离做两样本检验——把一段行情自动识别为平静态还是危机态（正确率 83%）。附完整 Python 与五类真实陷阱（中阶）。

Pearson 相关只能抓线性：r=0 时两变量可能仍强烈相关（如 Y=X²）。距离相关系数（dCor）把独立性本身变成可检验的量——dCor=0 当且仅当独立。本文用纯 numpy 从零实现 dCov/dCor 与置换检验，并在线性/二次/圆/独立四类关系上对照 Pearson，诚实拆穿「径向对称是 dCor 盲区」与「噪声稀释依赖」两条真实边界（中阶）。

我们知道某择时策略『很能赚钱』，但不知道它凭什么赚——它在奖励什么？逆强化学习（IRL）把这个问题反过来：给一段专家实际走过的轨迹，反推它背后的奖励函数。本文用纯 numpy 从零实现 MaxEnt IRL（Ziebart 2008）：特征期望 + 梯度上升学奖励权重 + softmax 访问频率求解。在「专家其实在奖励『动量 + 低波动 + 周期 − 噪声』」的合成市场里，IRL 把奖励权重还原得与真值余弦相似度 0.94，学到的奖励重放出的状态分布与专家 KL=0.06（随机基线 0.23）；并诚实拆穿「专家样本不足→奖励不可辨识 / 特征冗余→权重被错分 / 折扣因子误设 / 最大熵温度 / IRL 给的是偏好不是收益」五类真实陷阱（中阶）。