标签： #因子挖掘

朴素词袋(BoW)把标题当成一堆无序词的集合，丢掉了「词序」和「哪几个词最关键」。Transformer 的自注意力让每个词去「看」标题里所有其他词、按相关性加权聚合——于是「标题头段和中段的情绪词」能被自动放大。本文用纯 numpy 从零实现自注意力编码器(含完整前向/反向)，在「位置加权的好/坏消息」合成标题上实测：测试集 R² Transformer=−0.026 远优于 BoW 的 −0.873（提升 97%）、方向准确率 54.0% vs 46.4%、读出 token 对关键位置(12,30)的注意力命中率 1.00、互换两个非关键 token 后预测一致性 1.000，并诚实拆穿「注意力一定尖锐聚焦 / 位置编码多余 / 深层才有效 / 小数据随便训 / 注意力=因果」五类真实陷阱（中阶）。

普通自编码器能把 20+ 维量价特征压成 5 维新因子，但它只给你一个"点估计"编码，不知道哪个样本编码得靠谱。变分自编码器 VAE（Kingma & Welling 2014）把编码器变成"一个分布"，每个样本得到一个 (μ, σ²) 的编码高斯——于是除了新因子，你还免费拿到"这个因子值有多可信"。本文用纯 numpy 从零实现 VAE（重参数化技巧 + ELBO），在"3 潜因子驱动收益 + 大量噪声特征"的合成数据上，VAE 组合因子与未来收益 |IC|=0.695，并诚实演示"不确定性到底能不能当信号过滤器"这个反直觉结果，附完整代码与五类真实陷阱（中阶）。

把注意力机制从 NLP 搬进多因子选股：用特征级自注意力让模型自己决定看哪些因子，再门控加权出 1 维注意力因子。合成里门控因子 OOS R²=0.59 远超等权平均 0.15（高阶）。

传统因子是「人拍脑袋的线性组合」，自编码器(Autoencoder)能用无监督方式把几十维原始量价特征压缩成一小组「低相关、信息损失最小」的编码向量，当作新因子喂给选股模型。本文从数学定义、纯 numpy 手写自编码器、到「编码即新因子」的 IC 检验完整走通，并指出无监督≠可预测、容量有限、分布漂移三大真实陷阱。