标签： #强化学习

RL 输出一个 Q 值就下单，但点估计不带可靠性凭证——分布一漂移就「自信地犯错」。共形预测包裹任意预测器输出预测区间，有限样本+分布无关保证以 ≥1−α 覆盖真实收益，唯一假设是可交换性。据此设计带可验证下限的交易规则：仅当共形收益下界>0 才出手。纯 numpy 分裂共形+局部自适应，异方差+协变量偏移合成 bandit 上实测：同分布目标覆盖 90% 实测 91.1%（保证兑现）；门控把开仓即盈利命中率从 76.9% 抬到 97.4%，代价出手率降到 17.1%。诚实翻车：可交换性破坏→偏移 3.0 时覆盖从 90% 崩到 53.8%；边际覆盖达标≠处处达标——普通等宽区间高波动区只覆盖 49%、低波动区 98%，需局部自适应共形拉回 87%~92%。拆穿保证=永真/边际=条件/区间=预测准/无分布=无假设/覆盖达标即可交易五类陷阱（中阶）。

实盘不允许在线试错，离线 RL 只用历史日志学策略——但直接把 Q 学习搬到固定数据集会灾难：Bellman 目标里的 maxₐQ 专挑没被覆盖的 OOD 动作、把 Q 越推越高（自举高估），部署即崩。CQL（NeurIPS 2020）加保守正则：压低所有动作 logsumexp Q、抬高数据里真实动作 Q，给未见动作上保守下限。纯 numpy 表格版 CQL，在「趋势为主+偶发反转」合成 MDP 上用只覆盖 40% 格子的 800 步窄日志训练，40 个样本外新市场平均实测：Naive-FQI 总收益 −61%/Sharpe −1.18/回撤 65%/胜率 0%，CQL +11.5%/+0.43/7.5%/72%——OOD 动作平均 Q 从 0 压到 −0.44。诚实翻车：α 太小压不住高估、过大退化成行为克隆收益封顶；数据一充足 Naive 反超 CQL。拆穿离线=免费午餐/覆盖不重要/α越大越稳/合成赢=实盘赢/保守必胜五类陷阱（中阶）。

我们知道某择时策略『很能赚钱』，但不知道它凭什么赚——它在奖励什么？逆强化学习（IRL）把这个问题反过来：给一段专家实际走过的轨迹，反推它背后的奖励函数。本文用纯 numpy 从零实现 MaxEnt IRL（Ziebart 2008）：特征期望 + 梯度上升学奖励权重 + softmax 访问频率求解。在「专家其实在奖励『动量 + 低波动 + 周期 − 噪声』」的合成市场里，IRL 把奖励权重还原得与真值余弦相似度 0.94，学到的奖励重放出的状态分布与专家 KL=0.06（随机基线 0.23）；并诚实拆穿「专家样本不足→奖励不可辨识 / 特征冗余→权重被错分 / 折扣因子误设 / 最大熵温度 / IRL 给的是偏好不是收益」五类真实陷阱（中阶）。

深入探讨强化学习在量化交易中的应用，从传统的Q-Learning算法到现代深度强化学习方法（DQN、PPO、A3C），包含完整的Python实战代码和回测框架。