Neural ODE 连续时间建模:把隐藏状态写成微分方程
普通神经网络是「离散层」——你叠 N 层就是 N 次变换,深度=层数、和参数量绑死。Neural ODE(Chen et al. 2018)换了个范式:隐藏状态不靠「第几层」,而靠「积分到时刻 T」得到,dh/dt=f_θ(h,t),从 h(0)=x 用 RK4 积到 h(T) 再读出 y。于是「深度=积分时长 T」,可任意细分、与参数量解耦。本文用纯 numpy 从零实现 RK4 积分 + 把积分计算图展开做反向传播,在「数据来自已知非线性 ODE 流」的合成任务上实测:Neural ODE 测试集 R²=0.992、MSE=0.00204,相对固定深度 MLP(0.989) 改进 25.1%、相对线性(0.158) 改进 99.0%——因为连续流的归纳偏置正好匹配「数据来自连续动力学」。文章诚实拆穿「ODE 比 MLP 强是普适的 / 连续深度免费 / 反向传播廉价 / 数值积分无误差 / 小数据可辨识」五类真实误区(中阶)。