概念
固定或状态依赖的平均更新残余会持续推参数,零均值随机扰动则增加散布。独立平均能降低部分随机误差,不能自动消除共同偏置;应连同更新时间和读数条件区分。
真实元件有偏差、噪声和漂移,为什么有些网络仍能学,有些却越学越坏?