感知与适应11 分钟

真实元件有偏差、噪声和漂移,为什么有些网络仍能学,有些却越学越坏?

任务误差已经很小时,真实更新电路仍可能持续改写参数。本篇用原始栅极记录复算两组学习偏置,核局部校准的后续外推,并用独立小模型区分固定偏置、随机噪声、量化和关闭学习后的漏失。放大钳位信号并随误差缩短写入,可以抑制特定偏置;所需幅度、时长和测量精度仍有边界,不能把一种补偿当作全部物理误差的通用解。

任务已经学会,更新电路却还在动

理想学习规则常有一个停下来的理由:误差为零,更新也为零。真实电路不一定如此。比较自由状态和钳位状态的放大器、乘法器、电容和两套网络都有偏差,目标信号变小时,残余充电反而可能成为主要驱动。

Dillavou等研究的对比局部学习网络,由MOSFET可调电阻组成。每条边的栅极电压保存在电容上,局部电路读取两套网络中的边电压降并更新栅极。其2026年作者v2报告:即使两项任务有共同解,交替训练仍可形成周期轨迹;当前任务误差很小之后,参数继续移动,下一次换任务时暴露出遗忘。1

这与“噪声很大,所以成绩不好”不同。固定方向的学习偏置、每次变化的随机噪声、有限更新分辨率和关闭学习后的保存漏失,预测的时间行为并不相同。要决定继续训练、冻结还是校准,先要找出实际哪条过程仍在改参数。

从两组真实栅极记录复算偏置

原研究的小网络有两条自调边和一条固定边。每个单点任务对应栅极空间中的一条解线,两任务的解线相交时存在共同解。作者分别训练单个任务,在接近解线后测量漂移,用两个方向的投影推回一个二维偏置向量。

本库取得固定提交71b8d724afc61d041bcfc1a0b2335dd88b3df62f的公开记录和理论notebook。四个MAT文件各有300个时间与两栅极读数;按notebook丢弃前两点,分别使用13/13和20/30点的指定选段,移植其平均差分速度与投影重建。23

原实验组 本库复算偏置,V/s 作者v2舍入值,V/s
第一组 (2.8653, 4.7175) (2.9, 4.7)
第二组 (−0.2856, 2.0014) (−0.3, 2.0)

两种独立的线性代数重建给出一致结果。它们是根据特定状态附近的漂移估计出的有效学习偏置,并非直接测到了所有芯片的独立误差,也不是关闭学习后的电容漏电率。

第二组的第一条边重新接入了排流电阻;作者解释,它在学习开关切换时影响充电过程。两组偏置不同具有具体电路干预背景,不能把差异全解释成随机测量波动。原记录本身只有栅极与时间列,当前任务已接近解线的依据还需要原文的任务与实验说明,不能由栅极曲线单独推出任务误差为零。

本库也读取三组周期数据。文件保存的是两端距离的平方,先开方才能与原文的周期跨度$D$比较。对固定小周期窗口$\tau\le0.02$ s,三组$D$对$\tau$的对数斜率约0.946、0.908、0.977,接近线性尺度关系;它们是指定窗口内的拟合,不是精确指数或无限尺度定律。

原始栅极轨迹与平方距离开方后的周期跨度
原始栅极轨迹与平方距离开方后的周期跨度

为什么当前功能稳定,参数还会漂移

作者在一个学习解附近,将栅极变化线性化为

$$ \dot G=-M(G-G_*)+B. $$

$M$描述学习规则在该状态附近的恢复作用,$B$是有效更新偏置。若某个方向有正曲率$\lambda$,该分量最后停在相对理想解偏移$B_\lambda/\lambda$的位置;曲率越弱,同样偏置造成的位移越大。

若某方向不改变当前任务,即$M$在该方向为零,沿它就没有恢复力。设$N$为零空间投影,该方向的运动为

$$ G_{\rm null}(t)=G_{\rm null}(0)+tNB. $$

当前输出可能几乎不变,参数却持续走远。换一个任务之后,原先不敏感的方向可能变成新任务的重要方向,于是隐藏的改写变成可见误差。这里的“零空间”依赖当前任务与工作点,不是材料永远无用的一组元件。

本库另构造两项有共同零解的二维线性任务:$M_\alpha=uu^T$、$M_\beta=vv^T$,$u=(1,0)$、$v=(1/2,\sqrt3/2)$,固定偏置$B=(0.03,0.01)$。每半周期切换一次。无偏置时,共同原点是固定解;有偏置时,两条仿射演化的周期条件给出远离原点的闭合轨迹。

矩阵指数、完整仿射增广矩阵与独立ODE核对一致;选定周期约0.977的闭合误差约$5.3\times10^{-14}$。小周期区的跨度对周期斜率约1。这个自建例子走通“共同解存在—单任务不敏感方向被推走—换任务时纠正—继续形成循环”的机制,不是原器件参数或原图理论曲线的完整复现。

固定偏置与随机噪声会留下不同的时间账

本库再用一个有恢复方向和一个零曲率方向的离散小模型,分别加入恒定偏置与独立零均值扰动。采用步长$h=0.1$、1000步、每步噪声系数$\sigma=0.02$和偏置$(0.02,0.03)$,运行20000条独立轨迹。

有恢复方向的均值接近0.02,方差接近$2.11\times10^{-5}$;零曲率方向的均值接近3,方差接近0.004。均值与方差都有独立递推公式核对。两类缺陷同时存在时,偏置累积出定向移动,噪声则增加散布,不能因轨迹不精确重复就忽略偏置。

对零曲率标量分量,恒定偏置的平均移动为$nhb$,独立更新噪声的标准差为$h\sigma\sqrt n$。在这项离散模型内,两者随步数的增长律不同;连续白噪声还需相应调整离散幅度,不能直接把这里的$\sigma$当作任意采样率下相同的物理噪声强度。

重复平均可以减少独立读数噪声。本库将标准差0.1的独立读数按1、4、16、64次平均,得到的散布约0.1002、0.04985、0.02476、0.01256,与$1/\sqrt N$相符;固定偏置0.02仍在。相关噪声、慢漂移和共同偏置不满足独立平均的这项收益。

原论文明确说,在其宏观电路里随机噪声相对较小,偏置是主要解释;它没有证明所有微型、忆阻或其他器件也由同一来源主导。1

冻结更新,关闭的是哪一条过程

如果漂移来自学习电路的残余更新,真正关闭这一更新通路会消掉该项驱动。但如果保存电容、器件参数或环境仍在变化,冻结学习规则并没有同时冻结这些过程。

在一个明确分开的本库保存对照中,从同一参数0.6出发:完全保存的冻结模型一直保持0.6;若关闭学习后仍有$\dot G=-0.005G$的漏失,100个模型时间单位后只剩约0.363918。独立积分与指数解一致。这里的漏失系数是示例参数,不是从上述四个原始MAT文件测得。

要在装置里区分两者,需要相同起始状态下的学习开/关对照、足够长的保存窗口,以及明确读出是否本身扰动存储。学习中的定向漂移记录,不能替代这组保存实验;因此本篇不替原装置填上一个未经测量的“冻结后寿命”。

有共同解但偏置驱动的循环,与关闭学习后的两种保存模型
有共同解但偏置驱动的循环,与关闭学习后的两种保存模型

校准在一个位置有效,不保证换状态也有效

按作者选段复算偏置,验证了原始记录与分析方法的对应。进一步的检验应把校准之外的记录留出来。

本库将每个选段的平均漂移速度直接外推到随后未参与拟合的三点,所得栅极位置RMS误差约为0.254、0.0619、0.0237、0.0195 V;相对这些后续点自身的移动量,约为225%、17%、25%、23%。这是局部恒速预测器的时间外推检验,三点不是三个独立实验,也没有重新调参数去追它们。

它说明局部速度不能任意外推,不能单凭这一失败认定偏置$B$本身改变了:输出的非线性、恢复方向变化及接近元件边界也会改变实际速度。原文已明确承认漂移率依赖测量位置,并选择与观测轨迹相近的点建立线性模型。

一个本库可解析的补偿例子展示了同类边界:若实际更新为$\dot x=-(x-y)+0.02+0.1x$,只在$x=0$测得并扣掉0.02,那么新目标$y=0.2$与0.6时,最后仍分别偏离约0.02222与0.06667。扣除了固定部分,不等于校准了状态依赖部分。没有独立条件检验的低校准误差,不能直接称为可转移的鲁棒性。

过度钳位为什么要同时改变幅度与时间

原方案的改进叫overclamping。标准钳位的输出差随误差$\delta$减小;残余偏置却不跟着减小。改进方案先按误差方向施加较大、近似固定的钳位幅度,再令每次写入时长满足$t_h=t_0|\delta|$。这样,任务信号与写入偏置都在接近目标时缩小。1

作者v2的附录F把它写成小误差近似,并给出实验采用的幅度和标签范围;正文报告它改善了多组小输入差异的分类结果。有限钳位、非线性电路与时长调度仍是物理条件,不能把它理解成无限增强反馈。

用一个标量正常形可以看清必要条件。令误差为$e=y-x$、有效信号增益为$a>0$、偏置为$b$、固定钳位幅度为$A$,改进更新写为

$$ \Delta x=t_0|e|\,[aA\operatorname{sign}(e)+b]. $$

要让两侧误差都朝零走,需要$aA>|b|$;离散更新还要满足相应步长稳定条件。只放大幅度而保留固定写入时间,可能越过目标并持续抖动;只缩短时间但信号弱于偏置,也不能保证两侧都纠正。

本库取$a=1,b=0.2,t_0=0.1,A=0.5$,从目标上下两侧出发,均收敛到数值精度;标准有偏更新留下0.2的稳态偏差。将$A$降到0.1,从目标上侧出发则向错误方向走。另一个无偏置但参数更新被四舍五入到0.01的对照,停在残余误差0.047;这类量化停滞不能用增加独立读数平均自动消除。3

图按呈现次数比较,不称相同总时间或能量下的优劣。原实验还调整$t_0$保持周期;本库正常形没有实现该调度。最短可写脉冲、有限读数精度、钳位范围与控制开销,会阻止把数学上趋零的时长无限照搬到硬件。

不同偏置、量化和噪声控制留下的残差与平均效果
不同偏置、量化和噪声控制留下的残差与平均效果

哪些证据已足够,哪些仍需要新测量

原小网络的四份时间记录支持有效偏置的定量重建,周期跨度数据支持所列窗口内的近线性变化;作者实验与理论共同支持偏置在不敏感方向上持续改写参数的解释。它们没有把所有模拟元件误差压成一个固定常数。

本库的独立模型说明了怎样区分偏置、独立噪声、量化与关闭学习后的漏失,也说明校准和过度钳位的收益需要相应条件。研究原件包括作者大网络分类存档,但其MATLAB类对象在当前环境尚未解码,本篇没有独立重算整套分类精度,也没有运行完整Mathematica notebook;小网络方法是按可读原公式移植并核验。

最有区分力的后续证据,是在不同工作点测更新残余、在学习开关两侧测保存、在未参与校准的输入与状态检验补偿,并同时记录驱动范围、写入时长和读数分辨率。这样才能判断一种网络为何仍能学习,以及继续训练究竟在纠错,还是在持续改写已经有用的功能。

来源与依据

  1. S1 原始实验与理论作者预印本

    Understanding and Embracing Imperfection in Physical Learning Networks

    Sam Dillavou; Marcelo Guzman; Andrea J. Liu; Douglas J. Durian · 2026

    固定v2 2026-03-17,PDF内日期March18;HTML同版本页面显示的August24日期不当新版本。未按该渲染日期重新命名研究;PDF SHA256 e8bf572725ff681608727c2454f5d2d370360a88a628d272d0158c984032e397 · 相关全文已核

    II A—E装置/周期/偏置/过度钳位;Appendix A/B误差与任务;C学习偏置;D线性/pseudoinverse周期;E测偏置和排流电阻;F钳位协议

    实际核相关全文/附录。MOSFET端点平均电压非线性、两套网络、电容栅极存储;有效偏置并非所有噪声/漏失。大网络分类改善来自作者报告,原MCOS类记录未解码,未独立重算准确率。原偏置推断与局部线性/状态条件保留。

  2. S2 原始实验记录与分析代码

    Supporting code and experimental data: fixed author repository

    Sam Dillavou; Marcelo Guzman; Andrea J. Liu; Douglas J. Durian · 2025

    71b8d724afc61d041bcfc1a0b2335dd88b3df62f;数据四MAT头标2025-06-12;公开树SHA与逐件清单在evidence/work · 相关全文已核

    四MAT原时间记录、六MSE/DG2 CSV、十bowtie CSV;notebook估偏置原选段及投影;big network/makeFig5.m和Experiments.zip目录

    完整固定树30个非DS文件已下载,逐一长度/Git blob SHA1/SHA256核。实际读四MAT/16CSV及notebook选段/投影/局部演化相关单元,不称全部代码读完或执行Mathematica。大包70MB含245 MATLAB实验类对象,已探两个,当前scipy返回MCOS opaque,未解码/全读;不冒充分类数据复算。Zenodo15692914 API403,未取其v1.0.1存档,也未证明全归档对应2026修订;小偏置数值与v2舍入值实际对应。

  3. S3 本库计算证据

    本库T123原始偏置归约、局部外推与误差机制对照

    Codex · 2026

    2026-10-10,自建对照与原小网络归约分开 · 相关全文已核

    research/calculations/imperfect_physical_learning.py及_audit.py;本篇assets结果JSON与四个轨迹NPZ

    原四MAT按作者窗口重建两B,独立Gram方法;后三点恒速预测不是IID/偏置因果识别;平方距离开方和指定短周期拟合。自建兼容秩一两任务仿射周期、ODE/增广指数,20000轨迹噪声偏置递推,独立读数平均、关闭学习漏失、状态校准与标量过度钳位/量化;模型单位与额外脉冲/读数条件明确。

最后更新 2026-10-10

来源