元件都能调,为什么误差还停在那里
设想一块电路:给两个端口施加电压,要求另外两个端口作出指定响应。第一次任务学会了,增加几组要求后却出现误差平台。延长训练仍没有改善。它可能意味着三件不同的事:没有任何允许的元件设置能完成任务;设置存在,但当前可调位置没有合适的纠错方向;或者方向存在,训练只是走得太慢。
单看一条训练曲线分不开这三种机制。元件数、误差平台和某个很小的奇异值各提供线索,能否实现目标还需要物理方程、参数范围、输入输出及任务本身一起确定。本篇用一个可完整求解的小网络走完这个判断,再接回原作者已训练的较大网络。12
这里的“任务”是明确输入下要求的输出;“学会”是允许的参数配置把指定误差降到阈值以内。未见输入表现、保存旧任务和真实器件误差将在后续课题分别研究。本文不把容量定义成一个脱离任务集合的单一分数。
先把整个目标集合算出来
小网络有五个节点:两个输入电压$u_1,u_2$、接地节点和两个输出$y_1,y_2$。每个输出分别以三条边接到三个边界节点,共六条电阻边;两个输出之间没有边。一个输出所接的导度记为$a,b,c$。Kirchhoff平衡是
所以
导度都正时,$p,q>0$且$p+q<1$。这个输出是输入与接地电压的加权平均;只有输入边界变化,内部电压就不能任意增益或反号。这里限制的是单个被动节点电压;差分读出、主动电源或其他物理对象要重新分析。
固定导度单位,所有可调边的范围都是$[0.2,5]$。布局A固定两个接地导度$c_1=c_2=1$,调四条输入边。对于每个输出,给定$p,q$后,所需导度唯一为
于是完整可实现集合可以直接写成
它在$(p,q)$平面是一个四边形,不需要靠许多次训练来猜边界。两个输出独立,完整的四系数集合就是两个四边形的组合。
布局B仍调四条边,但把三个旋钮放在第一输出的全部三条边,第四个只调第二输出的$a_2$;$b_2=c_2=1$。第一输出的系数可以移动,但把三个导度同时乘以同一数,输出完全不变,一个调整方向只改变电流尺度。它的完整集合由$p,q,r=1-p-q>0$及
确定:只要三个比例的跨度不超过$5/0.2$,就能找到共同尺度把导度放入范围。第二输出则只能沿
这一条线段移动。四个旋钮对应的有效方向,已经与布局A不同。5

图中左侧画的是第二输出:同一目标$(0.20,0.30)$在A的四边形中,却不在B的线段上。右侧是另一目标$(0.85,0.05)$,它位于不受范围限制的正系数三角形内部,但超出A的有限导度范围。两幅图都是本库计算,不是实验测量。
同样四个旋钮,一个任务有解,另一个有误差下限
要求整个电路实现
只用$(1,0)$与$(0,1)$两个基输入,就能检验这四个系数。损失定义为这两输入、两输出上平方误差总和的一半,记为$C$。
A的一个允许解是
B可以准确满足第一输出,但第二输出不能同时满足$p=0.2,q=0.3$。在线段上最小化
得到$p=0.24,q=0.38$,所需$a_2=12/19$。因此B的全局误差下限恰好是$0.004$。这是允许集合与目标之间的距离,换训练步长或延长迭代不能消除。
实际从六个导度都为1出发,以同一步长1做投影数值梯度更新,20000次后A的误差降至浮点精度,B停在$0.004$。另用独立节点求解与有界最小二乘,各做12个不同初态,得到同样的下限。这里用已知全局解核训练结果;训练曲线本身不承担“不存在更好解”的证明。5
这也不是说低秩就必定学不会。把第二输出目标改成$(0.2,0.4)$,它落在线段上,B就有准确解。低秩限制附近能独立改变哪些要求,不会自动排除其中某个具体目标。
局部响应秩能回答到哪一步
将任务读数排列成向量$F(k)$,可调参数为$k$,小调整给出
$J$的秩数出一阶可以独立改变的任务方向。在六个导度都为1时,A的四个奇异值为$1/3,1/3,1/9,1/9$,秩4;B为约$0.3333,0.2485,0.1925,0$,秩3。多出来的旋钮只有在产生独立响应时才增加这种局部能力。
任务条数也需要检查独立性。在这个线性网络中,两输入的独立基给四个响应系数;将同一输入方向重复五次,甚至改成不同倍数,任务响应秩仍只有2。更多数据可能帮助抗噪,但不会凭空提供新的输入方向。本例的任务不含噪声,不能由此估计抗噪收益。
局部满秩表示内部点附近可以实现足够小的任意输出调整,它没有覆盖远处目标,也没有取消边界。前图的$(0.85,0.05)$需要$a=8.5,b=0.5$,超过上限。A在正导度处的局部秩仍为4;但全局最接近的第一输出是$(25/31,1/31)$,在$a=5,b=0.2$的边界,完整任务的最低损失约$0.00110562$。到了边界,导度再增加的方向已经不可用,单看无约束$J$的秩尤其不够。
在理想平方误差梯度流中,$\dot k=-J^Tr$,$r=F(k)-F_{\rm target}$,因而
这解释为什么非零奇异值的大小也有用:它们决定局部纠错的快慢。可是在有界参数、有限步长、不同学习规则或物理状态未松弛时,还要分别核实际更新。
已有准确解,也可能需要很久才能接近
把A两个输出的目标系数都设为$(4/9,4/9)$,一个解是每条输入边导度4、接地导度1。对第一输出来说,任务响应的快奇异方向是两系数反向变化,奇异值$1/9$;慢方向是两系数同向变化,奇异值$1/81$。二者都能调,但局部平方误差衰减率相差81倍。
本库分别让第一输出的两系数在目标上增加$(10^{-4},-10^{-4})$或$(10^{-4},10^{-4})$,再反求初始导度。两个初态的任务损失都为$10^{-8}$,第二输出已经准确,参数均在同一范围内。使用同一原始导度坐标、步长1的更新,降至初始损失的1%分别需要186次与15149次。独立积分的连续梯度流也给出同样的快慢分离。5

左图的平台来自B的目标不可实现;右图的慢曲线来自有解、满秩但响应很弱。这是两种不同原因。数值更新次数并非装置秒数;真实训练还要等待电压松弛并完成测量、约束和存储。改用对数导度或预条件更新也会改变速度,因此81倍属于这里声明的坐标与协议,不是材料的固定常数。
原研究怎样把响应与学习联系起来
Guzman等2025年的发表研究把物理状态的平衡与参数训练区分开:导度改变物理响应,物理响应又决定任务误差。其调谐敏感性由物理响应算子对导度的变化给出;达到零平方误差时,任务损失Hessian为$J^TJ$。附录A保留非零残差时的附加项,因此不能在任意训练阶段都把这两个矩阵当成相等。附录C再把电路关联矩阵换成弹性网络的平衡矩阵,保留几何、约束和零模处理。1
本库实际取得作者存档中Fig1网络的图结构和best_conductances记录:300节点、777条边、两输入电压及接地、两输出。重新求得基输入响应为
对应发表目标$\begin{pmatrix}0.15&0.3\\0.2&0.1\end{pmatrix}$,最大系数误差约$1.71\times10^{-4}$。固定原代码的三个稀疏求解方法与本库另写的消元求解,在节点电压上最大差约$4.4\times10^{-15}$;16条边的有限差分又核对了响应导数。34
这个记录的任务响应矩阵大小为$4\times777$,四个奇异值约$3.548,2.015,1.252,0.394$,秩4;因此有773维一阶参数方向不改变这四个任务读数。这没有把777条边判为“多余”:它们可以改变内部电压、耗散或其他输入输出任务,也可能通过二阶效应改变当前响应。
这里复核的是原存档的最佳参数记录与静态响应,不是原训练全过程。新算的基输入半平方误差约$2.56\times10^{-8}$,与作者原随机批次的best_error不是同一个量;完整训练CSV未取,不据此声称复现原训练误差或最终状态。原归档约10.8GB,本库只按HTTP Range取两个JSON成员并核CRC/SHA256,未核整包MD5。
对于弹性材料,最小类比是一个节点以正刚度弹簧接到三个受控一维锚点。力平衡给$y=(a u_1+b u_2)/(a+b+c)$,同样只有刚度比例决定位置;本库100组参数与锚点对照核了力平衡。但多维弹性网络还包含几何、刚体运动与稳定性,电路的加权平均边界不能直接搬过去。本文没有复现原论文的多维机械网络或实验装置。
有解却完全不动,是另一个可检查的机制
McGinnis等2026预印本的局部收敛结论,要求已有解、从足够近处出发,并满足相关秩条件;小扰动、连续或适当小的离散步长也分别有条件。其第6节给出一个风筝电路:输出是三个内部节点电压的组合$\Psi=x_2-2x_3+x_4$。两项对称条件同时成立时,$\Psi=0$且所有一阶调参响应为0;非零目标会让理想EP更新停在非零误差。2
本库按原拓扑独立求解,以目标$\Psi=0.05$作对照。边顺序为$12,14,23,34,25,45$:从$(2,2,2,2,1.5,1.5)$出发,理想小扰动EP梯度流保持不动;但$(156/43,2,1,3,1.5,1.5)$就是一个正导度准确解。只给初态第一条边加0.1,同一梯度流便能接近目标。独立节点方程、解析表达、导数和两种积分方法互核;接近误差$10^{-7}$的流时间约2666.86,两种积分相差约0.0043。5

图左显示原拓扑在两个不对称参数下的输出,交点处所有一阶方向消失;右图用相同目标比较精确对称与微扰初态。这是作者已有反例的独立实现和本库新增数值对照,不是新发现,也不是有限扰动CL、AL或硬件实验。精确停住来自理想对称,真实噪声可能打破它,也可能引入其他误差;本篇没有模拟后一问题。
怎样诊断下一块学不会的材料
这组结果支持一条有顺序的诊断路线。先固定物理方程、边界、可调元件和范围,寻找准确参数见证或可实现集合;目标已经在集合外时,应改变要求或物理资源。目标有解时,再测任务响应及实际更新,看当前误差能否被可用方向消除。若方向存在,再核奇异值、步长、松弛时间与有限预算,判断误差平台是否只是观察窗口太短。
| 观察 | 本篇可区分的机制 | 更有判别力的检查 |
|---|---|---|
| 训练误差停住 | 目标在允许集合外 | 全局可行域、准确参数见证或严格误差下限 |
| 已知有解,特定初态仍不动 | 对称或参数布局使局部更新退化 | 测响应导数,改变可调位置或轻微打破对称 |
| 已知有解、局部满秩,但进展很慢 | 有用方向太弱或协议预算不足 | 匹配初始任务误差,改变误差方向、步长和等待时间 |
| 增加任务条数仍无新约束 | 输入或输出要求相关 | 核输入跨度及任务响应秩,分开独立信息与重复测量 |
完整目标集合、局部响应与有限训练在本文小模型中可以分别核对;较大网络的全局集合仍未被本文求出。实际材料中,误差容限、非线性、约束改变和测量成本还会改变“能学会”的含义。后续研究需要继续保留这些条件:冻结参数后的泛化不由训练成功自动保证,连续学习中的遗忘也要先排除任务本来不能共存。当前能够给出的答案是,更多旋钮只有通过物理允许、任务相关而且协议能使用的调整方向,才转化为可检验的学习能力。