约束与权衡14 分钟

可调元件很多,为什么仍然学不会某些任务?

可调元件的数量没有直接告诉我们能学会多少任务。本文把正导度网络的目标集合完整算出:同样六条边、四个可调元件,布局改变后,一个可学目标会出现精确的误差下限;局部满秩仍可能遇到参数上限,同样可实现的任务也可能沿不同方向需要相差约81倍的更新。再核验原作者300节点网络与理论原文中的退化例子,区分物理能力、局部调整和有限训练。

元件都能调,为什么误差还停在那里

设想一块电路:给两个端口施加电压,要求另外两个端口作出指定响应。第一次任务学会了,增加几组要求后却出现误差平台。延长训练仍没有改善。它可能意味着三件不同的事:没有任何允许的元件设置能完成任务;设置存在,但当前可调位置没有合适的纠错方向;或者方向存在,训练只是走得太慢。

单看一条训练曲线分不开这三种机制。元件数、误差平台和某个很小的奇异值各提供线索,能否实现目标还需要物理方程、参数范围、输入输出及任务本身一起确定。本篇用一个可完整求解的小网络走完这个判断,再接回原作者已训练的较大网络。12

这里的“任务”是明确输入下要求的输出;“学会”是允许的参数配置把指定误差降到阈值以内。未见输入表现、保存旧任务和真实器件误差将在后续课题分别研究。本文不把容量定义成一个脱离任务集合的单一分数。

先把整个目标集合算出来

小网络有五个节点:两个输入电压$u_1,u_2$、接地节点和两个输出$y_1,y_2$。每个输出分别以三条边接到三个边界节点,共六条电阻边;两个输出之间没有边。一个输出所接的导度记为$a,b,c$。Kirchhoff平衡是

$$ a(y-u_1)+b(y-u_2)+cy=0, $$

所以

$$ y=pu_1+qu_2,\qquad p=\frac{a}{a+b+c},\quad q=\frac{b}{a+b+c}. $$

导度都正时,$p,q>0$且$p+q<1$。这个输出是输入与接地电压的加权平均;只有输入边界变化,内部电压就不能任意增益或反号。这里限制的是单个被动节点电压;差分读出、主动电源或其他物理对象要重新分析。

固定导度单位,所有可调边的范围都是$[0.2,5]$。布局A固定两个接地导度$c_1=c_2=1$,调四条输入边。对于每个输出,给定$p,q$后,所需导度唯一为

$$ a=\frac{p}{1-p-q},\qquad b=\frac{q}{1-p-q}. $$

于是完整可实现集合可以直接写成

$$ p,q>0,\quad p+q<1,\quad 0.2(1-p-q)\le p,q\le5(1-p-q). $$

它在$(p,q)$平面是一个四边形,不需要靠许多次训练来猜边界。两个输出独立,完整的四系数集合就是两个四边形的组合。

布局B仍调四条边,但把三个旋钮放在第一输出的全部三条边,第四个只调第二输出的$a_2$;$b_2=c_2=1$。第一输出的系数可以移动,但把三个导度同时乘以同一数,输出完全不变,一个调整方向只改变电流尺度。它的完整集合由$p,q,r=1-p-q>0$及

$$ \frac{\max(p,q,r)}{\min(p,q,r)}\le25 $$

确定:只要三个比例的跨度不超过$5/0.2$,就能找到共同尺度把导度放入范围。第二输出则只能沿

$$ q=\frac{1-p}{2},\qquad \frac1{11}\le p\le\frac57 $$

这一条线段移动。四个旋钮对应的有效方向,已经与布局A不同。5

两种参数布局的可实现集合与参数上限
两种参数布局的可实现集合与参数上限

图中左侧画的是第二输出:同一目标$(0.20,0.30)$在A的四边形中,却不在B的线段上。右侧是另一目标$(0.85,0.05)$,它位于不受范围限制的正系数三角形内部,但超出A的有限导度范围。两幅图都是本库计算,不是实验测量。

同样四个旋钮,一个任务有解,另一个有误差下限

要求整个电路实现

$$ \begin{pmatrix}y_1\\y_2\end{pmatrix} =\begin{pmatrix}0.4&0.2\\0.2&0.3\end{pmatrix} \begin{pmatrix}u_1\\u_2\end{pmatrix}. $$

只用$(1,0)$与$(0,1)$两个基输入,就能检验这四个系数。损失定义为这两输入、两输出上平方误差总和的一半,记为$C$。

A的一个允许解是

$$ (a_1,b_1,c_1,a_2,b_2,c_2)=(1,0.5,1,0.4,0.6,1). $$

B可以准确满足第一输出,但第二输出不能同时满足$p=0.2,q=0.3$。在线段上最小化

$$ C_2(p)=\frac12\left[(p-0.2)^2+\left(\frac{1-p}{2}-0.3\right)^2\right] $$

得到$p=0.24,q=0.38$,所需$a_2=12/19$。因此B的全局误差下限恰好是$0.004$。这是允许集合与目标之间的距离,换训练步长或延长迭代不能消除。

实际从六个导度都为1出发,以同一步长1做投影数值梯度更新,20000次后A的误差降至浮点精度,B停在$0.004$。另用独立节点求解与有界最小二乘,各做12个不同初态,得到同样的下限。这里用已知全局解核训练结果;训练曲线本身不承担“不存在更好解”的证明。5

这也不是说低秩就必定学不会。把第二输出目标改成$(0.2,0.4)$,它落在线段上,B就有准确解。低秩限制附近能独立改变哪些要求,不会自动排除其中某个具体目标。

局部响应秩能回答到哪一步

将任务读数排列成向量$F(k)$,可调参数为$k$,小调整给出

$$ \delta F=J\delta k+O(\|\delta k\|^2),\qquad J=\frac{\partial F}{\partial k}. $$

$J$的秩数出一阶可以独立改变的任务方向。在六个导度都为1时,A的四个奇异值为$1/3,1/3,1/9,1/9$,秩4;B为约$0.3333,0.2485,0.1925,0$,秩3。多出来的旋钮只有在产生独立响应时才增加这种局部能力。

任务条数也需要检查独立性。在这个线性网络中,两输入的独立基给四个响应系数;将同一输入方向重复五次,甚至改成不同倍数,任务响应秩仍只有2。更多数据可能帮助抗噪,但不会凭空提供新的输入方向。本例的任务不含噪声,不能由此估计抗噪收益。

局部满秩表示内部点附近可以实现足够小的任意输出调整,它没有覆盖远处目标,也没有取消边界。前图的$(0.85,0.05)$需要$a=8.5,b=0.5$,超过上限。A在正导度处的局部秩仍为4;但全局最接近的第一输出是$(25/31,1/31)$,在$a=5,b=0.2$的边界,完整任务的最低损失约$0.00110562$。到了边界,导度再增加的方向已经不可用,单看无约束$J$的秩尤其不够。

在理想平方误差梯度流中,$\dot k=-J^Tr$,$r=F(k)-F_{\rm target}$,因而

$$ \dot C=-r^TJJ^Tr. $$

这解释为什么非零奇异值的大小也有用:它们决定局部纠错的快慢。可是在有界参数、有限步长、不同学习规则或物理状态未松弛时,还要分别核实际更新。

已有准确解,也可能需要很久才能接近

把A两个输出的目标系数都设为$(4/9,4/9)$,一个解是每条输入边导度4、接地导度1。对第一输出来说,任务响应的快奇异方向是两系数反向变化,奇异值$1/9$;慢方向是两系数同向变化,奇异值$1/81$。二者都能调,但局部平方误差衰减率相差81倍。

本库分别让第一输出的两系数在目标上增加$(10^{-4},-10^{-4})$或$(10^{-4},10^{-4})$,再反求初始导度。两个初态的任务损失都为$10^{-8}$,第二输出已经准确,参数均在同一范围内。使用同一原始导度坐标、步长1的更新,降至初始损失的1%分别需要186次与15149次。独立积分的连续梯度流也给出同样的快慢分离。5

误差下限与纠错方向导致的速度差异
误差下限与纠错方向导致的速度差异

左图的平台来自B的目标不可实现;右图的慢曲线来自有解、满秩但响应很弱。这是两种不同原因。数值更新次数并非装置秒数;真实训练还要等待电压松弛并完成测量、约束和存储。改用对数导度或预条件更新也会改变速度,因此81倍属于这里声明的坐标与协议,不是材料的固定常数。

原研究怎样把响应与学习联系起来

Guzman等2025年的发表研究把物理状态的平衡与参数训练区分开:导度改变物理响应,物理响应又决定任务误差。其调谐敏感性由物理响应算子对导度的变化给出;达到零平方误差时,任务损失Hessian为$J^TJ$。附录A保留非零残差时的附加项,因此不能在任意训练阶段都把这两个矩阵当成相等。附录C再把电路关联矩阵换成弹性网络的平衡矩阵,保留几何、约束和零模处理。1

本库实际取得作者存档中Fig1网络的图结构和best_conductances记录:300节点、777条边、两输入电压及接地、两输出。重新求得基输入响应为

$$ H_{\rm record}\approx \begin{pmatrix} 0.1498287&0.3001014\\ 0.2000911&0.0999433 \end{pmatrix}, $$

对应发表目标$\begin{pmatrix}0.15&0.3\\0.2&0.1\end{pmatrix}$,最大系数误差约$1.71\times10^{-4}$。固定原代码的三个稀疏求解方法与本库另写的消元求解,在节点电压上最大差约$4.4\times10^{-15}$;16条边的有限差分又核对了响应导数。34

这个记录的任务响应矩阵大小为$4\times777$,四个奇异值约$3.548,2.015,1.252,0.394$,秩4;因此有773维一阶参数方向不改变这四个任务读数。这没有把777条边判为“多余”:它们可以改变内部电压、耗散或其他输入输出任务,也可能通过二阶效应改变当前响应。

这里复核的是原存档的最佳参数记录与静态响应,不是原训练全过程。新算的基输入半平方误差约$2.56\times10^{-8}$,与作者原随机批次的best_error不是同一个量;完整训练CSV未取,不据此声称复现原训练误差或最终状态。原归档约10.8GB,本库只按HTTP Range取两个JSON成员并核CRC/SHA256,未核整包MD5。

对于弹性材料,最小类比是一个节点以正刚度弹簧接到三个受控一维锚点。力平衡给$y=(a u_1+b u_2)/(a+b+c)$,同样只有刚度比例决定位置;本库100组参数与锚点对照核了力平衡。但多维弹性网络还包含几何、刚体运动与稳定性,电路的加权平均边界不能直接搬过去。本文没有复现原论文的多维机械网络或实验装置。

有解却完全不动,是另一个可检查的机制

McGinnis等2026预印本的局部收敛结论,要求已有解、从足够近处出发,并满足相关秩条件;小扰动、连续或适当小的离散步长也分别有条件。其第6节给出一个风筝电路:输出是三个内部节点电压的组合$\Psi=x_2-2x_3+x_4$。两项对称条件同时成立时,$\Psi=0$且所有一阶调参响应为0;非零目标会让理想EP更新停在非零误差。2

本库按原拓扑独立求解,以目标$\Psi=0.05$作对照。边顺序为$12,14,23,34,25,45$:从$(2,2,2,2,1.5,1.5)$出发,理想小扰动EP梯度流保持不动;但$(156/43,2,1,3,1.5,1.5)$就是一个正导度准确解。只给初态第一条边加0.1,同一梯度流便能接近目标。独立节点方程、解析表达、导数和两种积分方法互核;接近误差$10^{-7}$的流时间约2666.86,两种积分相差约0.0043。5

风筝网络对称退化与初态干预
风筝网络对称退化与初态干预

图左显示原拓扑在两个不对称参数下的输出,交点处所有一阶方向消失;右图用相同目标比较精确对称与微扰初态。这是作者已有反例的独立实现和本库新增数值对照,不是新发现,也不是有限扰动CL、AL或硬件实验。精确停住来自理想对称,真实噪声可能打破它,也可能引入其他误差;本篇没有模拟后一问题。

怎样诊断下一块学不会的材料

这组结果支持一条有顺序的诊断路线。先固定物理方程、边界、可调元件和范围,寻找准确参数见证或可实现集合;目标已经在集合外时,应改变要求或物理资源。目标有解时,再测任务响应及实际更新,看当前误差能否被可用方向消除。若方向存在,再核奇异值、步长、松弛时间与有限预算,判断误差平台是否只是观察窗口太短。

观察 本篇可区分的机制 更有判别力的检查
训练误差停住 目标在允许集合外 全局可行域、准确参数见证或严格误差下限
已知有解,特定初态仍不动 对称或参数布局使局部更新退化 测响应导数,改变可调位置或轻微打破对称
已知有解、局部满秩,但进展很慢 有用方向太弱或协议预算不足 匹配初始任务误差,改变误差方向、步长和等待时间
增加任务条数仍无新约束 输入或输出要求相关 核输入跨度及任务响应秩,分开独立信息与重复测量

完整目标集合、局部响应与有限训练在本文小模型中可以分别核对;较大网络的全局集合仍未被本文求出。实际材料中,误差容限、非线性、约束改变和测量成本还会改变“能学会”的含义。后续研究需要继续保留这些条件:冻结参数后的泛化不由训练成功自动保证,连续学习中的遗忘也要先排除任务本来不能共存。当前能够给出的答案是,更多旋钮只有通过物理允许、任务相关而且协议能使用的调整方向,才转化为可检验的学习能力。

来源与依据

  1. S1 原始理论与数值研究

    Microscopic Imprints of Learned Solutions in Tunable Networks

    Marcelo Guzman; Felipe Martins; Menachem Stern; Andrea J. Liu · 2025

    PRX15,031056(2025-08-27),AMOLF机构保存的19页正式发表PDF,CC BY · 相关全文已核

    发表PDF pp1—3的II/III式1—18;Appendix A式A1残差项;Appendix C式C6—C11及Fig11;Appendix F/Fig1参数和目标;Data Availability/Ref42

    实际核相关段、方程与附录,非逐页通读。零残差Hessian与物理敏感性作机制依据;原300节点网络实际重算另见s3/s4。未重跑300节点训练、机械网络、全部图表或以敏感性代替一般容量定理。

  2. S2 原始数学预印本

    Coercivity and Local Convergence of Physical Learning in Linear Circuits

    Joshua A. McGinnis; Xinbo Li; Yoichiro Mori · 2026

    arXiv2606.15443v1(2026-06-13),24页;未当发表论文 · 相关全文已核

    Section3输入/输出、EP/CL/AL及式1—8;Section5 Lemma5/Theorem6;Section6风筝电路/Fig2/Proposition10及其证明;Section7 Theorem12和局部邻域;Section8 Theorems13/14条件入口

    实际核数学设置、局部秩、解存在/邻域/小扰动及风筝反例。第6节三内部点加权输出非单节点电压。自行推导拓扑响应并执行小扰动EP梯度流和独立节点/积分核,不声称原作者数值图、有限nudge CL/AL或全部证明重证。

  3. S3 作者原始实现

    code_microscopic_imprints: original circuit solver and learning implementation

    Felipe Martins; Marcelo Guzman · 2025

    固定64be5cd337d6804f3dcd30027d92f9f9057ef8da,2025-08-06提交 · 相关全文已核

    README;Circuit._hessian/_extended_hessian/solve;learning.save_global/save_graph;examplePlottingRoutines.ipynb cells3/4/20/21

    取得固定提交目录、两notebook和相关src。实际读所列方法/数据保存和notebook关键单元,AST提取三个原方法不改函数体,以scipy csr_array维持原elementwise乘法语义,执行原稀疏解并对独立KCL。未安装JAX/运行训练notebook/自动微分Hessian/全套绘图。依赖语义与执行范围在复算代码记录。

  4. S4 作者原始网络记录

    Trained Circuits — Microscopic imprints of learned solutions in adaptive resistor networks — 2025

    Felipe Martins · 2025

    concept DOI14680896实际返回v1记录14680897;CC BY4.0 · 相关全文已核

    Fig1的global.json keys best_conductances/indices_inputs/indices_outputs/current_bool/n/ne;对应graph.json nodes/edges;作者README与保存方法核数据含义

    10,805,446,607字节ZIP仅HTTP Range取目录679项及两个JSON成员,解压共1,146,870字节,逐成员CRC与SHA256核。实际解析图结构/全部777个最佳导度并重算响应;最佳记录非最终CSV状态,未取165.8MB CSV、未下载整包或核全包MD5。存档2025-01-24题名与发表题名稍异,Fig1路径/目标及原代码说明对应,不能假定所有版本/图逐项相同。

  5. S5 本库计算证据

    本库T117可实现集合、训练及原作者网络重算核验

    Codex · 2026

    2026-10-09,本库自建教学例子+独立数值核验;不冒充独立审阅 · 相关全文已核

    research/calculations/physical_task_capacity.py、_audit.py、_author.py;research/assets/2026-10-09-physical-task-capacity/results.json与author-network-results.json

    实际执行300随机网络KCL/复导数、24组独立有界拟合、完整小网络可行域及解析下限、同误差快慢训练/独立ODE、风筝独立求解/两积分、100一维弹簧对照。数值为本库计算而非外部论文测量;另有原始记录再分析。资源为数值更新次数或无量纲梯度流时间,不是能耗和装置时间。

最后更新 2026-10-09

来源