感知与适应16 分钟

为什么间隔更久,有时反而需要更少次数才能学会?

在一组受控小鼠任务中,将奖励间隔从几十秒延长到几百秒,可以显著减少达到行为判据所需的奖励次数,但训练中经过的总时间未相应缩短;一小时间隔已偏离原先比例。本文回查52条公开的行为获得记录和模型输出,用时间一致的更新例子解释增益与更新频率的关系,再比较回溯关联、时间表征和预测误差解释。较可靠的结论是时间结构参与关联获得;它尚不能推出等待越久越好、重复没有价值或所有学习遵循同一算法。

少经历几次,不一定少花时间

设想两组动物学习同一个关系:一个声音之后,会出现奖励。甲组很快又遇到下一次,乙组要等更久。

如果把每次经历都看成一份固定大小的学习,那么经历更密集的一组应该更快学会。但每次经历究竟改变多少,并不一定固定。间隔也可能改变背景预期、事件的可区分性、临时痕迹和后续更新的强度。

因此,“更快学会”至少有三种意思:所需经历次数更少,实际训练时间更短,以及经过较长时间后仍记得更好。这三者不能互相替代。神经系统如何使用时间,也是区分学习模型的重要问题。1

本篇集中研究奖励关联的获得阶段,以2026年Burke等的小鼠研究为主线,结合原始模型和其他任务,解释哪些结论有证据,哪些仍只是可能的机制。2

实验里,什么算一次,什么算学会

Burke等让小鼠学习短声音与稍后奖励之间的关系,用奖励到来前增加的舔舐行为判断动物是否开始期待奖励。2

这里有三个时间变量:

  • 线索到结果的延迟:声音开始之后,多久出现奖励。
  • 线索之间的间隔:两次声音之间相隔多久。
  • 奖励之间的间隔:两次奖励之间相隔多久。

当每次声音都带来奖励时,后两者同步变化,很难只靠这一种实验分清到底是谁在起作用。如果有些声音后不发奖励,线索仍按原频率出现,奖励却变稀疏,两种间隔才被分开。

论文另用“试次间隔”给组别命名。例如“60秒组”的60秒,并不是严格的完整奖励间隔;加上线索、等待和奖励消费的固定时间,回归分析使用的平均奖励间隔为64.25秒。600秒组对应604.25秒。

“学会”也不是直接看见某条突触完成了变化。作者先计算声音引起的舔舐相对基线的增量,再用整段学习记录的累积曲线回顾定位开始增加的位置。没有持续达到行为标准的动物,被归为未表现出学习,并从“达到标准需要多少次”的比较中排除。

这些定义是理解结果的一部分。一个动物没有明显舔舐,可能没有建立足够的关联,也可能有了信息但没有跨过行为表达门槛。后面的多巴胺结果恰好提供了这类区分。

从几十秒到几百秒,次数确实大幅下降

本篇取得作者公开代码仓库中的行为获得数据,重新汇总五组共52条已达到行为判据的记录。前四组的结果如下,误差为本篇从个体数据计算的均值标准误:

名义试次间隔 平均奖励间隔 纳入次数分析的动物 达到行为判据所需次数
30秒 34.25秒 5 176.2 ± 36.3
60秒 64.25秒 17 93.7 ± 6.7
300秒 304.25秒 6 16.7 ± 4.0
600秒 604.25秒 19 8.8 ± 0.6

其中,30秒组原有6只、60秒组原有19只;分别有1只和2只未达到行为标准,没有进入上述次数均值。300秒与600秒组这里分别纳入全部6只和19只。2

从60秒组到600秒组,所需次数大约少了十倍,但每次之间也大约多等了十倍。所以,在该范围内,较少的次数没有带来相应程度的总训练时间缩短。

作者公开行为获得数据重绘。左图包含个体值与均值标准误,拟合仅使用前四组;右图用均值次数乘平均奖励间隔形成名义时间代理,未重算原始逐事件时间。
作者公开行为获得数据重绘。左图包含个体值与均值标准误,拟合仅使用前四组;右图用均值次数乘平均奖励间隔形成名义时间代理,未重算原始逐事件时间。

将前四组的平均次数与平均奖励间隔取对数,再做线性回归,本篇重算出斜率约−1.059,与原文一致。它接近−1,意味着在这个范围内,可以近似写成:

$$ N_{\mathrm{learn}}\propto\frac{1}{D}, $$

其中$D$是奖励间隔,$N_{\mathrm{learn}}$是达到判据所需的次数。

但这是一条由四个组均值形成的经验关系。拟合很好,不等于它是一条没有误差、没有边界的生物学定律。作者对实际总训练时间没有检出组间差异,也不能据此证明所有条件下的时间完全相等。这里的训练时间主要累计实验中的经历,不是把两次训练之间整天的生活时间也算进去。

一小时间隔,已经不再按原比例走

如果把上述关系直接延伸到一小时间隔,预测的平均获得次数约为1.28次。但原实验五只动物的公开记录是3、4、4、3、4次,平均3.6次。2

这仍然比600秒组需要的次数少,却没有按原先比例继续下降。多巴胺线索反应也很快出现,但同样不满足简单的无限比例外推。

这个结果很有价值,因为它同时告诉我们两件事:间隔对学习有强影响;这种影响在更极端的尺度上会改变。不能只保留前一段漂亮的直线,再把“越等越有效”当成结论。

文中的一小时组每天训练安排也更长,与其他组并非所有日程条件都完全相同。它可以检验原比例的外推,却没有单独定位究竟是哪项记忆、生理或表达限制使比例失效。

本篇使用了2026年8月更正后的期刊版本。该次更正修复的是图4b顶部栅格图的对齐,同一研究的更正版不作为另一份独立证据。

大脑可能不仅数次数,也在估计事件发生的时间背景

一种直觉是:如果奖励本来就到处出现,那么某个声音恰好出现在奖励前,并不提供太多新信息;若背景中很久才出现一次奖励,同样的先后关系就更值得注意。

这个直觉解释了为什么“奖励前出现过什么”需要与背景比较。但它还不能独自推出十倍间隔对应十倍学习量。

例如,在一个自选的随机背景中,假设奖励服从固定平均率的泊松过程。将平均间隔从60秒变成600秒,一段固定短窗口内出现奖励的概率大约降十倍,但用负对数概率衡量的“意外程度”只增加约1.6倍。本篇实际算了这个例子;它不是实验的真实奖励时序,只说明“更加罕见”与“学习量正比增加”之间还缺一段机制。

Jeong等提出的回溯关联模型ANCCR,把这段机制进一步具体化:结果出现时,利用尚存的线索痕迹,估计哪些线索比背景巧合更稳定地出现在结果之前;再结合线索和结果本身的出现频率,把向后看的关联转换为向前的预测。3

向后看与向前看并不是同一个问题。“每次听到声音之后有没有奖励”,与“每次得到奖励之前有没有听到声音”,在部分奖励、额外奖励和多线索条件下,会给出不同统计量。

在模型里,可以用贝叶斯关系帮助理解这个转换:

$$ p(r\mid c)=p(c\mid r)\frac{p(r)}{p(c)}. $$

这里的$r$、$c$分别代表奖励与线索。真实时序中的事件定义、背景与统计窗口需要一致,不能把不同时段、不同背景下估计的几项直接拼起来。ANCCR实际使用的是带时间痕迹和背景校正的表示,上式只是理解它的入口。

模型名称中的“因果”也不意味着仅凭先后顺序就能在任何环境中排除共同原因。它是在规定的候选事件与时间表示中学习关联结构,现实中的因果识别仍需要相应控制和假设。

关键一步:更新频率变了,每次更新的权重也要跟着变吗

2026年论文进一步提出,向后关联只在奖励出现时更新,而背景事件率持续更新。如果两者要代表同一段近期历史,就不能任意给它们不同的遗忘速度。2

用一个简化例子讲这件事。设某个估计量在一次更新后保留旧值的比例是$1-\alpha$。经过$n$次更新,旧信息还留下的权重是:

$$ (1-\alpha)^n. $$

如果两次更新相隔$D$秒,那么这些更新经过了$nD$秒。若希望旧信息按一个固定时间常数$\tau$衰减,就需要满足:

$$ (1-\alpha)^n=e^{-nD/\tau}, $$

从而得到:

$$ \alpha(D)=1-e^{-D/\tau}. $$

当$D$远小于$\tau$时,才可以近似写成$\alpha(D)\approx D/\tau$。间隔越大,每次更新越重,但精确表达式会逐渐饱和,不能一直线性增加到超过1。

这里有一个必须明确的推论桥梁:按时间匹配历史窗口,是模型的设计与机制假设;它不是贝叶斯公式单独强迫所有学习系统都采用的更新方式。 还需要假设如何保留痕迹、在哪些事件更新,以及系统怎样估计合适的时间尺度。原论文的附件也给出了资格痕迹时间与背景更新率之间的适用条件。

所谓资格痕迹,可以先理解为“某个线索最近出现过”的暂时记录。它使结果到来时仍有可能关联到较早的线索;痕迹保留多久、是否随环境改变,是需要解释的生物学环节。

上面用于历史权重的$\tau$,并不等于单个线索资格痕迹的寿命。完整模型分别定义这两种时间尺度,再说明它们在什么条件下能够配合。

一个实际计算:次数优势与时间优势为何会分开

本篇选择$\tau=3600$秒,用一个简单的误差更新式:

$$ w_{n+1}=w_n+\alpha(D)(1-w_n),\qquad w_0=0. $$

这里$w$是示意关联量,目标值固定为1,没有拟合真实小鼠。每次奖励才更新;没有奖励的间隔内,$w$保持不变。

实际计算得到,若用$w\geq0.8$作为示意判据,60秒间隔需要97次,600秒间隔需要10次,分别经过5820秒和6000秒。两者的次数差很大,经过时间却接近。一小时间隔需要2次,已经表现出事件离散性造成的时间差。

时间一致的自选更新模型。左图显示每次更新的进展,中图明确用阶梯表示仅在事件到来时更新,右图比较精确增益与线性近似;未模拟完整ANCCR或神经回路。
时间一致的自选更新模型。左图显示每次更新的进展,中图明确用阶梯表示仅在事件到来时更新,右图比较精确增益与线性近似;未模拟完整ANCCR或神经回路。

作为对照,若无论间隔多久,每次都使用固定增益0.02,那么达到同一判据都要80次。此时600秒间隔就比60秒间隔多花十倍时间。

这个例子说明,知道“发生了多少次更新”还不够,必须知道每次更新有多重。它也说明,写成误差更新形式的模型并非逻辑上不能出现间隔效应;关键在于更新率和时间表示怎样产生。

不过,这个小模型直接指定了时间常数与增益关系,没有解释大脑如何实现它,也不能复现论文全部多巴胺动态。它展示的是一种计算上的可能关系,不能冒充第二套完整的生物学理论。

减少奖励之后,究竟哪种次数减少了

在100%奖励条件下,线索次数与奖励次数一起变化。为了拆开它们,Burke等保持声音的出现频率,将其中一组的奖励概率降到50%。2

对于达到行为判据的动物,100%奖励组平均约需要94次奖励;50%奖励组约需要45次奖励,接近一半。但50%组总共经历了约87次声音,包括没有奖励的那些次,和原先的线索总数相近。

原文部分奖励实验汇总值重绘。奖励次数与全部线索次数分别计算;均值只针对达到行为判据的动物,50%组有2/10只未进入该比较。
原文部分奖励实验汇总值重绘。奖励次数与全部线索次数分别计算;均值只针对达到行为判据的动物,50%组有2/10只未进入该比较。

所以这项结果支持奖励间隔参与每次有奖经历的更新,不能被改写为“减少一半经历,学习仍完全一样”。没有奖励的线索仍然是经历,也可能包含信息。

行为和神经信号的结局还不完全相同。50%奖励组最终的期待性舔舐较低;其中两只没有达到行为学习标准的动物,仍出现了线索相关的多巴胺变化。把奖励概率进一步降到10%时,行为、神经反应和获得判据又有不同程度的变化。

这说明,关联信息的形成、某种神经信号的出现,以及足以驱动明显行为,是需要分别观察的层次。神经信号也不是可以直接读出全部知识的统一仪表。

本研究记录的是伏隔核核心部位的局部多巴胺释放变化,没有遍测整个大脑,也没有直接从神经信号中读出那条学习率公式。

几个控制条件,比只比较“密集”和“稀疏”更有解释力

奖励间隔变长时,每天获得的奖励数、饱足程度、环境暴露、注意与日间安排都可能跟着变化。因此,原研究做了几组有意义的拆分。2

第一组保留短间隔,但每天只给六次经历,和长间隔组匹配次数。它没有获得长间隔组同样的每次经历优势,说明单靠“每天少做几次”不足以解释结果。

第二组把六次短间隔经历集中做完,再让动物继续待在环境中,使环境暴露总时长接近长间隔组。结果仍没有等同于把等待插在经历之间。这说明等待放在哪里,也可能改变学习。

第三组在奖励线索之间加入更多无奖励的其他声音,增加听觉事件总数。目标关联仍较快获得,限制了“只是所有声音变少、每个声音更显眼”的简单解释。但它不能排除对有奖励经历进行选择性回放,因为回放未必平等对待所有声音。

第四组在两次目标奖励之间插入另一种奖励。学得多快更接近目标奖励自身的间隔,而不是所有奖励合在一起的频率;但也没有完全符合“不同奖励绝不混淆”的预测。作者观察到的平均获得次数约12,落在完全按奖励身份区分所预测的约8.5,与按总奖励频率所预测的约26.8之间。

这个中间结果提示,系统如何划分“同一种事件”也会影响有效的时间统计。味道、背景和任务经验可能影响这种划分。不过,部分泛化是对结果的机制解释,并不是这一个对照已经直接测出了完整的事件分类过程。

哪个模型目前解释得更好,结论能走多远

原论文比较了微刺激时间差分学习、SOP和ANCCR,并另测试了给时间差分模型加入间隔调整后的学习率。SOP用刺激表征的激活与恢复过程解释间隔作用;时间差分模型则沿时间状态更新对未来奖励的估计。

在所查的模型实现、参数范围和行为读出下,ANCCR对跨间隔的获得次数及部分神经动态解释更好。加入间隔调整的时间差分版本,已经能明显改善行为拟合,但没有同时解释原文要求的全部动态。2

本篇从作者保存的模拟结果中重新计算比较分数,并重绘其平均获得次数,没有再次运行整个参数扫描:

原作者保存的模型输出与行为数据比较。每种曲线对应具体实现与参数搜索结果;本篇重算输出和比较分数,不声称重新运行或穷尽了模型家族。
原作者保存的模型输出与行为数据比较。每种曲线对应具体实现与参数搜索结果;本篇重算输出和比较分数,不声称重新运行或穷尽了模型家族。

这里有两点不能省略。第一,原文主图的AIC形式比较把参数惩罚项设为零;作者另提供计入参数数目的版本。相对权重反映的是该组候选与计分方式,不能读成“某个理论为真的概率”。本篇把SOP受约束与放宽约束的输出分别保存,避免混用其不同分数。

第二,模型把内部关联量超过某个阈值当作行为起点;真实动物数据则用累积行为曲线回顾定位。二者之间仍有一个行为读出的假设。模型选择结果不能完全脱离这条桥梁。

2025年Hamou等提出了另一条值得比较的路线:学习线索到结果的整个时间间隔分布,并同时估计哪个事件具有预测意义。它采用跨多个尺度的时间表示,在部分条件下可以产生接近的次数—间隔关系;相应的在线更新又可以写成类似预测误差的形式。4

这说明,时间结构、回溯信息与误差更新之间,并非只有互相排斥的一种组合。但Hamou等也明确承认,其模型对二阶条件作用、复杂多线索归因等尚不完整;它主要对应的预训练和延迟条件,与Burke等的短线索痕迹任务也不同。本文没有在同一套原始数据上给它重新调参与评分,不能宣布它已经解释了2026年的全部结果。

较稳妥的判断是:2026年的结果对某些常用模型实现提出了强约束,为事件间隔与回溯更新提供了具体证据;它尚未证明所有预测误差算法都失败,或全脑所有学习都只用ANCCR。13

主实验还保持了声音到奖励的延迟,没有系统扫描这个变量。因此,它也不能证明线索到结果的时间距离不重要。把这段延迟、奖励频率和既往奖励经历分别改变,会是继续区分机制的重要方向。

获得一个简单关联,与以后还记得,不是同一道题

人的间隔学习也不能从这组小鼠获得实验直接推出统一日程。一个重要区别是,人在意的常常是几天或几个月之后还能否回忆,而非训练中第一次出现某个期待动作。

Cepeda等的事实记忆实验,把首次学习与复习之间的间隔,以及复习之后到最终测试的延迟分别改变。第二次学习固定复习轮数,最终的回忆和识别成绩随间隔先改善、再下降;较晚测试时,较有利的复习间隔也会变化。5

因此,在这种保持任务里,“等得更久”不是一直有利。这个实验与小鼠奖励关联的任务、尺度、目标和读出不同,不能把一种比例关系平移过去。首次按标准学会、固定次数复习和长期测试,也与“固定训练时间内能获得多少关联”使用不同的比较条件。

对于本库,值得保留的机制线索是:学习系统要同时处理发生了什么、多久发生一次,以及这些信息怎样转成行为。 增加经历次数有时会增加信息,有时也伴随着每次更新权重的改变;间隔带来的收益,则依赖事件定义、历史窗口、遗忘和任务目标。

可回查:52条获得次数、分组统计、保存模型的分数重算、自选更新轨迹、奖励与线索次数、结果与适用范围。

来源与依据

  1. S1 观点综述与模型家族地图

    Explaining dopamine through prediction errors and beyond

    Samuel J. Gershman, John A. Assad, Sandeep Robert Datta, Scott W. Linderman, Bernardo L. Sabatini, Naoshige Uchida, Linda Wilbrecht · 2024

    Nature Neuroscience27,1645–1655;2024-07-25在线;作者PDF页首日期仍为排版占位,题录以期刊为准 · 相关全文已核

    导论、RPE模型家族与状态架构、替代解释及回溯推断讨论

    从作者站取得完整PDF,实际读领域定义与替代解释相关部分,未追全部参考文献。对RPE并非单模型、神经信号多样性及广义预测误差的观点作为领域地图,不代替本篇原始实验。Datta站TLS域名错误后改作者公开站,没有把取用失败当文章缺失。

  2. S2 原始小鼠行为/多巴胺关联学习与模型比较

    Duration between rewards controls the rate of behavioral and dopaminergic learning

    Dennis A. Burke, Annie Taylor, Huijeong Jeong, SeulAh Lee et al. · 2026

    Nature Neuroscience29,825–839;2026-02-12;使用2026-08-03出版更正后页面 · 相关全文已核

    主文Figs1–8/相关ED图注、Methods获得判据/时间定义/模型与统计、SI Note1及统计表、公开MAT与源码

    本篇实际核原主文、相关方法和SI时间窗口推导。2026-08-03更正DOI10.1038/s41593-026-02425-7只修Fig4b顶行栅格对齐,正文/更正均落盘;2023早期Reward timescale稿是同项目版本,不计独立重复。试次cue到reward1.25s、消费3s,回归IRI=ITI+4.25;全奖励30/60/300/600/3600秒组获得记录分别5/17/6/19/5,共52,MAT中NaN是不同组长度补齐,不是非学习个体。30/60组各排1/2行为nonlearner;50%组2/10未达行为标准仍有多巴胺反应,10%组未按相同阈值分nonlearner,一只持续负信号多巴胺排除。cumsum的首个达到最大距离75%位置是回顾性行为判据,DA窗口还参考1.5倍行为获得试次,不能当直接在线突触学习时刻;初始trial1按消费定义,部分奖励不同;一只60组丢失50行为试次被原作者置0,未在本篇重造。两组DA均值36/3.6对应5/7动物,奖励归一化AUC不以Hz记。实际时间原作者累计事件,本篇仅做N×平均IRI名义代理,不称重算逐事件时间/24小时生活时间。原代码commit b7687eba02128049eb50f8a13a7201443e180a21已固定。52数据与5×20保存模拟重新汇总/算AIC;不重跑NWB信号、原cumsum或参数扫描。参数选择用log次数RSS,公开AIC函数对原次数MSE计分;主图k=0,另有总参数5/8/8/12/12罚项。公开SOP373.495对应放宽约束,约束版428.771,本篇分列;权重不是后验概率。Methods的背景奶总IRI与身份IRI标签颠倒,实际204.25s预测26.7967,604.25s预测8.4934,与正文数字吻合,使用实际实验方向。ANCCR历史窗口匹配另假定事件更新/痕迹,α=1-(1-α0)^(IRI/dt),小α0相对痕迹衰减限制;不是Bayes单独推出普适规律。固定cue延迟没有独立检验全部delay作用。采集/分析未盲法,样本量未事先统计确定,组织定位盲法不扩成全盲。因果解读限定所测NAcc信号与任务。

  3. S3 原始回溯关联理论与小鼠神经/行为研究

    Mesolimbic dopamine release conveys causal associations

    Huijeong Jeong, Annie Taylor, Joseph R. Floeder, Martin Lohmann et al. · 2022

    Science378,eabq6740;PMC作者稿全文 · 相关全文已核

    回溯算法、Fig1/2关联转换、前两组无预测奖励及Discussion边界

    实际核算法主文与有关测试/讨论,不声称十一测试逐个复算或完整SI已读。ANCCR含背景率预测误差、资格痕迹与候选因果关联,非无误差更新;作者承认未穷尽TDRL状态空间与其他脑区。科学名称中的因果不是任意观察时序即可识别因果。与Burke2026共享团队及理论,不当独立团队复现;Hamou2025亦重用了部分本研究数据。

  4. S4 原始时间分布学习模型与既有数据比较

    Reconciling time and prediction error theories of associative learning

    Noé Hamou, Samuel J. Gershman, Gautam Reddy · 2025

    Nature Communications16,10265;2025-11-21 · 相关全文已核

    时间分布/因果后验、Results跨尺度关系、Methods数据来源、Discussion适用边界;SI取得未通读

    相关主文模型与推导/数据定义已读。log尺度直方图与Dirichlet类先验、预先奖励经历和行为代价/读出共同给缩放;作者展示Gamma分布参数化会改为逆对数关系,不能说仅凭无尺度一词就唯一推出反比。TCL在线更新可与误差形式兼容;主要delay-conditioning及预训练条件不同于Burke痕迹任务,本文未在Burke52记录上重新拟合TCL,不能替其宣称解释全部partial reinforcement和DA。所用旧鸟类数据、Jeong鼠数据及部分图上抽取不是新独立实验;明确未涵盖二阶条件作用、复杂候选原因/动作/情境。

  5. S5 原始人类事实记忆间隔与保持实验

    Spacing Effects in Learning: A Temporal Ridgeline of Optimal Retention

    Nicholas J. Cepeda, Edward Vul, Doug Rohrer, John T. Wixted, Harold Pashler · 2008

    Psychological Science19,1095–1102,2008-11;作者公开PDF · 相关全文已核

    设计/Methods、Table1条件、Results间隔×保持、Discussion

    主文原PDF实际核:32事实、26 gap×RI条件,首次学至正确标准,第二次固定两遍复习;已知项目按个体排除。末次复习到测试的RI与两次学习的gap不同;回忆与识别分别记录,不能直接外推动物获得次数/多巴胺机制。长间隔完成率较低,只分析按窗完成三次者,作者已有背景比较不等于完全排除选择偏差。实验候选最优与样条插值最优不同,本文只使用非单调和测试延迟相关的定性结果,不发布个人最佳日程。UCSD站证书过期后改共同作者公开站取得。

最后更新 2026-09-10

来源