研究者与星猫观察玻璃制成的损失地形。少数琥珀色小珠落在狭深的谷底,更多小珠散布在宽浅的盆地中。
M51 · 涡状星系 · 宏象旋涡星系 · 猎犬座 · 约 3100 万光年

用自由能理解机器学习:从贝叶斯推断到泛化与训练动力学

从穿过十个点的曲线出发,理解拟合与先验如何决定模型的权重,泛化界能保证什么,以及训练最终会选中哪一个解。

Learning 约 28 分钟阅读 光行 3 日 在星图中找到它
用自由能理解机器学习:从贝叶斯推断到泛化与训练动力学 Learning

假设我们在纸上画出十个点,再画两条穿过它们的曲线。一条变化平缓,另一条在相邻两点之间绕了好几个弯。只看这十个点,两条曲线答得一样好。可要是遮住第十一个点,让我们先猜它在哪里,两条曲线给出的答案可能相距很远。

同一批数据容得下许多解释,我们凭什么更相信其中一种?

这道题其实可以问三遍。看到数据以后,我们该给每种解释多大的权重?按这些权重作出的预测,到了新样本上有多可靠?如果把选择交给一个从随机初值出发、一步步调整参数的算法,它最后又会走到哪里?自由能在这三个问题里都出现了,但每次承担的角色不同。

从一条曲线到一群曲线

先把每个模型想成地形上的一个点,点的高度代表训练损失。挑一个模型,只要比较几个点的高低。给一整片山谷分配概率,就还得知道我们原本给这片区域分了多少权重。谷底稍浅,周围却有很多拟合得差不多的曲线,这片区域得到的总权重就可能高于一个深而窄的谷底。

把这个直觉写下来。记训练集为 D={(xi,yi)}i=1n\mathcal D=\{(x_i,y_i)\}_{i=1}^n,参数为 θ\theta,平均训练损失为 LD(θ)L_{\mathcal D}(\theta)。在观察这批数据之前,我们用先验 π\pi 给不同参数分配权重。看到数据以后,用新的分布 ρ\rho 表示自己的判断。温度 T>0T>0 下的自由能为

FT(ρ;D)=Eθ∼ρ[LD(θ)]+T DKL(ρ∥π).\mathcal F_T(\rho;\mathcal D) = \mathbb E_{\theta\sim\rho}[L_{\mathcal D}(\theta)] + T\,D_{\mathrm{KL}}(\rho\Vert\pi).

第一项有个直接的读法。从 ρ\rho 中随机取一条曲线,它在那十个点上的平均误差有多大?第二项中的 KL 散度衡量这次更新相对先验改变了多少。如果原先把相当一部分权重分给了某一类曲线,观察数据后偏向它们,所需的信息代价就比较小。反过来,要把几乎所有权重集中到原先极少见的解上,就需要更大的拟合收益才划算。温度 TT 决定我们愿意为降低训练损失付出多少这样的代价。

只要归一化常数 ZTZ_T 有限且为正,就能写出使自由能最小的分布

ρeq(θ)=1ZTπ(θ)exp⁡ ⁣[−LD(θ)T],ZT=∫π(θ)exp⁡ ⁣[−LD(θ)T]dθ.\rho_{\mathrm{eq}}(\theta) = \frac{1}{Z_T}\pi(\theta) \exp\!\left[-\frac{L_{\mathcal D}(\theta)}{T}\right], \qquad Z_T= \int\pi(\theta) \exp\!\left[-\frac{L_{\mathcal D}(\theta)}{T}\right]d\theta.

这就是 Gibbs 分布。每个参数都从自己的先验权重出发,再按损失重新加权。两组参数的先验权重相同时,损失较小的那一组得到更多权重,温度越低,同样的损失差距就越有分量。把这个分布代回自由能,可以得到一个有用的恒等式

FT(ρ;D)=−Tlog⁡ZT+T DKL(ρ∥ρeq).\mathcal F_T(\rho;\mathcal D) = -T\log Z_T+ T\,D_{\mathrm{KL}}(\rho\Vert\rho_{\mathrm{eq}}).

右端第一项与 ρ\rho 无关,第二项非负,而且当 ρ=ρeq\rho=\rho_{\mathrm{eq}} 时等于零。即使算不出完整的 Gibbs 分布,我们也可以把搜索限制在一族容易计算的分布里,例如高斯分布。此时,最小化自由能等价于在这一族里寻找使 DKL(ρ∥ρeq)D_{\mathrm{KL}}(\rho\Vert\rho_{\mathrm{eq}}) 最小的近似。这就是变分推断的一种做法。

现在回头看山谷的宽度。如果区域 AA 内的损失近似为常数 LAL_A,它对 ZTZ_T 的贡献就近似为 π(A)e−LA/T\pi(A)e^{-L_A/T},对应的区域自由能约为 LA−Tlog⁡π(A)L_A-T\log\pi(A)。这里真正有用的“宽”,是先验放在区域内的概率质量 π(A)\pi(A)。仅凭一幅损失地形图上谷底的形状,还无法判断哪条曲线在第十一个点上更准。

贝叶斯推断给温度定了一个值

上面的构造允许我们选择损失和温度。标准贝叶斯推断对应其中一组具体的选择。把输入视为已知,假设给定输入和参数后,各样本的标签条件独立,再把损失取为平均负对数似然,就有

LD(θ)=−1n∑i=1nlog⁡p(yi∣xi,θ),p(y1:n∣x1:n,θ)=e−nLD(θ).L_{\mathcal D}(\theta) = -\frac1n\sum_{i=1}^n \log p(y_i\mid x_i,\theta), \qquad p(y_{1:n}\mid x_{1:n},\theta) = e^{-nL_{\mathcal D}(\theta)}.

按贝叶斯公式,后验正比于先验乘以似然,即 π(θ)e−nLD(θ)\pi(\theta)e^{-nL_{\mathcal D}(\theta)}。与 Gibbs 分布逐项比较,温度恰好是 T=1/nT=1/n。这里出现 nn,是因为训练损失取的是各样本损失的平均值,而整批数据的对数似然取的是各样本对数似然之和。

在这个温度下,Z1/nZ_{1/n} 就是模型证据,也叫边际似然。想象有两套生成曲线的办法,每套都有自己的参数和先验。如果只比最佳拟合,我们会从每套办法里各挑一条表现最好的曲线。若按各自的先验抽取曲线,哪套办法给眼前这批数据赋予的平均似然更高?这才是证据所比较的量。即使一个模型家族里藏着一条拟合得极好的曲线,只要它附近的先验质量很小,这条曲线对整个家族证据的贡献仍可能有限。

在样本充分、参数维数固定、似然峰值附近光滑且非退化、先验在该处具有正密度等常规条件下,对证据积分作拉普拉斯近似,保留主要项,就得到贝叶斯信息准则(BIC)的形式

−1nlog⁡Z1/n≈LD(θ^)+d2nlog⁡n.-\frac1n\log Z_{1/n} \approx L_{\mathcal D}(\hat\theta) + \frac{d}{2n}\log n.

θ^\hat\theta 是最大似然估计,dd 是参数维数。复杂度惩罚从积分里自然出现了。它依赖上面的局部几何条件,遇到许多不同参数对应同一个预测函数的深度网络时,直接把参数个数代入这个公式就需要格外小心。

样本增加时,错误的解释怎样被排除?

把纸上的曲线暂时换成一道有标准答案的分类题。教师持有一个固定的权重向量 θ∗\theta^\ast,其中 dd 个分量都只能取 +1+1 或 −1-1。每次给出一个各向同性的标准高斯输入,教师用加权和的正负生成标签。学生知道这条出题规则,却不知道教师用了哪组权重。它从所有二值权重出发,留下能答对全部训练题的候选。这就是一个教师—学生型 Ising 感知机。

学生与教师的接近程度,可以用权重的重合度 RR 描述。对于一个新的高斯输入,学生答错的概率为 ε(R)\varepsilon(R),两者满足

R=1dθ⊤θ∗,ε(R)=arccos⁡Rπ.R=\frac1d\theta^\top\theta^\ast, \qquad \varepsilon(R)=\frac{\arccos R}{\pi}.

R=1R=1 时两组权重完全一致。R=0R=0 时两个方向正交,学生仍然可能答对眼前的训练题,但在新题上答错的概率是 1/21/2。假如各组权重的先验相同,一个错误候选的机会也许很小,许多错误候选合在一起却能占据相当大的权重。对一个总体错误率为 ε\varepsilon 的候选,碰巧答对全部 nn 道独立训练题的概率只有 (1−ε)n(1-\varepsilon)^n。这个概率会随样本增加而下降,下降得有多快,取决于它离教师有多远。

令 α=n/d\alpha=n/d 表示每个参数分摊到的样本数。在这个模型的大维数极限里,当 α\alpha 穿过临界值,典型学生的总体错误率会从一个正值跃到零。这种突变称为学习相变。值得留意的是,转变前后留下的候选都已经答对了全部训练题。发生突变的是它们在新题上的表现。这个例子也把我们带回了第十一个点。Györgyi 关于二值感知机的研究

自由能怎样约束新样本上的误差?

在感知机例子里,输入分布已知,我们可以直接计算学生答错的概率。一般问题里,我们手上只有训练集。因此,要把训练损失 LD(θ)L_{\mathcal D}(\theta) 与总体损失 LP(θ)=Ez∼P[ℓ(θ;z)]L_P(\theta)=\mathbb E_{z\sim P}[\ell(\theta;z)] 区分开。这里 zz 是从同一分布 PP 抽取的新样本,ℓ\ell 是单个样本的损失。

PAC-Bayes 给出了一种从前者估计后者的办法。设训练样本独立同分布,单样本损失在 [0,1][0,1] 内,先验 π\pi、温度 TT 和置信参数 δ∈(0,1)\delta\in(0,1) 都在看到训练集之前选定。那么,以至少 1−δ1-\delta 的概率,以下不等式同时对所有相对于先验具有有限 KL 散度的分布 ρ\rho 成立

Eθ∼ρ[LP(θ)]≤FT(ρ;D)+Tlog⁡1δ+18nT.\mathbb E_{\theta\sim\rho}[L_P(\theta)] \le \mathcal F_T(\rho;\mathcal D) + T\log\frac1\delta + \frac{1}{8nT}.

要读懂左边,可以设想从学到的分布 ρ\rho 中抽取参数,再用它预测一个新样本。右边的自由能使用与左边相同的损失,已经包含训练表现和相对先验的信息代价。其余两项来自置信要求和有限样本的波动。由于不等式对所有这些 ρ\rho 同时成立,我们可以看完数据再选择 ρ\rho。取 δ=0.05\delta=0.05,其中的 95% 指对训练集重复抽样时这条界成立的概率,不能读成模型在新题上的正确率。

这也解释了使用公式时的两个限制。普通负对数似然可以无界,把上一节的贝叶斯损失直接代进这里,可能不满足有界损失假设。对于连续先验,把 ρ\rho 集中到某个确定的参数点上,KL 散度又可能变成无穷大。若要为单个训练结果给出有意义的保证,通常还需要随机化、量化或另外论证。若用同一批数据调整先验或从多个温度里挑一个,也要计入这一步选择的代价。Alquier 的 PAC-Bayes 教程

另一个角度是直接观察学习算法。记它输出的参数为 Θ\Theta,互信息 I(D;Θ)I(\mathcal D;\Theta) 衡量输出与这批具体训练样本之间的统计依赖。在相同的独立同分布和有界损失假设下,可以得到

ED,Θ ⁣[LP(Θ)−LD(Θ)]≤I(D;Θ)2n.\mathbb E_{\mathcal D,\Theta} \!\left[L_P(\Theta)-L_{\mathcal D}(\Theta)\right] \le \sqrt{\frac{I(\mathcal D;\Theta)}{2n}}.

这次左边取了两层平均,既考虑换一批训练数据,也考虑算法自身的随机性。它控制的是平均泛化差距。一个什么也没学到的模型,如果在训练集和新样本上都很差,这个差距也可以很小。要判断预测是否有用,还得看损失本身有多大。Xu 与 Raginsky 的互信息泛化界

训练什么时候真的沿自由能下降?

到目前为止,我们可以写出理想的分布,也可以估计它的总体风险。但一次训练从一个具体的初值出发,只走有限步。它有什么理由接近前面算出的分布?

普通梯度下降按 θk+1=θk−η∇LD(θk)\theta_{k+1}=\theta_k-\eta\nabla L_{\mathcal D}(\theta_k) 更新,η\eta 是学习率。随机梯度下降(SGD)每步只取大小为 BB 的小批量,由它估计完整梯度。同一个位置,换一批样本就可能换一个下降方向。设步长很小,批内样本独立抽取,并把梯度估计的噪声近似为高斯、各向同性且强度不随位置改变,这时可以用 Langevin 方程近似参数的运动

dθt=−∇LD(θt) dt+2T dWt,T≈ησmb22B.d\theta_t = -\nabla L_{\mathcal D}(\theta_t)\,dt + \sqrt{2T}\,dW_t, \qquad T\approx\frac{\eta\sigma_{\mathrm{mb}}^2}{2B}.

WtW_t 是布朗运动,σmb2\sigma_{\mathrm{mb}}^2 表示这里用来近似单样本梯度协方差的标量。第一项让参数沿损失下降,第二项使不同训练轨迹逐渐散开。在这组假设下,学习率越大、批量越小,等效温度就越高。这个温度来自更新规则。前面贝叶斯后验的 T=1/nT=1/n 来自似然的定义,两者没有自动相等的理由。

如果希望平衡时还保留先验 π\pi 的影响,可以把漂移项中的损失换成势能 U(θ)=LD(θ)−Tlog⁡π(θ)U(\theta)=L_{\mathcal D}(\theta)-T\log\pi(\theta)。例如,零均值各向同性高斯先验会给势能加上一项与参数平方范数成正比的惩罚。此时想象许多次独立训练,每一条轨迹都随机,但整群参数的密度 ρt\rho_t 满足确定的 Fokker–Planck 方程

∂tρt=∇⋅(ρt∇U)+TΔρt.\partial_t\rho_t = \nabla\cdot(\rho_t\nabla U)+T\Delta\rho_t.

第一项描述概率向低势能区域流动,第二项描述概率扩散。在密度光滑、边界没有净概率流等条件下,温度和先验保持固定,自由能随时间的变化为

ddtFT(ρt;D)=−∫ρt(θ)∥∇ ⁣(U(θ)+Tlog⁡ρt(θ))∥2dθ≤0.\frac{d}{dt}\mathcal F_T(\rho_t;\mathcal D) = -\int \rho_t(\theta) \left\| \nabla\!\left(U(\theta)+T\log\rho_t(\theta)\right) \right\|^2d\theta \le 0.

这个负号给“训练降低自由能”赋予了精确含义。一次随机更新完全可能走向更高的损失,但按上述方程演化的整个参数分布的自由能单调不增。这种演化也叫 Wasserstein 梯度流,相应的距离衡量把一团概率质量搬成另一团所需的代价。在平衡分布可归一化且过程充分混合时,概率流趋于平衡,得到的正是前面的 ρeq∝πe−LD/T\rho_{\mathrm{eq}}\propto\pi e^{-L_{\mathcal D}/T}。如果训练的目标是采样贝叶斯后验,随机梯度 Langevin 动力学(SGLD)会为目标分布校准漂移和额外噪声,并对步长作相应控制。Welling 与 Teh 的 SGLD 论文

分布已经稳定,轨迹还会绕圈吗?

写到这里,我想起以前讨论过的一个问题。把一个潜在状态反复解码、再编码,每走一步都能观察到位移 v(z)=F(z)−zv(z)=F(z)-z。把这些位移看作连续速度场的近似后,能否找到一个势函数 E(z)E(z),让它的负梯度恰好给出这个场?这是从观察到的运动反推地形。关于势函数与潜在空间拓扑的一些想法

本文的 Langevin 模型恰好可以顺着相反的方向推一遍。先给每组参数指定势能 U(θ)U(\theta),它的负梯度给出这组参数的漂移。再看整群参数,把 UU 按密度 ρ\rho 取平均,加上扩散对应的熵项 T∫ρlog⁡ρ dθT\int\rho\log\rho\,d\theta,就得到了前面的自由能。于是,单个状态的“下坡”有了分布层面的对应物,而且两种高度分别定义在什么对象上也很清楚。Jordan、Kinderlehrer 与 Otto 对这一梯度流的推导

旧文里的圆环可以用来检验这个直觉。想象一群粒子均匀散在单位圆上,各自随机扩散。现在给每个粒子再加一个相同的顺时针漂移,角速度为 c>0c>0。过一会儿拍张照片,两种情况下看到的密度都是 ρ∗=1/(2π)\rho_*=1/(2\pi)。要是守着圆上的一个标记,统计穿过它的净流量,区别就出现了。纯扩散时两个方向平均抵消,加入漂移后,顺时针的概率流为 c/(2π)c/(2\pi)。仅凭一张密度图,连这群粒子有没有持续绕圈都分辨不出来。

这个漂移也说明了旧文为什么要考察闭合路径。若顺时针处处是下坡,沿圆走完一圈,势能理应比出发时更低。可回到同一点,单值势函数必须给出同一个高度。因此,在圆的通常度量下,这个漂移无法由一个全局单值势函数的负梯度产生。

回到反复编码与解码的实验,我会同时保存状态出现的位置和相邻两步的先后顺序。前者能画出哪些区域常被访问,后者才允许我们在疑似环路上比较两个方向的转移次数。即使两批轨迹给出相近的密度图,它们也可能有不同的绕行方向。这是可以用轨迹去检验的问题。

走有限步时,算法会留下什么?

先看时间。即使某个谷地在平衡时应当占据大部分概率,算法也可能一直停在邻近的谷里。离开的路可能要翻过高损失区域,也可能藏在一条极窄、很难遇到的通道中。前者对应能量障碍,后者对应熵障碍。在适用的热激活近似中,逃逸时间按 τ∼eΔF/T\tau\sim e^{\Delta F/T} 的尺度增长,ΔF\Delta F 是自由能势垒。势垒只提高一点,等待时间就可能远远超过训练预算。

再看步长。对于一维二次损失 L(θ)=λθ2/2L(\theta)=\lambda\theta^2/2,其中 λ>0\lambda>0,梯度下降就是 θk+1=(1−ηλ)θk\theta_{k+1}=(1-\eta\lambda)\theta_k。若要从任意初值收敛到谷底,必须有 0<ηλ<20<\eta\lambda<2。超过上限,一步就会从谷底的一侧跨到另一侧,而且越跨越远。在正定的多维二次近似里,最陡方向决定上限,即 ηλmax⁡(H)<2\eta\lambda_{\max}(H)<2,其中 HH 是损失的 Hessian 矩阵。于是,光是学习率的选择,就已经影响算法能在哪些谷底附近稳定下来。

最后看噪声。实际的小批量噪声往往在某些方向上强,在另一些方向上很弱,还会随训练改变。以平方损失为例,一旦每个样本的残差都为零,每个样本的梯度也都为零。此时无论抽到哪个批次,都推不动参数。即使还有别的解就在旁边,SGD 也不会像恒温布朗运动那样继续探索。

固定特征的线性回归把这个问题算得很清楚。令 fθ(x)=θ⊤ϕ(x)f_\theta(x)=\theta^\top\phi(x),把各训练样本的特征向量逐行排成矩阵 Φ\Phi。若参数数目 d>nd>n 且 Φ\Phi 满行秩,恰好拟合训练集的条件 Φθ=y\Phi\theta=y 会留下一个 d−nd-n 维解集。从初值 θ0\theta_0 出发,用平方损失做普通 SGD,不加权重衰减。如果迭代收敛到一个插值解,它必然是

θ∞=Φ+y+(I−Φ+Φ)θ0.\theta_\infty = \Phi^+y+ \left(I-\Phi^+\Phi\right)\theta_0.

这里 Φ+\Phi^+ 是伪逆。第一项是满足训练数据的最小范数解。第二项是初值在 Φ\Phi 的零空间上的投影,那些方向对所有训练样本的预测都没有影响。每个小批量梯度都是训练特征向量的线性组合,所以无论走多少步,都改不了这部分初值。零初始化会得到最小范数解,换成随机初始化,就可能保留另一种在训练集上看不出来的预测。我们的第十一个点若恰好含有这样的特征分量,区别就会显现。

这个例子也给理解双下降提供了一个入口。固定样本数,逐步增加特征数。在一些带噪声的回归问题里,测试误差起初随拟合改善而下降。接近刚好能插值的门槛时,特征矩阵很小的奇异值会让伪逆放大标签噪声,测试误差反而升高。继续增加特征后,可以插值的解更多了。在合适的特征和数据分布下,最小范数解的测试误差可能随特征数增加而再次下降。于是,训练误差早已降到零,测试误差却还在变化。仅凭上面的极限解公式,无法断定一组具体数据一定会出现这条曲线。Belkin 等人关于双下降的研究

回到第十一个点

如果现在再给我看开头的两条曲线,我会先问三个更具体的问题。第一,我们原先认为哪些曲线更常见,十个点提供了多少改变这种判断的理由?第二,第十一个点是否和前十个来自同一个分布?第三,在数据约束不到的地方,我们用的算法会把曲线画成什么样?先验加权的自由能、泛化界和训练动力学,分别让这三个问题有了可以计算的形式。

换到真实深度网络,连特征本身都在训练中变化,动量、学习率调度和数据顺序也会影响结果。有些问题可以直接用实验来问。换一个初值,哪些预测会变?固定训练预算后,不同批次的梯度究竟能把参数推向哪些方向?记录这些量,才有机会分辨测试误差的拐点与噪声、几何或初始化之间究竟有什么关系。

还有一条边界来自数据。前面的泛化界假定训练和测试样本来自同一个 PP。如果某类动物在训练照片里总伴着某种背景,模型靠背景也能取得很低的同分布误差。等背景换了,原有保证就回答不了它还能否认出动物。对智能体也是如此。它在训练环境里取得高奖励、学到我们希望的目标、换个环境后仍然可靠,是需要分别检验的三件事。最初的十个点都落在曲线上。要弄清它们之间的这段弯折究竟有没有根据,终究还得去看看第十一个点。

参考资料

喜欢的话,留下你的评论吧~

访问 — 次

© 2026 Pyuyi @Pyuyi's Microcosm
Powered by theme astro-koharu · Inspired by Shoka