把 PPO 的“别走太远”，
带进神经量子态训练

01 / THE BOTTLENECK

采样变干净之后，
NQS 卡在了怎么更新

神经量子态（Neural Quantum States, NQS）用神经网络表示多体量子波函数，训练目标是把能量压到接近基态。autoregressive 模型已经让采样轻松很多：它可以直接从 Born 分布独立采样，不再被传统 MCMC 的相关性拖住。

但“能采到样本”不等于“能稳定训练”。Adam 的单步成本低，也能扩到很大的模型，却不显式关心波函数空间的几何；随机重构及其近似版本更有几何原则，但往往绕不开昂贵且数值敏感的线性系统。

这篇工作的切口很直接：既然波函数更新本质上是在改一个概率分布，能不能借用强化学习处理“策略别漂太远”的成熟办法？

02 / THE TRANSLATION

关键翻译：VMC 很像
一次 policy gradient

作者把 VMC 梯度改写成强化学习熟悉的结构。在这个对应里，策略就是 Born 分布；一次量子构型采样像一次动作；局部能量减去平均能量，则扮演了 advantage。优化对象从“调整网络参数”变成“在不要离旧分布太远的条件下，更新波函数”。

Reinforcement Learning

Variational Monte Carlo

Policy

Born distribution

Advantage

Centered local energy

KL constraint

Wavefunction infidelity

Fisher matrix

Fubini-Study metric

03 / THE METHOD

PWO：给幅度和相位
各装一套刹车

PWO 的工作流很像 PPO：先从旧波函数采一批构型，并缓存旧的概率、相位和 advantage；再在同一批样本上做多次内层更新。这样昂贵的采样与局部能量计算可以被复用，而不是每一步都重新支付。

1. 旧波函数采样缓存构型、旧 log probability、相位与 centered local energy。
2. 裁剪幅度更新限制新旧概率比，防止 Born 分布在一次更新后突然漂移。
3. 裁剪相位更新限制 wrapped phase increment，避免复波函数的相位通道失控。

它的直觉不是“步长越小越好”，而是控制真正有物理意义的变化：波函数的幅度与相位不应该在一个 batch 内脱离旧波函数太远。

04 / THE EVIDENCE

结果不只是一条漂亮曲线

在横场 Ising 链上，PWO 约 5 分钟达到 10^-7 相对误差；讲稿给出的对比中，minSR 达到同等精度约需 30 分钟。更有区分度的是 J1-J2 链：受挫系统要求模型学到更复杂的符号结构，相位通道不能含糊。

在这个基准上，PWO 约 15 分钟进入 10^-7 相对误差区间，V-score 持续下降；报告中 minSR 的 10 个随机种子有 6 个出现 NaN。这里的信号很清楚：信任域不只是让训练“看起来平滑”，而是在困难相位结构上提高了稳定性。

最后的压力测试更具象：作者将一个 15 亿参数的 RWKV-7 当作 autoregressive NQS 微调。它并不是在宣称“大语言模型最适合量子物理”，而是在检验这个 proximal objective 到了比常规 NQS 大三个数量级的 ansatz 后还是否有效。图中 PWO 的最终相对误差与 V-score 都低于 Adam。

05 / THE LIMITS

它真正推进了什么，
边界又在哪里

我认为这篇论文最有价值的地方，不是又多了一个优化器缩写，而是把 NQS 的优化问题从“用哪个更新规则”推进到了“应该控制什么样的几何变化”。它控制的不是普通参数距离，而是波函数幅度与相位的变化。

边界也要说清：理论保证主要是局部的；clip 阈值、内层更新步数仍需调参；更广泛的 Hamiltonian 家族还要继续验证。PWO 给出的不是万能答案，而是一套从强化学习迁移过来的、可解释的稳定训练语言。