09-EFT.WP.Core.Density v1.0 | 第8章 正则化与最大熵

目录 ／ 文档-技术白皮书 ／ 09-EFT.WP.Core.Density v1.0

第8章 正则化与最大熵

I. 目标与范围

• 建立密度场反问题的统一表述：以数据一致项 D(y, A rho) 与正则项 R_k(rho) 的加权和为目标，覆盖 L2/L1/TV 与最大熵（MaxEnt）两大范式。
• 明确概率密度 p(x) 与物理密度 rho(x) 在正则化与熵约束下的差异与联动；所有约束与积分均显式标注测度与域。
• 产出可执行流程 Mx-97（正则参数寻优），并与第7章守恒 S92-11、第9章变量变换与归一化 S92-14/15、第10章不确定度接口对齐。

II. 记号与假设

• 变量与算子：观测 y，前向算子 A，密度场 rho(x) 或 pdf p(x)，域 X，测度 dx 或 dV。
• 正则族与权重：{R_k(rho)}，权重 alpha_k ≥ 0，向量记作 alpha。
• 约束与可行域：C(rho) = 0/≥0，典型包含非负性与守恒：rho(x) ≥ 0，M = ( ∫ rho dV )。概率情形需 ∫ p(x) dx = 1。
• 统计配分：对泊松/高斯噪声分别采用对数似然/二范数残差的 D(·,·)。时间轴若对齐 T_arr，需在元数据中记录 delta_form。

III. 反问题统一式与数据一致项

• 总目标（凸框架）：
  S92-41 : J(rho) = D(y, A rho) + ∑_k alpha_k * R_k(rho) , subject to rho ∈ C。
• 高斯误差一致项（加权最小二乘）：
  S92-42 : D_2(y, A rho) = (1/2) * || W * ( A rho - y ) ||_2^2。
• 泊松计数一致项（负对数似然）：
  S92-43 : D_P(y, A rho) = ( ∫ ( A rho ) dV ) - ( ∫ y * log( A rho + eps ) dV )。
• 维度检查：check_dim( D + ∑ alpha_k R_k ) 必通过；eps 仅为数值稳定项，发布时记录其取值。

IV. 正则项库（L2/L1/TV 与先验映射）

• Tikhonov/L2：
  S92-44 : R_L2(rho) = (1/2) * || L rho ||_2^2（L 可取恒等、梯度或拉普拉斯）。
• 稀疏/L1：
  S92-45 : R_L1(rho) = || L rho ||_1。
• 全变分（TV，连续各向同性）：
  S92-46 : R_TV(rho) = ( ∫ sqrt( (∂_x rho)^2 + (∂_y rho)^2 + (∂_z rho)^2 ) dV )。
• MAP 视角（把正则视为先验的负对数）：
  S92-53 : p(rho) ∝ exp( - ∑_k alpha_k * R_k(rho) )，后验最大化等价于最小化 J(rho)。

V. 最大熵原理（MaxEnt，Shannon/相对熵）

1. 香农熵（连续型）：
   S92-47 : H[p] = - ( ∫ p(x) * log p(x) dx )。
2. 经典约束（矩条件与归一化）：
   S92-48 : maximize H[p] , s.t. ( ∫ p dx = 1 ) , ( ∫ phi_k(x) * p(x) dx = m_k , k=1..K )。
3. 解的指数族形态：
   S92-13 : p*(x) ∝ exp( ∑_{k=1}^K lambda_k * phi_k(x) )，配分函数 Z(lambda) = ( ∫ exp( ∑ lambda_k phi_k(x) ) dx )。
4. 相对熵（带参考密度 q(x)）：
   • S92-51 : D_KL( p || q ) = ( ∫ p(x) * log( p(x) / q(x) ) dx )，
   • 则 p*(x) ∝ q(x) * exp( ∑ lambda_k * phi_k(x) )。
5. 离散域版本（直方图 p_i）：
   S92-52 : H[p] = - ∑_i p_i * log p_i，约束 ∑ p_i = 1 与 ∑ p_i * phi_k(i) = m_k。

VI. 物理密度的熵化与无量纲化

• 物理密度 rho(x) 的熵化需先归一：
  S92-58 : p_rho(x) = rho(x) / M , M = ( ∫ rho dV )。
• 在 p_rho 上施加最大熵与矩约束，求解 p_rho* 后回写：
  rho*(x) = M * p_rho*(x)；M 可由守恒或外部计量给定（见第2章与第7章 S92-11）。

VII. 偏差-方差权衡与模型选择

• 结构风险分解：
  正则增大 alpha_k 通常减小方差、增大偏差；反之亦然。
• 信息准则与有效自由度：
  S92-55 : AIC = 2 * k_eff - 2 * log L_hat；BIC = k_eff * log N - 2 * log L_hat。
• 线性情形的 GCV（广义交叉验证）：
  S92-56 : GCV = ( RSS / N ) / ( 1 - trace(H)/N )^2，H 为 Hat 矩阵。
• MaxEnt 的对偶最优性：以对偶间隙与约束残差判定收敛。

VIII. 参数寻优流程 Mx-97（正则与MaxEnt）

• 问题建模
  选择 D（S92-42/43）、正则族 {R_k}（S92-44/45/46）与可行域 C（非负、守恒等）。概率场采用 p(x)，物理场采用 rho(x) 并按 S92-58 熵化。
• 路径设定
  设定 alpha 的对数网格或自适应路径；MaxEnt 设定矩约束 m_k 与基函数 phi_k。
• 数值解算
  L2 用共轭梯度或正规方程；L1/TV 用 ADMM/FISTA；MaxEnt 用牛顿-对偶或拟牛顿。
• 选择准则
  交叉验证、AIC/BIC/GCV、保真度与守恒误差并行打分；必要时约束 ||∇rho||_1 上下界。
• 终止与验证
  KKT 残差、对偶间隙、sum_pDelta=1 或 S92-11 质量误差 ≤ tol；时间轴若经 T_arr 校准，记录 delta_form。
• 发布与追溯
  落盘参数、路径、选型与度量：alpha*, scores, residuals, mass_rel_err, ts, tau_mono, fmt, q_score。

IX. 约束与边界条件

• 非负与边界：
  S92-57 : rho(x) ≥ 0 , ( ∫ rho dV = M )；边界可选 Dirichlet/Neumann/Robin，与第2章一致。
• TV 的边界实现：反射/零延拓/周期三选一，需在报告中注明。
• 变量变换与雅可比：与第9章 S92-15 一致，任何坐标映射均显式包含 | det( ∂x/∂u ) |。

X. 数值与鲁棒性细则

• 预处理：对观测做去趋势与尺度化 z = ( x - mu_x ) / sigma_x（S92-14），解后回写到物理单位。
• 稀疏解稳定：L1/TV 建议使用强制步长、Backtracking 与 eps_tv 避免不可导点震荡。
• 病态算子：对 A 采用左/右预条件或 L-曲线初筛；必要时混合 L2+TV。
• 随机化：大规模问题可用随机近似/子采样，确保 fs 与抗混叠满足《Core.Sea》约束。

XI. MaxEnt 对偶条件与可解性

• 拉格朗日函数：
  S92-50 : L[p, lambda] = -H[p] + lambda_0 * ( ( ∫ p dx ) - 1 ) + ∑_k lambda_k * ( ( ∫ phi_k p dx ) - m_k )。
• 一阶最优与指数族解：由 δL/δp = 0 得到 S92-13；对偶问题为最小化 log Z(lambda) - ∑_k lambda_k m_k。
• 可行性要求：{m_k} 必落在约束可达的矩集合内；数值上以对偶凸性与 Hessian 正定性检验。

XII. 报告规范与合规项

• 必报项：D 类型与参数、正则族与 alpha*、边界条件、可行域、KKT/对偶间隙、sum_pDelta 或 mass_rel_err、ENBW_Hz/U_w（若在频域正则化）。
• 数据治理：记录 ts 与 tau_mono；跨域对齐含 T_arr 时附 delta_form；变量名与单位遵守本卷全局设定。

XIII. 跨卷与跨章一致性

• 与第7章：离散化守恒 S92-11 在正则与再取样后仍需满足。
• 与第4章：kde_h(x) 可视为 R_L2 的核平滑特例；带宽 h 与正则强度存在对偶。
• 与第6章：频域平滑需同步发布 ENBW_Hz 与窗功率 U_w。
• 与第9章：任何变换与归一化遵循 S92-14/15。
• 与第10章：用 I90 7 计算 I_F/CRLB，评估 alpha* 对估计方差的影响。

XIV. 本章关键公式索引