19-EFT.WP.Methods.SynthData v1.0 | 第9章 多模态合成与配平（Tabular/Image/Text/Audio/Graph）

目录 ／ 文档-技术白皮书 ／ 19-EFT.WP.Methods.SynthData v1.0

第9章 多模态合成与配平（Tabular/Image/Text/Audio/Graph）

I. 范围与对象

1. 目标
   • 建立表格、图像、文本、音频、图结构五模态的统一合成口径：p({x_m}|c) 的联合生成、跨模态一致性与配平（coverage/ratio/quality）。
   • 以共享潜变量 z 与条件 c 组织解耦与耦合两类生成路径，覆盖一对一、一对多与多对一配对规则。
   • 以 tau_mono 统一内部时基，对外以 ts 发布；跨模态共享 offset/skew/J，涉及到达时的模态必须记录 T_arr 两口径与 delta_form。
   • 输出多模态包 bundle 与 manifest.synth.bundle.*，可被下游评估与审计直接消费。
2. 输入
   • 每模态模式 SRef_m、参考数据或目标统计 ref_m、配对关系与基数约束（如 1:1, 1:N）。
   • 合成引擎族 {engine_m} 或联合引擎 engine_joint，共享先验 p(z) 与条件 c。
   • 一致性规则 Rules = { g_j(x_m,x_n, t) ≤ 0 } 与质量阈值。
3. 输出
   合成样本 {x_m}、跨模态链接 link_id 与匹配矩阵 pi_{mn}，一致性与配平报告，manifest.synth.bundle。

II. 名词与变量

• 模态与对象：M = {tab, img, txt, aud, graph}，x_m ∈ X_m，条件 c，潜变量 z ~ p(z)。
• 编码与解码：E_m: X_m → U_m，D_m: Z × C → X_m，嵌入 u_m = E_m(x_m)。
• 联合因子化：p({x_m}|c) = ( ∫ p(z|c) ∏_{m ∈ M} p(x_m|z,c) dz )。
• 配对与对齐：pi_{mn} ∈ {0,1}^{N_m × N_n}（或软匹配 ∈ [0,1]），映射 A_{m→n}。
• 时间与到达时：tau_mono, ts, T_arr, gamma(ell), delta_form, offset/skew/J。
• 规则与约束：g_j(x_m,x_n,t) ≤ 0（几何/语义/物理/引用），unit(x), dim(x)。
• 距离与指标：KL, W1, MMD, FID/KID（image），BLEU/BERTScore（text），PESQ/STOI（audio），spec_MMD/triad_dist（graph），covg（coverage）。

III. 公设 P409-*

• P409-1（模式一致）：各模态样本必须满足各自 SRef_m，并通过 check_dim(expr)。
• P409-2（共享潜变量）：联合生成以 z 为共享表征，允许 p(x_m|z,c) 独立但由一致性项耦合。
• P409-3（跨模态可对齐）：存在可计算映射 A_{m→n} 或匹配 pi_{mn}，并给出误差界。
• P409-4（时基统一）：跨模态时间统一在 tau_mono 上对齐并在 ts 发布，记录 offset/skew/J。
• P409-5（到达时两口径）：凡涉及传播与路径的模态须记录 T_arr 两口径与 delta_form。
• P409-6（配平可度量）：必须发布 coverage/ratio 与质量权重 w_m，确保 sum(w_m)/|M| ≈ 1。
• P409-7（复现与签名）：seed/rng/model_spec 与 link_id 必入清单并签名。
• P409-8（隐私预算）：多模态发布的 eps_total 按组合规则累计并落盘。
• P409-9（引用完整）：跨模态外键与引用必须可解析，不得出现孤儿链接。
• P409-10（冲突名强制）：T_fil 与 T_trans、n 与 n_eff 严格区分（沿用全卷约定）。

IV. 最小方程 S409-*

1. S409-1（联合目标）
   • L_joint = ( ∑_{m} w_m * D_m( p_model^m || p_ref^m ) ) + ( ∑_{m<n} w_{mn} * R_{mn}( u_m, u_n ) )。
   • 其中 R_{mn} 可为对比损失 InfoNCE、语义余弦 1 - cos(u_m,u_n)、循环一致 || z - z' ||_2。
2. S409-2（配对与最优传输）
   pi_{mn} = arg min_{Pi ∈ U(a,b)} < C_{mn}, Pi > + λ * Ω(Pi)，U(a,b) 为边际约束集合，C_{mn} 为跨模态代价。
3. S409-3（循环一致）
   x_m → z = Enc_m(x_m) → x_n' = D_n(z,c) → z' = Enc_n(x_n')，|| z - z' ||_2 ≤ tol_cycle。
4. S409-4（时间映射）
   ts^m = a_m * tau_mono + b_m，发布 offset_m = a_m - 1，skew_m = b_m / T_h 与抖动 J_m。
5. S409-5（到达时两口径）
   T_arr = ( 1 / c_ref ) * ( ∫ n_eff d ell )；T_arr = ( ∫ ( n_eff / c_ref ) d ell )；
   delta_form = | ( 1 / c_ref ) * ( ∫ n_eff d ell ) - ( ∫ ( n_eff / c_ref ) d ell ) |。
6. S409-6（配平指标）
   • covg_m = ( N_syn^m / N_target^m )；imbalance = || p_model^m - p_ref^m ||_{W1}；
   • balance_score = 1 - sigmoid( α * imbalance )。
7. S409-7（图拓扑保真）
   MMD_spec = MMD( spec(G_syn), spec(G_ref) )；|| deg_dist_syn - deg_dist_ref ||_1 ≤ tol_deg。

V. 合成流程 M40-9（多模态合成与配平闭环）

• 就绪
  汇总 SRef_m、ref_m 与条件集合 C，定义配对基数与 Rules；设置阈值：tol_clip, tol_cycle, tol_w1^m, tol_Tarr, J_max。
• 预训练/对齐
  训练或选择 {E_m} 并进行跨模态嵌入对齐（如对比学习）；校准 u_m 尺度与温度参数。
• 联合采样
  采样 z ~ p(z|c)，对每模态解码 x_m = D_m(z,c)；对不可联合的场景，独立生成后用 pi_{mn} 进行最优匹配。
• 规则与约束
  执行 g_j(x_m,x_n,t) ≤ 0：几何（例如 bbox 与 pose）、语义（cos(u_img,u_txt) ≥ tol_clip）、物理与单位一致。
• 时间/到达时
  以 align_cross_time 生成 ts^m 并记录 offset/skew/J；涉及路径的模态写入 T_arr 两口径与 delta_form。
• 配平
  计算各模态 covg_m 与 imbalance；通过 reweight|mapping|domain_randomization 进行配平，更新 w_m 与 n_eff。
• 保真评估
  图像 FID/KID，文本 BLEU/BERTScore，音频 PESQ/STOI，图结构 MMD_spec/triad_dist，表格 W1/MMD；跨模态语义 cos(u_m,u_n) 与循环一致 ||z - z'||。
• 合规与隐私
  评估合成隐私 eps_total 与攻击面（membership/linkability），不通过则回退或降级发布。
• 落盘与冻结
  输出 bundle 与 manifest.synth.bundle，包含 TraceID, link_id, seed/rng, metrics.*, contracts.*, signature。

VI. 契约与断言 C40-9xx

• C40-901（模式与引用）：validate_schema(x_m)=true；foreign_key(link_id) 可解析；drop_orphan=0。
• C40-902（语义一致）：cos(u_img,u_txt) ≥ tol_clip；InfoNCE_gap ≤ tol_ince；循环一致 ||z - z'|| ≤ tol_cycle。
• C40-903（时间一致）：对全部含时间戳的模态，|offset_m| ≤ off_max，|skew_m| ≤ skew_max，J_m ≤ J_max。
• C40-904（到达时一致）：涉及传播模态满足 delta_form ≤ tol_Tarr。
• C40-905（配平达标）：covg_m ≥ covg_min，imbalance_m ≤ tol_w1^m，balance_score ≥ b_min。
• C40-906（图拓扑）：MMD_spec ≤ tol_spec，||deg_dist_gap||_1 ≤ tol_deg。
• C40-907（单位与量纲）：check_dim(expr)=true，跨模态共享物理量一致。
• C40-908（隐私预算）：eps_total ≤ eps_max，发布清单含会计轨迹。
• C40-909（复现与签名）：hash_sha256(bundle)=signature.payload 一致。
• C40-910（SLO）：latency_ms_p99 ≤ SLO_bundle，oom_rate ≤ oom_max。

VII. 实现绑定 I40-9*（接口原型与不变量）

• compose_multimodal(syn_specs, coherence_rules) -> bundle
• learn_cross_modal_embeddings(datasets, model) -> {E_m}
• sample_joint(engine_bundle, n, condition, pairing) -> bundle'
• match_modalities(objs, cost, cardinality) -> pi_{mn}
• enforce_cross_rules(bundle, rules) -> bundle''
• align_cross_time(bundle, sync_ref) -> bundle_timed（写入 offset/skew/J 与 T_arr/delta_form）
• balance_multimodal(ref, bundle_timed, method) -> map|weights
• measure_multimodal_fidelity(bundle_timed, ref, metrics) -> report
• emit_bundle_manifest(bundle_timed, policy) -> manifest.synth.bundle
• 不变量：unique(link_id)；sum(w_m)/|M| ≈ 1；non_decreasing(ts)；delta_form ≤ tol_Tarr；unit/dim 校核通过；隐私预算不超限。

VIII. 交叉引用

• 见本卷第5章（深度生成）、第6章（场景图与约束）、第8章（时序与事件）、第12章（保真/效用评估）、第13章（发布与清单）。
• 见《Methods.Cleaning v1.0》 第9/10章（去重/参照完整性、发布冻结）与第5/6章（时间与到达时）。
• 见《Methods.Imaging v1.0》 第13章（时间/路径门控）与第14章（成像质量指标）。
• 见《Methods.CrossStats v1.0》 第7/14章（漂移检测与统计 SLO）。

IX. 质量度量与风控

1. 关键 SLI
   FID/KID（image），BLEU/BERTScore（text），PESQ/STOI（audio），W1/MMD（tabular），MMD_spec/triad_dist（graph），cos(u_m,u_n)，||z - z'||，covg_m，imbalance_m，offset/skew/J，delta_form，latency_ms_p99，eps_total。
2. 常见风险与缓解
   • 语义漂移：提高 w_{mn} 或引入硬性 g_j 约束；使用温度校准与再排名。
   • 配对失衡：基于最优传输的再匹配，或调整采样比与重加权 w_m。
   • 时间不同步：重算 align_cross_time，发布 offset/skew/J 修正项。
   • 图拓扑偏差：对度分布与谱施加投影或正则化。
   • 隐私泄露：降级到 DP(eps,delta) 机制、增加噪声或采样剪裁。

小结