第9章 偏倚、伦理与隐私（Bias/Ethics/Privacy）
I. 目的与范围（Purpose & Scope）
- 规范数据集的偏倚识别与缓解、伦理合规与隐私保护的字段、流程与发布口径，确保数据在获取—处理—标注—发布各阶段可审计、可追溯、可最小化暴露。
- 涉及路径量（到达时/相位）之样本，正文显式 gamma(ell) 与测度 d ell，数据侧记录 delta_form ∈ {general, factored}；发布要求 p_dim = 1.0 并随附 check_dim_report.json。
II. 输入与依赖（Prerequisites & Inputs）
- 结构与契约：schema.json/contract.yaml（见第4章）已对齐 TARR，字段单位/量纲明确。
- 来源与血缘：provenance.yaml/lineage_graph.json（见第3章）完备，记录同意/许可与场景约束。
- Splits/Versioning/Freshness：split.yaml/split_manifest.json（见第6章）已确定，过期样本隔离。
- 计量与覆盖：与《误差预算卡》一致（cov_group/Σ、coverage ∈ {k, alpha, quantile}）。
- 引用与版本：使用“卷名 + 版本 + 锚点（P/S/M/I）”，锚点直指率 ≥ 90%。
III. 偏倚识别（Bias Identification）
- 抽样偏倚：来源/场地/时间窗/设备覆盖不均；以分层计数与置信区间对比。
- 测量偏倚：δt_abs/Δτ_ch/σ_y(τ) 超阈或 n_eff 拟合系统性偏差；在 quality.flags 记录。
- 标注偏倚：审校一致性不足（κ < κ_min、MAE > τ_mae、路径 DTW/Hausdorff 过大）。
- 处理偏倚：清洗/归一化/筛选规则对亚群体产生不对称影响（以 slices 基于 slice_k 分析）。
偏倚量化最小集
bias_metrics:
sampling: { stratified_counts: true, ci_method: "wilson" }
measurement: { delta_t_abs_ns: true, delta_tau_ch_ns: true, allan_1s: true }
labeling: { kappa: true, mae: true, dtw: true }
processing: { slice_comparisons: ["low_snr","region_A","device_B"] }
IV. 偏倚缓解（Mitigation）
- 再加权/重采样：按分层权重或过采样/欠采样（记录 seed）。
- 口径修正：对测量偏差做校准映射或在区间中扩大 U = k·u_c。
- 审校增强：提高 k_rep 与仲裁（adjudication），对分歧样本复核。
- 切片公开：对高风险 slices 单列并在发布中限制为定性分析或标注 [Restricted]。
V. 伦理合规（Ethics Compliance）
- 同意与用途限制：consent_id、purpose_limit、retention_policy 与可撤回机制。
- 最小化原则：仅保留任务必要字段；避免存储可识别/敏感原文。
- 透明与可解释：在 docs/ethics.md 描述数据流、角色、审查与申诉渠道。
- 第三方数据：核验许可/版权与再分发条件，记录 license 与约束条款。
VI. 隐私与去标识化（Privacy & De-identification）
- 去标识化流程：哈希化/泛化/扰动/遮蔽；记录 deid_policy 与风险评估。
- 重识别风险：对罕见组合/长尾分布进行 k-匿名/l-多样/t-接近评估。
- 访问控制：按角色分域（只读/可导出/管理），审计所有写操作；导出严格带签名与校验和。
- 日志最小化：audit.jsonl 不落敏感原文，仅存哈希与必要元信息。
VII. 路径量统一口径（Normative Path Forms）
- 到达时：
T_arr = ( 1 / c_ref ) * ( ∫ n_eff d ell )；或 T_arr = ( ∫ ( n_eff / c_ref ) d ell )。 - 相位：
Phi = ( 2π / λ_ref ) * ( ∫ n_eff d ell )。
正文显式路径与测度，数据侧记录 delta_form；路径数组 len(gamma_ell)=len(d_ell)=len(n_eff)≥2。
VIII. 质量门与完整性（Gates & Integrity）
- G1 Schema 完整：偏倚/伦理/隐私相关字段与文档存在；
- G2 引用合规：伦理/许可/隐私文档与锚点直指率 ≥ 90%；
- G3 路径规范：路径块齐备；
- G4 量纲闭合：I70-dim_check 通过；
- G5 新鲜度：clock_state="locked"，过期样本隔离；
- G6 覆盖口径：偏倚评估区间与发布一致；
- G7 协方差一致：高风险 slices 的统计假设与误差卷一致，Σ 正定；
- G8 唯一性：record_id/checksum 唯一，lineage DAG 无环。
- 触发 S1–S5 即拒收或进入 [Restricted]。
IX. 机读策略（Machine-Readable Policies）
A. privacy_policy.yaml
version: "1.0.0"
deid:
techniques: ["hash","mask","generalize"]
k_anonymity: 10
l_diversity: 2
t_closeness: 0.2
access_control:
roles: { reader: ["get"], publisher: ["get","export"], admin: ["get","export","write"] }
retention:
policy_days: 365
B. bias_report.md（提纲）
# Bias Report
- Sampling coverage by strata with CIs
- Measurement bias (δt_abs, Δτ_ch, σ_y(τ), n_eff fit residuals)
- Labeling consistency (κ, MAE, DTW)
- Slices with significant deltas and mitigation plan
C. ethics.md（提纲）
# Ethics Statement
- Consent & purpose limitation
- Data minimization & de-identification
- Governance roles & escalation routes
- Third-party license & redistribution terms
X. 反例与修正（Anti-Patterns & Fixes）
- 反例：发布均值无区间→ 修正：补充 k/alpha/quantile 区间与收敛诊断。
- 反例：T_arr = ∫ n_eff / c_ref d ell（缺括号）→ 修正：括号化统一。
- 反例：无同意与用途限制记录 → 修正：补录 consent_id/purpose_limit 并在 manifest 标注。
- 反例：去标识化未评估 k-匿名 → 修正：最小目标 k≥10 且记录评估。
- 反例：高风险 slices 未隔离 → 修正：单列并按 [Restricted] 发布或仅定性呈现。
XI. 交叉引用（Cross-References）
- 结构与 Schema：见第4章；Splits/Versioning/Freshness：见第6章；质量门与完整性：见第7章；不确定度与协方差：见第8章。
- 《管线卡》：监控与告警（Ch.9）、产出与发布（Ch.12）。
- 《误差预算卡》：区间与阈值映射（Ch.8/Ch.9）。
XII. 执行勾选清单（Checklist）
- privacy_policy.yaml、bias_report.md、ethics.md 就绪并在 manifest 引用。
- 路径量显式 gamma/measure/delta_form；len(path) ≥ 2、Δell 合规；p_dim = 1.0。
- 偏倚指标计算完备（抽样/测量/标注/处理）；高风险 slices 已提出缓解与发布策略。
- 覆盖与协方差口径与误差卷一致；/validate 通过 G1–G8；必要时进入 [Restricted]。
- 审计事件完整，许可/用途限制明确；引用与版本合规（锚点直指率 ≥ 90%）。