07-EFT.WP.Core.Threads v1.0 | 第10章 用例与参考实现

目录 ／ 文档-技术白皮书 ／ 07-EFT.WP.Core.Threads v1.0

第10章 用例与参考实现

I. 范围与结构

• 覆盖三类典型场景：批处理（Batch）、在线服务（Online RPC）、事件流（Streaming），给出端到端实现骨架、关键参数与验证清单。
• 贯通第1–9章之公设与方程：G=(V,E)、rho=lambda/mu、T_make(G)、bp=f(q_len,cap,W_q)、timeout/retry 上下界、idemp_key 去重窗口、T_arr 到达时两口径与 delta_form。
• 输出可直接落地的流程编号 Mx-10-* 与接口调用序列（I70-*）。

II. 通用基线与假设

1. 统一 SLI/SLO（与第8章一致）
   • 延迟：P50/P90/P99；错误率：ErrRate；吞吐：QPS；稳定性：rho < 1。
   • 观测时钟：运行时用 tau_mono，审计用 ts。
2. 超时预算（与第5章、第9章一致）
   • 下界：timeout >= T_arr + J + P99(service)。
   • 上界：W_retry <= timeout * (retries + 1) + J_total。
3. 到达时两口径（与第9章一致）
   • 常量外提：T_arr = ( 1 / c_ref ) * ( ∫ n_eff d ell )。
   • 一般口径：T_arr = ( ∫ ( n_eff / c_ref ) d ell )。
   • 口径差：delta_form = | ( 1 / c_ref ) * ( ∫ n_eff d ell ) - ( ∫ ( n_eff / c_ref ) d ell ) |。
4. 关键路径估计（与第2章一致）
   T_make(G) approx ∑(w on crit(G)) + ∑(c on crit(G))。

III. 用例A：批处理管线（Batch ETL/DAG）

1. 目标与约束
   • 目标：在 deadline 内完成 G_batch 的周期性运行，满足 rho < 1 与数据契约。
   • 约束：R_cpu/R_mem/R_io 有上限，跨站合并受 T_arr 影响。
2. 设计图 G_batch
   • 典型节点：V = {extract, cleanse, join, feature, write}；边代价 c(e) 以 T_arr(e) 近似跨站拉链开销。
   • 计划并发度：K_thr 分配给非 crit(G) 的并行节点以压缩尾部。
3. 参考实现（Mx-10-1）
   • 以 build_graph(spec) 构建 G_batch；topo_sort(G_batch) 校验无环与依赖完整。
   • set_quota("batch", {"cpu":N,"mem":"MGi","io":"XMBps"})；必要时为 join 设置亲和性 set_affinity。
   • 对跨站边注入到达时校准：bind_to_equations(["S79-1","S79-3"])，并执行 enforce_arrival_time_convention(trace)。
   • 运行：run_graph(G_batch, inputs, {"max_parallel":K_thr})，对长边使用 with_timeout(timeout) 包裹。
   • 合规：assert_thread_contract(G_batch, tests_batch)，失败进入降级路径（跳过可选节点或减并发）。
   • 指标落盘：metric_emit("batch.t_make_s", T_make)，并输出 Trace、hash_sha256(blob) 与 signature。
4. 合同样例（摘录）
   • {"type":"rho_lt_1","chan":"feature_q","lambda":"obs","mu":"obs"}
   • {"type":"deadline","expr":"T_make <= deadline"}
   • {"type":"arrival_form_consistency","tol_form_ms":0.2}
   • {"type":"ell_monotonic","field":"ell_seq","strict":true}
5. 参数基线
   • K_thr = min(CPU_cores, parallelism_limit)；cap(write_q) = ceil(1.5 * lambda * W_q_target)。
   • timeout(join) = T_arr(join) + P99(service_join) + J。

IV. 用例B：在线服务（Online RPC/微服务）

1. 目标与约束
   • 目标：在 SLA_window 内稳定达成 P99 <= T_budget 与 ErrRate <= e_budget。
   • 约束：入口 rps 可控；跨 AZ/Region 需 T_arr 校准；幂等更新必须可重试。
2. 线程与通道布局
   • 前端接入 → chan:req_q(cap, mpmc) → 工作线程池 spawn → 下游 RPC chan:rpc_q → 响应。
   • 背压：bp = f(q_len, cap, W_q)，达到阈值时快速拒绝或降级。
3. 参考实现（Mx-10-2）
   • 入口限流：lim = rate_limiter("ingress", rps=R, burst=B)；limit_acquire(lim) 失败返回 429。
   • 幂等包裹：ensure_idempotent(handle, key_fn=req->idemp_key, window=Delta_t_dedup)。
   • 超时设定：timeout_rpc = T_arr(link) + P99(downstream) + J；外层 with_timeout(timeout_rpc)。
   • 重试策略：retry({"max":k,"backoff":"exp","jitter":"full"})，遵守上界 W_retry。
   • 观测：为每个 eid 创建 trace_span，与到达时校准链路 trace_link(span,eid)。
   • 合同：assert_thread_contract(G_rpc, tests_rpc)，含 hb_after_cal 与 timeout_floor。
4. 策略与阈值
   • Delta_t_dedup >= max(T_arr(link))；cap(req_q) = B + ceil(R * P99(service))。
   • K_thr 由 rho = lambda/mu 动态调优，保持 rho approx 0.7~0.85 稳态。
5. 指标规范
   svc.latency_ms{quantile}、svc.err_rate、svc.bp_level、arrival.skew_ms{link}、rpc.timeout_rate。

V. 用例C：事件流处理（Streaming/Watermark）

1. 目标与约束
   • 目标：低延迟、顺序一致的窗口聚合与侧输出；exactly_once* 通过去重实现。
   • 约束：分区对齐、乱序与迟到以 T_arr 作水位线基准。
2. 水位线与迟到界
   • 水位线：wm = min(ts_partition) - lateness；建议 lateness = max(T_arr) + safety_margin。
   • 去重：idemp_key = hash(sid_src, pid, seqno)，Delta_t_dedup >= lateness。
3. 参考实现（Mx-10-3）
   • chan_open("ingress", cap, "mpmc")；消费者以 set_quota("stream", {...}) 约束资源。
   • 解析 gamma_spec/ell_seq，执行 enforce_arrival_time_convention，计算 T_arr 与 delta_form。
   • 构建窗口算子图 G_stream，run_graph(G_stream, inputs, {"max_parallel":K_thr})。
   • 背压闭环：根据 bp = f(q_len,cap,W_q) 调整 rps 与批量 max_batch；当 rho -> 1 时优先丢弃低优先级侧输出。
   • 断言与回滚：{"type":"wm_lag","expr":"now - wm <= wm_budget"} 失败则触发限流与检查点回滚。
4. 指标与日志
   • stream.wm_lag_ms、stream.lateness_ms、stream.dedup_drop_rate、arrival.delta_form_ms。
   • 日志包含 {"pid","eid","wm","lateness","idemp_key","skew"}，敏感字段经 mask_fields。

VI. 接口映射速查（I70 族最小序列）

• 批处理
  build_graph → set_quota → bind_to_equations → enforce_arrival_time_convention → run_graph → assert_thread_contract → metric_emit。
• 在线服务
  rate_limiter → chan_open → spawn → with_timeout → retry → ensure_idempotent → trace_span/trace_link → assert_thread_contract。
• 事件流
  chan_open → set_backpressure → bind_to_parameters → enforce_arrival_time_convention → run_graph → assert_thread_contract。

VII. 参考规格与配置片段

• 批处理（spec_batch.yaml）

graph:

nodes: [extract, cleanse, join, feature, write]

edges:

- [extract, cleanse]

- [cleanse, join]

- [join, feature]

- [feature, write]

runtime:

max_parallel: K_thr

quotas: {cpu: N, mem: "MGi", io: "XMBps"}

arrival:

c_ref: 2.99792458e8

tol_form_ms: 0.2

jitter_ms: J

contracts:

- {type: deadline, expr: "T_make <= deadline"}

- {type: arrival_form_consistency, tol_form_ms: 0.2}

• 在线服务（svc_policy.json）

{"rate_limit":{"rps":R,"burst":B},

"timeout_ms": {"rpc":"T_arr+P99(downstream)+J"},

"retry":{"max":k,"backoff":"exp","jitter":"full"},

"idempotency":{"window_ms":"Delta_t_dedup","key":"idemp_key"}}

• 事件流（stream_config.json）

{"cap":C,

"wm_budget_ms":W,

"lateness_ms":"max(T_arr)+safety_margin",

"bp":{"alpha":a,"beta":b,"gamma":g},

"max_batch":BATCH}

VIII. 验证清单（契约套件 tests_*）

1. 稳定性与流控
   • {"type":"rho_lt_1","chan":"*","lambda":"obs","mu":"obs"}
   • {"type":"bp_monotone","expr":"q_len/cap -> bp nondecreasing"}
2. 时序与因果
   • {"type":"hb_after_cal","epsilon_ms":1.0}
   • {"type":"timeout_floor","expr":"timeout >= T_arr + J + P99_service"}
3. 到达时与路径
   • {"type":"ell_monotonic","field":"ell_seq","strict":true}
   • {"type":"arrival_form_consistency","tol_form_ms":0.1~0.5"}
4. 幂等与去重
   {"type":"dedup_window","expr":"Delta_t_dedup >= max(T_arr)"}
5. 质量与缺失
   • {"type":"missing_mask","field":"m","allow":0}
   • {"type":"qscore_min","field":"q_score","min":0.8}

IX. 调参与运行手册要点

• K_thr 调优以 rho 为核心指标，优先维持 rho approx 0.7~0.85。
• cap 与 bp 参数协同：cap 增大可降 W_q，但可能放大尾部抖动 J；以 P99 为主导优化。
• timeout 采用分层预算：timeout_total = timeout_rpc + timeout_queue + safety_margin。
• Delta_t_dedup 与 lateness 取 max(T_arr) 的保守上界，并随 drift(n_eff_model) 周期调整。
• 观测桶统一：延迟直方图与 T_arr 桶边界一致，保证统计可比性。

X. 交付件与验收标准

• 三套可运行脚本与配置：Mx-10-1（Batch）、Mx-10-2（Online）、Mx-10-3（Streaming）。
• 契约测试通过率 >= 0.98，关键断言零误报：arrival_form_consistency、hb_after_cal、rho_lt_1。
• SLO 连续三个 SLA_window 满足：P99 <= T_budget、ErrRate <= e_budget；delta_form 全量样本 <= tol_form。
• 证据链完备：manifest、Trace、hash_sha256、signature 与 schema_version 冻结。

XI. 编号索引与跨卷链接

• 流程：Mx-10-1、Mx-10-2、Mx-10-3。
• 关键引用：第2章（T_make 与 crit(G)）、第3章（bp 与队列策略）、第5章（timeout/retry/idemp_key）、第7章（限流与稳定性）、第8章（SLI/SLO）、第9章（T_arr 与 delta_form）。
• 跨卷引用：“见 配套白皮书《能量丝》 第x章 S/P/M/I…”，以及《EFT.WP.Core.DataSpec v1.0》第10章之 T_arr 数据集端到端示例。