45-EFT.WP.Data.Pipeline v1.0 | 第13章 性能、成本与扩缩

目录 ／ 文档-技术白皮书 ／ 45-EFT.WP.Data.Pipeline v1.0

第13章 性能、成本与扩缩

I. 章节目的与范围

II. 术语与依赖

• 术语：QPS（吞吐）、T_inf（单样本时延）、ρ（利用率）、p50/p95/p99、H/V scaling（水平/垂直扩缩）、micro-batch、autoscale、capacity planning、cost model、egress、spot/on-demand。
• 依赖：契约与导出（《Core.DataSpec v1.0》）；单位/量纲与性能计量（《Core.Metrology v1.0》）；编排/调度/资源（本卷第10章）；监控与可观测（本卷第12章）。
• 数学与符号：内联符号用反引号（如 QPS、T_inf、ρ、p99、λ、μ）；含除号/积分/复合算符必须加括号；如涉路径量 T_arr，登记 gamma(ell) 与 d ell；公式/符号/定义禁用中文。

III. 字段与结构（规范性）

performance:

workload:

mode: "batch|stream|micro-batch"

batch_size: 1024

parallelism: {workers: 16, threads_per_worker: 2}

targets:

qps: {value: 5000}

latency_ms: {p50: 5, p95: 20, p99: 50}

utilization_rho: {max: 0.75}

profiling:

tools: ["py-spy","perf","jfr","flamegraph"]

sampling_interval_ms: 50

hotspots: ["io","serialization","shuffle","network"]

pressure_test:

stages: ["ingest","transform","feature","export"]

ramp: {from_qps: 1000, to_qps: 8000, step: 500, dwell_s: 120}

saturation_criteria: ["latency_ms.p99>target*1.2","error_rate>0.01","ρ>0.85"]

optimizations:

batch_tuning: {enable: true, size_candidates: [256,512,1024,2048]}

micro_batch: {enable: true, window_ms: 200, max_rows: 50000}

io: {compression: "zstd", level: 3, page_size_kb: 256}

cpu: {pin_core: true, numa_aware: true}

gc: {strategy: "g1|zgc|shenandoah", heap_gb: 16}

scaling:

strategy: "horizontal|vertical|hybrid"

horizontal:

shard_key: "entity_id|time|partition"

rebalance: "consistent-hash|range"

vertical:

sku_ref: "c8m64|a2-highgpu"

max_sku: "c32m256"

autoscale:

enabled: true

metric: "qps|latency_ms.p95|cpu"

target: 0.7

min_replicas: 4

max_replicas: 64

cooldown_s: 120

cost:

model:

compute: {on_demand_usd_per_h: 0.48, spot_discount: 0.6}

storage: {usd_per_gb_mo: 0.023}

egress: {usd_per_gb: 0.09}

budget:

currency: "USD"

monthly_cap: 5000

alert_thresholds: {warn: 0.8, block: 1.0}

mix:

on_demand_ratio: 0.4

spot_ratio: 0.6

reporting:

window: "P30D"

breakdown: ["compute","storage","egress","observability"]

IV. 性能建模与剖析

• 队列与服务：以 λ（输入速率）与 μ（服务速率）估算利用率 ρ=( λ / μ )；当 ρ→1 时延指数增长，需提前扩容或限流。
• 压测与饱和点：采用阶梯加压（ramp），记录 QPS–latency 曲线与 p99 趋势；以饱和准则判定瓶颈（CPU/IO/网络/锁/GC）。
• 热点定位：火焰图/追踪关联日志，按“CPU→内存→IO→网络”顺序排查；序列化、shuffle 与远程调用优先优化。
• 批/微批调优：通过 batch_size 与 window_ms 平衡吞吐-时延；确保质量门与SLA不受影响。

V. 扩缩策略与弹性

• 水平扩缩（H）：通过 shard_key 切分，选择 consistent-hash|range 以降低移动成本；保留热键保护与倾斜修正。
• 垂直扩缩（V）：选择更高 sku_ref（CPU/内存/GPU/存储IOPS）；评估边际收益并避免NUMA瓶颈。
• 混合策略：先V后H或先H后V，以SLA与预算为约束进行多目标优化。
• 自动扩缩：以 metric（如 qps/latency_ms.p95/cpu）为触发，对 target（目标利用率/时延阈）闭环调节；设置 min/max_replicas 与 cooldown_s 防抖。

VI. 成本计量与预算

• 成本模型：按 compute/storage/egress/observability 分项；计算侧支持**按需/竞价（spot）**混合；记录折扣与中断策略。
• 预算约束：当累计成本达 warn（80%）告警；达 block（100%）触发限流/禁止扩容/降级策略。
• 性价比评估：输出 usd_per_kqps、usd_per_mrow 等单位成本指标，纳入决策。

VII. 计量与单位（SI）

1. 性能与资源：QPS（1/s）、T_inf（ms {p50,p95,p99}）、ρ（—）、net_mbps、size_bytes；
2. 强制：metrology:{units:"SI", check_dim:true}；合成/比较前先做单位归一；图表与报告统一量纲。
3. 路径量：如性能测试涉及 T_arr 相关算子，需登记：delta_form、path="gamma(ell)"、measure="d ell"，并采用以下等价式之一并通过 check_dim：
   • T_arr = ( 1 / c_ref ) * ( ∫ n_eff d ell )
   • T_arr = ( ∫ ( n_eff / c_ref ) d ell )。

VIII. 机器可读片段（可直接嵌入）

performance:

workload: {mode:"micro-batch", batch_size:2048, parallelism:{workers:32, threads_per_worker:2}}

targets: {qps:{value:9000}, latency_ms:{p50:5,p95:20,p99:40}, utilization_rho:{max:0.75}}

profiling:{tools:["perf","flamegraph"], sampling_interval_ms:50, hotspots:["serialization","network"]}

pressure_test:{stages:["transform","feature","export"], ramp:{from_qps:2000,to_qps:12000,step:1000,dwell_s:120},

saturation_criteria:["latency_ms.p99>48","ρ>0.85"]}

scaling:

strategy: "hybrid"

horizontal: {shard_key:"entity_id", rebalance:"consistent-hash"}

vertical: {sku_ref:"c16m128", max_sku:"c32m256"}

autoscale: {enabled:true, metric:"latency_ms.p95", target:18, min_replicas:8, max_replicas:64, cooldown_s:120}

cost:

model: {compute:{on_demand_usd_per_h:0.52, spot_discount:0.55}, storage:{usd_per_gb_mo:0.023}, egress:{usd_per_gb:0.09}}

budget:{currency:"USD", monthly_cap:8000, alert_thresholds:{warn:0.8, block:1.0}}

mix: {on_demand_ratio:0.5, spot_ratio:0.5}

reporting:{window:"P30D", breakdown:["compute","storage","egress","observability"]}

metrology:{units:"SI", check_dim:true}

IX. Lint 规则（节选，规范性）

lint_rules:

- id: PERF.TARGETS_DEFINED

when: "$.performance.targets"

assert: "has_keys(qps, latency_ms, utilization_rho)"

level: error

- id: PERF.RAMP_VALID

when: "$.performance.pressure_test.ramp"

assert: "value.from_qps > 0 and value.to_qps > value.from_qps and value.step > 0"

level: error

- id: SCALE.AUTOSCALE_BOUNDS

when: "$.scaling.autoscale"

assert: "value.enabled == false or (value.min_replicas >= 1 and value.max_replicas >= value.min_replicas)"

level: error

- id: COST.BUDGET_DEFINED

when: "$.cost.budget"

assert: "has_keys(currency, monthly_cap) and value.monthly_cap > 0"

level: error

- id: METROLOGY.SI_AND_CHECKDIM

when: "$.metrology"

assert: "units == 'SI' and check_dim == true"

level: error

X. 导出清单与报告

export_manifest:

version: "v1.0"

artifacts:

- {path:"perf/qps_latency_curve.csv", sha256:"..."}

- {path:"perf/flamegraph.svg", sha256:"..."}

- {path:"scaling/autoscale_history.csv", sha256:"..."}

- {path:"cost/monthly_breakdown.csv", sha256:"..."}

- {path:"capacity/plan.yaml", sha256:"..."}

references:

- "EFT.WP.Core.DataSpec v1.0:EXPORT"

- "EFT.WP.Core.Metrology v1.0:check_dim"

XI. 本章合规自检

• 已定义目标与画像：QPS/latency_ms/ρ 目标明确，压测/剖析流程可复现，热点定位有证据。
• 扩缩策略与边界完备：H/V/混合策略与 autoscale 参数合理；与第10章调度/资源协同。
• 成本模型、预算与告警阈值清晰；单位成本与资源利用可追溯。
• 计量采用 SI 且 check_dim=true；如涉 T_arr 已登记 delta_form/path/measure 并通过校核。
• 导出清单列出性能曲线/火焰图/扩缩历史/成本分解/容量计划并具 sha256，满足发布门槛。