43-EFT.WP.Data.DatasetCards v1.0 | 第4章 标准字段定义

目录 ／ 文档-技术白皮书 ／ 43-EFT.WP.Data.DatasetCards v1.0

第4章 标准字段定义

I. 章节目的与适用范围

II. 字段总表（必填）

III. 详细定义与示例

1) dataset_id

• 语义：跨版本稳定的主键，建议组织前缀（如 org.project.dataset）。
• 约束：^[a-z0-9_\\-.]+$；区分大小写：否。
• 示例：eift.obs.frb_catalog，labx_radio.arraysim.v1。
• 引用：与导出结构绑定，见《Core.DataSpec v1.0》。

2) version

• 语义：发布版本；对外材料仅引用 v1.* 稳定线。
• 约束：^v\\d+\\.\\d+(\\.\\d+)?$。
• 示例：v1.0、v1.2.3。
• 引用：版本携带为强制项，见《引用规范 v0.1》。

3) modality

• 语义：观测/数据模态分类。
• 约束：枚举；允许多值。
• 示例：["radio","time_series"]。
• 引用：术语以《Core.Terms v1.0》口径为准。

4) sources

• 语义：上游来源（URL、DOI、dataset_id@version）。
• 约束：至少 1 项；每项需可解析。
• 示例：["doi:10.1234/abcd","eift.surveys.sky@v1.1"]。
• 引用：文件组织与对外策略，见《Core.DataSpec v1.0》。

5) provenance

• 语义：采集方式、仪器/台站、时间/空间覆盖、选择偏差。
• 结构：
• provenance:
• collection_method: "beamformed-array"
• instruments: [{name:"LOFAR", station:"DE601"}]
• time_coverage: "2019-01-01..2024-12-31"
• spatial_coverage: "RA/Dec ranges or tiles"
• selection_bias: "flux-limited, SNR>7"
• 引用：流程对齐 Methods.Cleaning/Repro。

6) splits

• 语义：训练/验证/测试划分。
• 结构与约束：
• splits:
• train: {count: 12000, ratio: 0.8}
• validation: {count: 1500, ratio: 0.1}
• test: {count: 1500, ratio: 0.1}

合法性：比例和为 1±1e-6；count 为非负整数。

• 引用：导出与哈希校核绑定，见《Core.DataSpec v1.0》。

7) checksums

• 语义：工件完整性校验。
• 结构：
• checksums:
• package: {sha256: "…"}
• shards:
• - {path: "train-000.tgz", sha256: "…"}
• - {path: "train-001.tgz", sha256: "…"}
• 引用：随导出清单交付。

8) metrology

• 语义：单位体系与量纲一致性。
• 结构：
• metrology:
• units: "SI"
• c_ref: 299792458 # m/s
• check_dim: true
• 规则：禁用中文于公式；符号用反引号；含分式/积分/复合算符加括号并显式 gamma(ell) 与 d ell。

9) quality

• 语义：质量门（通过标准）与覆盖率指标。
• 结构：
• quality:
• gates:
• - {name:"label_consistency", threshold: 0.98}
• - {name:"snr_min", threshold: 7.0}
• coverage:
• samples: 15000
• classes: {"FRB": 520, "RFI": 2100, "Noise": 12380}
• 引用：与基线/评测卷一致。

10) export_manifest

• 语义：导出工件与引用清单（审计轨）。
• 结构（最小片段）：
• export_manifest:
• version: "v1.0"
• artifacts:
• - path: "datasets/foo/train-000.tgz"
• sha256: "…"
• references:
• - "EFT.WP.Core.DataSpec v1.0:EXPORT"
• - "EFT.WP.Core.Equations v1.1:S20-1"
• - "EFT.WP.Core.Metrology v1.0:check_dim"
• 规则：version 与 references[] 为强制；references[] 采用 "卷名 vX.Y:锚点"；禁止短码/别名。

IV. 与路径/到达时相关的必填登记（如适用）

1. 若数据含路径依赖量（如 T_arr），在本章字段中至少落地：
2. path_dependence:
3. applies_to: ["T_arr"]
4. delta_form: "const-factor" # 或 "general"
5. path: "gamma(ell)"
6. measure: "d ell"
7. see:
8. - "EFT.WP.Core.Equations v1.1:S20-1"
9. - "EFT.WP.Core.Metrology v1.0:check_dim"
10. 到达时两口径并存：
    • T_arr = ( 1 / c_ref ) * ( ∫ n_eff d ell )
    • T_arr = ( ∫ ( n_eff / c_ref ) d ell )
      登记 delta_form、path、measure 并通过量纲校验。

V. 机器可读 Schema（节选，规范性）

# I15-1 Dataset Card Schema (required subset)

type: object

required: [dataset_id, title, version, summary, modality, sources, license, access, provenance, splits, checksums, metrology, quality, export_manifest]

properties:

dataset_id: {type: string, pattern: "^[a-z0-9_\\-\\.]+$"}

title: {type: string, minLength: 3}

version: {type: string, pattern: "^v\\d+\\.\\d+(\\.\\d+)?$"}

summary: {type: string, minLength: 100, maxLength: 600}

modality: {type: array, items: {type: string, enum: [radio,optical,image,time_series,text,tabular]}, minItems: 1}

sources: {type: array, items: {type: string}, minItems: 1}

license: {type: string}

access: {type: string, enum: [open,restricted,closed]}

provenance:

type: object

required: [collection_method, time_coverage]

properties:

collection_method: {type: string}

instruments: {type: array, items: {type: object}}

time_coverage: {type: string}

spatial_coverage: {type: string}

selection_bias: {type: string}

splits:

type: object

required: [train, validation, test]

properties:

train: {type: object, required: [count, ratio]}

validation: {type: object, required: [count, ratio]}

test: {type: object, required: [count, ratio]}

checksums:

type: object

properties:

package: {type: object, properties: {sha256: {type: string}}}

shards: {type: array, items: {type: object, properties: {path:{type:string}, sha256:{type:string}}}}

metrology:

type: object

required: [units, c_ref, check_dim]

properties:

units: {type: string, const: "SI"}

c_ref: {type: number}

check_dim: {type: boolean, const: true}

quality:

type: object

properties:

gates: {type: array}

coverage: {type: object}

export_manifest:

type: object

required: [version, artifacts, references]

properties:

version: {type: string}

artifacts: {type: array, items: {type: object}}

references: {type: array, items: {type: string, pattern: "^[^:]+ v\\d+\\.\\d+:[A-Z].+$"}}

see:

- "EFT.WP.Core.DataSpec v1.0:EXPORT"

- "EFT.WP.Core.Equations v1.1:S20-1"

- "EFT.WP.Core.Metrology v1.0:check_dim"

（引用与锚点格式、单位与量纲校核、禁用中文与内联记号规则，按《全面清单 v0.1》与《引用规范 v0.1》执行。）

VI. 名称冲突与禁令（适用于本章所有字段）

VII. 本章合规自检

• 表 II 所列全部必填键存在且通过类型/正则校验；保留名未被重定义。
• export_manifest 含 version 与 references[]；references[]/see[] 采用 "卷名 vX.Y:锚点" 固定格式，不允许短码/别名。
• 涉及 T_arr 的数据项登记 delta_form、path、measure，并通过 check_dim。
• 数学表达满足反引号、括号与禁用中文规则；T_fil/T_trans 与 n/n_eff 不混用。