1.5 KiB
1.5 KiB
商品数据清洗(Goods Data Cleaning)
本目录存放商品数据清洗相关的全部脚本与规则文件。清洗目标:把右侧 SDS 原产品库
(origin_goods)按规则批量配置为左侧官网商品(goods),替代后台手动逐个点击。
执行流水线
[生产库]
│ ① 备份(pg_dump 全量,安全网)
▼
② apps/api/scripts/export-data.mjs 导出 JSON(现有脚本)
▼
③ sync-transform.mjs 转换脚本 + sync-rules.config.mjs 规则文件(本目录,待创建)
读取导出 JSON → 按规则加工 → 输出待导入 JSON + 变更摘要报告(人工检查点)
▼
④ apps/api/scripts/import-data.mjs 导入生产库(现有脚本)
▼
⑤ 验证:行数对比 / 抽查商品配置 / 官网公开 API 抽查
原则:三步式独立执行,每步可检查、可回滚;规则只改 sync-rules.config.mjs,不改代码;
导入前必须有全量备份;转换脚本为纯函数式(JSON in → JSON out),不直接连接数据库。
目录内容规划
| 文件 | 状态 | 说明 |
|---|---|---|
sync-rules.config.mjs |
待创建 | 同步规则文件(品类映射 / 国家分配 / 标签分配 / 优先级策略),规则未定,先占位 |
sync-transform.mjs |
待创建 | 数据转换脚本 |
runs/ |
待创建 | 每次执行的导出、转换产物与变更摘要报告(按日期归档) |