docs(plans): add goods data cleaning feature plan and pipeline folder

This commit is contained in:
yeuimu
2026-08-26 18:36:27 +08:00
parent 005ab5b585
commit a1928a2050
2 changed files with 313 additions and 0 deletions
+33
View File
@@ -0,0 +1,33 @@
# 商品数据清洗(Goods Data Cleaning
本目录存放商品数据清洗相关的全部脚本与规则文件。清洗目标:把右侧 SDS 原产品库
`origin_goods`)按规则批量配置为左侧官网商品(`goods`),替代后台手动逐个点击。
## 执行流水线
```
[生产库]
│ ① 备份(pg_dump 全量,安全网)
② apps/api/scripts/export-data.mjs 导出 JSON(现有脚本)
③ sync-transform.mjs 转换脚本 + sync-rules.config.mjs 规则文件(本目录,待创建)
读取导出 JSON → 按规则加工 → 输出待导入 JSON + 变更摘要报告(人工检查点)
④ apps/api/scripts/import-data.mjs 导入生产库(现有脚本)
⑤ 验证:行数对比 / 抽查商品配置 / 官网公开 API 抽查
```
原则:三步式独立执行,每步可检查、可回滚;规则只改 `sync-rules.config.mjs`,不改代码;
导入前必须有全量备份;转换脚本为纯函数式(JSON in → JSON out),不直接连接数据库。
## 目录内容规划
| 文件 | 状态 | 说明 |
|------|------|------|
| `sync-rules.config.mjs` | 待创建 | 同步规则文件(品类映射 / 国家分配 / 标签分配 / 优先级策略),规则未定,先占位 |
| `sync-transform.mjs` | 待创建 | 数据转换脚本 |
| `runs/` | 待创建 | 每次执行的导出、转换产物与变更摘要报告(按日期归档) |
详细实施计划见 [plans/feature/goods-data-cleaning-feature.md](../plans/feature/goods-data-cleaning-feature.md)。