docs(plans): add goods data cleaning feature plan and pipeline folder
This commit is contained in:
@@ -0,0 +1,33 @@
|
||||
# 商品数据清洗(Goods Data Cleaning)
|
||||
|
||||
本目录存放商品数据清洗相关的全部脚本与规则文件。清洗目标:把右侧 SDS 原产品库
|
||||
(`origin_goods`)按规则批量配置为左侧官网商品(`goods`),替代后台手动逐个点击。
|
||||
|
||||
## 执行流水线
|
||||
|
||||
```
|
||||
[生产库]
|
||||
│ ① 备份(pg_dump 全量,安全网)
|
||||
▼
|
||||
② apps/api/scripts/export-data.mjs 导出 JSON(现有脚本)
|
||||
▼
|
||||
③ sync-transform.mjs 转换脚本 + sync-rules.config.mjs 规则文件(本目录,待创建)
|
||||
读取导出 JSON → 按规则加工 → 输出待导入 JSON + 变更摘要报告(人工检查点)
|
||||
▼
|
||||
④ apps/api/scripts/import-data.mjs 导入生产库(现有脚本)
|
||||
▼
|
||||
⑤ 验证:行数对比 / 抽查商品配置 / 官网公开 API 抽查
|
||||
```
|
||||
|
||||
原则:三步式独立执行,每步可检查、可回滚;规则只改 `sync-rules.config.mjs`,不改代码;
|
||||
导入前必须有全量备份;转换脚本为纯函数式(JSON in → JSON out),不直接连接数据库。
|
||||
|
||||
## 目录内容规划
|
||||
|
||||
| 文件 | 状态 | 说明 |
|
||||
|------|------|------|
|
||||
| `sync-rules.config.mjs` | 待创建 | 同步规则文件(品类映射 / 国家分配 / 标签分配 / 优先级策略),规则未定,先占位 |
|
||||
| `sync-transform.mjs` | 待创建 | 数据转换脚本 |
|
||||
| `runs/` | 待创建 | 每次执行的导出、转换产物与变更摘要报告(按日期归档) |
|
||||
|
||||
详细实施计划见 [plans/feature/goods-data-cleaning-feature.md](../plans/feature/goods-data-cleaning-feature.md)。
|
||||
Reference in New Issue
Block a user