Files
inkreach-official-website/data-cleaning/README.md
T

1.5 KiB
Raw Blame History

商品数据清洗(Goods Data Cleaning

本目录存放商品数据清洗相关的全部脚本与规则文件。清洗目标:把右侧 SDS 原产品库 (origin_goods)按规则批量配置为左侧官网商品(goods),替代后台手动逐个点击。

执行流水线

[生产库]
   │ ① 备份(pg_dump 全量,安全网)
   ▼
② apps/api/scripts/export-data.mjs 导出 JSON(现有脚本)
   ▼
③ sync-transform.mjs 转换脚本 + sync-rules.config.mjs 规则文件(本目录,待创建)
      读取导出 JSON → 按规则加工 → 输出待导入 JSON + 变更摘要报告(人工检查点)
   ▼
④ apps/api/scripts/import-data.mjs 导入生产库(现有脚本)
   ▼
⑤ 验证:行数对比 / 抽查商品配置 / 官网公开 API 抽查

原则:三步式独立执行,每步可检查、可回滚;规则只改 sync-rules.config.mjs,不改代码; 导入前必须有全量备份;转换脚本为纯函数式(JSON in → JSON out),不直接连接数据库。

目录内容规划

文件 状态 说明
sync-rules.config.mjs 待创建 同步规则文件(品类映射 / 国家分配 / 标签分配 / 优先级策略),规则未定,先占位
sync-transform.mjs 待创建 数据转换脚本
runs/ 待创建 每次执行的导出、转换产物与变更摘要报告(按日期归档)

详细实施计划见 plans/feature/goods-data-cleaning-feature.md