POD 趋势感知 Agent:缓存热点模式 + 三图合成 + 热点去重/风格去重 + review 兜底

- 缓存热点批量流程(有采集缓存不触发 Google)
- 简报不足直接从采集缓存生成(轻量补齐)
- 三图合成(模特/印花/底图)+ 底图压缩 <2MB
- 热点去重→风格去重自动切换 + 不适合类目 review 兜底
- 透明背景(background=transparent)+ 提示词清洗(敏感词/背景描述)
- 任务前 basemap 校验 + 模板国家校验 + 模特任务级分配
This commit is contained in:
2026-08-22 14:14:01 +08:00
commit f493bde8a9
98 changed files with 10280 additions and 0 deletions
+48
View File
@@ -0,0 +1,48 @@
# 2026-08-19 工作日志
## 创建 SQLite 商品数据库
-`db/` 目录下创建 `spu_sku.db`,含 SPU、SKU 两张表。
- SPU 表 25 个字段:id(主键,自增)、code、material、component_1~3、component_proportion_1~3、pattern、details、collar_style、style、care_Instructions、fabric、target_audience、season、is_transparent、layout、weaving_method、printing_type、fabric_texture_1、fabric_weight_1、fabric_weight_unit_1、lining_texture。
- SKU 表 9 个字段:id(主键,自增)、spu_id(外键→SPU.id,含索引 idx_sku_spu_id)、code、color、size、price(REAL)、stock(INTEGER 默认0)、image_url、status(默认 'active')。
- 建库脚本保留在 `db/create_db.py`,可修改字段后重跑重建。
- SKU 字段为按电商惯例补充设计,用户未指定,待确认是否调整。
## 更新 SKU 表结构(用户指定字段)
- 用户提供完整 SKU 字段定义,重建 SKU 表,共 19 个字段:
id(主键,自增)、spu_id(外键→SPU.id)、code、price(REAL)、color、size、size_group、size_type、shoulder_width、bust、clothing_length、sleeve_length、longest_side、secondary_long_side、shortest_side、img_url_2~img_url_5。
- 尺寸类字段(shoulder_width/bust/clothing_length 等)用 TEXT 存储(兼容区间值/单位),如需要数值计算可改 REAL。
- 注意:删除 db 文件会被沙箱安全机制拦截,create_db.py 已改为 DROP TABLE 方式重建,不再删除文件。
## 从 PG (inkreach) 同步美国商品数据
- PG 连接:localhost:5432, user=postgres, pwd=inkreach, db=inkreachpsycopg2 装在 venv `C:\Users\Admin\.workbuddy\binaries\python\envs\default`)。
- 数据规律:**plates.id IN (2,3,4,5) = 美国男装/女装/童装/家居配饰**SPU = categories(code 去重 59 个)SKU = prices(web_product_id 粒度 218 条);成分=composition,洗涤/英文名/质地/印花工艺=product_extra,图片=color_detail_images,尺码范围=colors.size_range。
- 映射:SPU.code=品类code, material/fabric=品类fabric, component_1~3=composition.comp1~3, style=sub_category, details=english_name, care_Instructions=washing_instructions, target_audience=plates.display_name, printing_type=design_explanation(烫画/热转印), fabric_texture_1=texture, fabric_weight_1=从名称正则提取克重。
- SKU: code=sku, price=price, size_group=colors.size_range, size_type=按尺码范围推断(字母码/儿童码/婴童码/均码/家居尺寸), img_url_2~5=该产品 color_detail_images 第2~5张。
- **留空字段(PG 无对应数据)**pattern、collar_style、season、is_transparent、layout、weaving_method、lining_textureSKU 的 colorweb_sku 与 colors 名无法可靠映射,75 品类中 21 个不一致)、size、shoulder_width、bust、clothing_length、sleeve_length、longest_side、secondary_long_side、shortest_side(尺寸为品类级多值)。
- 结果:SPU 59 条(5000B 无价格故无 SKU)、SKU 218 条,字段未改动。
- 同步脚本 `db/sync_from_pg.py` 可重跑(先 DELETE 清空再插入)。
## SKU 改为颜色×尺码粒度(v2)
- 用户要求:SKU.code 用颜色映射编码(如 DG004-AP01 = colors.code)、color 填颜色名、每个尺码独立一个 SKU、包装规格从原库解析。
- 新数据源(product_extra 表的 JSON 字段):
- `product_size` JSON:尺码表(表头动态列:肩宽/胸围/衣长/袖长/腰围等,第一列=尺码)
- `packaging_spec` JSON:包装规格("包装尺寸(cm)"列 = 长*宽*高,拆分为最长边/次长边/最短边;另有 in/体积/重量列)
- SKU 生成:每个 SPU = colors(按主 category_id) × product_size 尺码表 → 笛卡尔积。
- code=colors.code(颜色映射编码),color=colors.namesize=尺码,size_group=colors.size_rangesize_type=推断
- price=该品类 prices 首条价(颜色尺码粒度无独立价);img_url_2~5=品类首颜色 web_sku 图
- 5000B 无 product_extra → 尺码回退 size_chart;无 prices → price 留空
- **坑**5000B(12色)/DG502(1色) 的 colors.code 是坏数据(存了颜色名/品类码)→ 脚本兜底生成 f"{品类code}-{颜色名}"。
- 结果:SPU 59 / SKU 1400254 个唯一颜色编码)。填充率:code/color/size/size_group/size_type 100%price 1340/1400,包装规格 1326/1400,尺寸字段 75~88%。
## SKU 尺码字段固定值 + SPU 增加国家字段
- 用户要求:SKU.size_group 全部='尺码'SKU.size_type 全部='欧美尺码常规'(不再用推断逻辑)。
- SPU 表新增 `country` 列(TEXT),全部 59 条 SPU 设为 'US'。
- 已同步更新 `create_db.py`SPU 表加 country 列)和 `sync_from_pg.py`SPU 插入含 country='US'SKU 用固定 sgroup/stype),重跑验证通过:SPU 59 / SKU 1400 / country 全 US / size_group、size_type 各 1 个唯一值。
## SKU 增加 package_weight(包装重量)
- SKU 表新增 `package_weight` 列,来源 = `product_extra.packaging_spec` JSON 的"含包装重量(g)"列(单位:克),新增 `parse_weight_json()` 解析函数。
- 匹配兜底(重要):
1. 精确匹配尺码 → 失败则取 '/' 前部分(家居类 '30*40/76.2*101.6' vs '30*40'
2. 均码同义词兜底('Onesize'/'OneSize'/'均码' 互相匹配,YSM02 案例)
- 结果:填充 1340/140095.7%),仅 5000B 无数据(PG 无 packaging_spec,合理留空)。重量范围 16~847 g。
- create_db.py 的 SKU 定义同步加了 package_weight 列。
+64
View File
@@ -0,0 +1,64 @@
# 2026-08-20 工作日志
## SPU 增加 mark 字段 + 批量替换固定值
- SPU 表新增 `mark` 列(TEXT),全部 59 条 SPU 设为 '1'。
- 按用户要求用 SQL 批量替换 SPU 15 个字段为统一模板值:
pattern=印花、details=无、collar_style=圆领、style=休闲、care_Instructions=数码印花类可机洗且不可干洗、fabric=微弹、target_audience=成人、season=四季、is_transparent=否、layout=H、weaving_method=针织(含钩织、毛织面料)、printing_type=定位印花、fabric_texture_1=光面、fabric_weight_unit_1=g/㎡、lining_texture=无里料/无内衬。
- **注意**:这些字段不再随 PG 数据变化(原 details=english_name、fabric=品类面料、target_audience=美国男装等已被覆盖),sync_from_pg.py 的 SPU 插入已改为 fixed 模板值 + mark='1'。
- 保留的 PG 映射字段:material20 个唯一值)、component_1~3/比例、fabric_weight_1(克重,如 180/207/270)。
- create_db.py 的 SPU 定义同步加了 mark 列。重跑验证:SPU 59 / SKU 1400,16 个固定值字段各仅 1 个唯一值。
- 踩坑:SPU INSERT 的占位符一度写成 27 个 ? 对 26 列(报 27 values for 26 columns),已修正。
## component_proportion 字段转百分比
- SPU 的 component_proportion_1/2/3 由数值(100、100.0、92.0…)改为百分比形式(100%、92%…),空值保持不变。
- SQL`UPDATE SPU SET component_proportion_x = CAST(CAST(component_proportion_x AS REAL) AS INTEGER) || '%' WHERE ... IS NOT NULL AND <> ''`(当前值全为整数小数,无精度损失)。
- sync_from_pg.py 新增 `format_pct()` 函数(整数值去 .0 加 %,带小数保留,非数字原样),SPU 插入时对 p1/p2/p3 应用。重跑验证:p2 空 33、p3 空 51 保持,格式全部正确。
## SPU layout 字段改为"常规"
- SPU.layout 由 'H' 全部替换为 '常规'59 条),sync_from_pg.py 的 fixed 模板值同步更新。
## 同步墨西哥货盘数据(替换美国数据)
- PG `plates` 表:`墨西哥` = plate_id 6(共 17 国,美国 2/3/4/5、日本 7、韩国 8、沙特 9、巴西 10、英国 11、加拿大 12、波兰 13、西班牙 14、德国 15、澳洲 16、意大利 17)。
- 改造 sync_from_pg.py:顶部常量 `PLATE_IDS=(6,)` + `COUNTRY="MX"` 可切换国家;SPU 插入 country 用 COUNTRYSKU 颜色增加 `clean_color_name()`(去尺码前缀如 'S-3XL黑色'→'黑色')与 `is_clean_code()`code 须 '品类code-非中文后缀')兜底。
- 结果:**SPU 8 / SKU 123**(颜色×尺码粒度),country 全 MX。8 个品类:HM01、MESXT001、METB001、METN001、METP001、PET001、SFB、TBB001。
- 脏数据兜底:墨西哥 colors 有脏 code'METB001-S-3XL黑色'、'SFB-黑色'),清洗后 code 为 'METB001-黑色'/'SFB-黑色' 等(源库只有中文名、无拉丁编码,故 code 含中文属必然)。
- 留空:仅 **SFB**(运动短裤)12 条 SKU 缺 price/package_weight/img_url,因 PG 中 SFB 无 prices 记录、无 product_extra(无 packaging JSON)、无 color_detail_images。SFB 尺码走 size_chart 回退(2 色×6 码)。
- 注:本步将数据库内容由美国(US)整体替换为墨西哥(MX)——这是**错误的**,用户要求的是保留 US 再追加 MX。
## 修正:US + MX 双国累积同步(保留多国数据)
- sync_from_pg.py 重构为 `sync(plate_ids, country, clear_first)`
- `clear_first=True` 先 DELETE 整库再插入(重置/单国全量);`clear_first=False` 仅追加,跳过已存在的 SPU code 与 SKU 组合 (spu_id, code, size)。
- `__main__` 顺序执行:`sync((2,3,4,5),"US",clear_first=True)``sync((6,),"MX",clear_first=False)`
- 结果:**SPU 67US 59 + MX 8/ SKU 1523US 1400 + MX 123**country 分布 `[('MX',8),('US',59)]`,全部保留。
- 缺失 price/package_weight/img 共 72 条 = 5000BUS60 条,源库无价格/包装/图)+ SFB(MX12 条,源库无 prices/product_extra/图),属正常留空。
- 顶部注释已列出全部 17 国 plate_id 映射,后续同步任意国家(如 JP=7/KR=8/GB=11/DE=15)追加进脚本的 `__main__` 调用即可,不会覆盖已有数据。
## 追加同步日本(JP)与英国(GB)
- JP = plate_id 715 品类,1 个缺 product_extra 走 size_chart 回退);GB = plate_id 1115 品类,其中 4 个 code=NULL 被自动过滤,实际 11 有效品类,均有 product_extra)。
- `__main__` 追加 `sync((7,), "JP", False)``sync((11,), "GB", False)`,整库重置顺序:US(全量) → MX → JP → GB(追加)。
- 结果:**SPU 93US59/MX8/JP15/GB11/ SKU 1997US1400/MX123/JP216/GB258**,四国数据全部保留。
- JP 字段填充:color/size 216/216price 204/216package_weight 200/216img 204/216(缺项来自源库无价格/包装/图的品类)。GBcolor/size/price/img 全填,package_weight 238/258shoulder_width 236/258(裤子/裙无肩宽属正常)。
- 颜色名正常(日文/英文均识别),尺码体系 JP=XS~L、GB=S~XL,均按颜色×尺码展开。
## SKU code 命名规则改为「款号-颜色的英文名」(用户要求)
- 问题:用户反馈「看不到日本 SKU」——实际 JP 数据齐全(216 条),根因是 JP `colors` 源数据存在脏 code(中文颜色名+尺码区间拼进 code,甚至整组颜色被拼成一条),旧兜底把它们变成 `JPHM009-灰色(S~XXL` 这类难看 code,看起来像坏数据。
- 新规则(`sync_from_pg.py`):SKU code 规范(品类code-纯字母数字后缀,如 `JPHM009-BL01`/`JPTM007-ESPRESSO`)直接用;**缺失/脏 code → 款号(品类code)-颜色的英文名**。
- 英文名来源:PG `color_detail_images.color_name_web`(按 color_id 取,如 Black/White/Navy/Apricot);该表无值则用 `ZH_TO_EN` 中文→英文字典兜底;多色拼接脏名取首个可识别颜色英文名(`first_color_en()`)。
- `is_clean_code()` 收窄:后缀须为纯字母数字,含中文/`~`/`()` 一律判为脏(修复纯尺码区间假颜色 `JPHM009-S~XXXL` 被误判规范的问题);纯尺码行 code 仅保留款号,color=NULL。
- `clean_color_name()` 增强:额外去掉结尾尺码区间括号(如 `灰色(S~XXL``灰色`)。
- 全量重跑(先备份 spu_sku.db.bak):SPU/SKU 总数不变(93/1997),JP 残留中文/`~` 的 code 由多条降为 **0**
- **已知源数据坑**`JPTM001` 的某条 `colors` 记录把 5 个颜色(白/杏/藏青/灰/粉)拼进同一 code 字段,脚本只能取首个颜色英文名兜底为 `JPTM001-White`,无法还原成 5 条独立颜色 SKU——需在 PG 侧修源。
- 结论:加其他国家只需在 `__main__` 追加 `sync((plate_id,), "国家码", False)`,命名规则自动生效。
## 清洗 JPTM001 脏 colors + 重新同步(用户要求"先清洗再导入sku"
- PG 侧:`colors` 表 id=357 把 5 个颜色(白/杏/藏青/灰/粉)拼进同一条 code(源数据损坏);其 `color_detail_images` 本就有 5 个独立颜色(White/Apricot/Deep Navy Blue/Gray/Pink,各 9 图)但 `color_id` 全为 NULL——脏记录是个未被图片引用的孤儿。
- 清洗(事务提交):DELETE id=357INSERT 5 条规范 `colors`code=JPTM001-WH01/AP01/BE01/GR02/PK01name 中文,size_range=XS-XXXL);UPDATE `color_detail_images.color_id` 指回新 id(白/杏/藏青/灰/粉 各 9 行 + 黑 9 行全关联成功)。
- 颜色 code 缩写约定:白=WH01、杏=AP01、藏青=BE01、灰=GR02、粉=PK01(粉色无先例新编 PK01;藏青沿用 JPTM006 的 BE01)。
- 重跑 `sync_from_pg.py` 全量:JPTM001 SKU 由 2 色(14 条)→6 色(42 条);全局 SKU 1997→2025(+28)SPU 93 不变。脏 `JPTM001-White` 长串记录已清除。
- 注意:四国(US/MX/JP/GB)还存在其它"多色拼接"脏 colors 记录(一条 code 含 ≥2 个颜色,如 DG102/DG120/DG205/DG701/VS002/JSA004/GBHM002/GBTF004 等)。JPTM001 已修,其余待用户决定是否同法清洗(每条需先核 color_detail_images 是否可按独立颜色拆分)。
## SKU 尺码字段按国家区分(仅 JP=亚洲,其余=欧美)
- 用户最初要求 US/JP 改为亚洲尺码,后纠正:**US 不改**,仅 JP 走亚洲尺码。
- 最终状态:`size_group`/`size_type` —— JP=亚洲尺码/亚洲尺码亚洲常规(244),US/GB/MX=尺码/欧美尺码常规(1781)。全表 SKU 仍 2025。
- 回滚备份:spu_sku.db.bak_usjpUS+JP 都改错的版本)、spu_sku.db.bak_revert_us(改回 US 后的版本)。
- 规律:尺码体系与国家挂钩——**仅 JP=亚洲尺码亚洲常规**,US/GB/MX=欧美尺码常规。后续加国家时按此约定(亚洲市场如 JP/KR 走亚洲,欧美市场 US/GB/MX/DE 走欧美),或写进 sync_from_pg.py 按 country 映射自动填。
+25
View File
@@ -0,0 +1,25 @@
# 项目长期记忆:Inkreach POD 数据库同步
## PG 库连接
- host=localhost, port=5432, user=postgres, password=inkreach, dbname=inkreach
- Python 驱动 psycopg2 装在隔离 venv`C:/Users/Admin/.workbuddy/binaries/python/envs/default/Scripts/python.exe`
## 国家货盘映射(plates 表 id → 国家)
- 美国 2/3/4/5、墨西哥 6、日本 7、韩国 8、沙特 9、巴西 10、英国 11、加拿大 12、波兰 13、西班牙 14、德国 15、澳洲 16、意大利 17
## SPU/SKU 表结构(SQLite spu_sku.db,字段不可改)
- SPU25+ 业务字段 + country + mark):code/material/component_1~3/比例/pattern/details/collar_style/style/care_Instructions/fabric/target_audience/season/is_transparent/layout/weaving_method/printing_type/fabric_texture_1/fabric_weight_1/fabric_weight_unit_1/lining_texture/country/mark
- SPU 固定模板值(不随 PG 变):pattern=印花、details=无、collar_style=圆领、style=休闲、care_Instructions=数码印花类可机洗且不可干洗、fabric=微弹、target_audience=成人、season=四季、is_transparent=否、layout=常规、weaving_method=针织(含钩织、毛织面料)、printing_type=定位印花、fabric_texture_1=光面、fabric_weight_unit_1=g/㎡、lining_texture=无里料/无内衬、mark=1
- SKU19 字段):spu_id/code/price/color/size/size_group/size_type/shoulder_width/bust/clothing_length/sleeve_length/longest_side/secondary_long_side/shortest_side/package_weight/img_url_2~5
## 同步脚本 sync_from_pg.py 规律
- SPU = categories(按 code 去重);SKU = colors × product_size/ size_chart 尺码(颜色×尺码粒度)
- 业务模板固定值写入 SPUPG 仅提供 material、component、fabric_weight(从 name 提取克重)、country
- SKU code = colors.code(脏数据兜底为 品类code-颜色名);color = 清洗后颜色名;price = 该品类 prices 首条;包装尺寸/重量 = product_extra.packaging_spec JSON;尺码表 = product_extra.product_size JSON(缺则回退 size_chart
- 切换国家:改顶部 `PLATE_IDS``COUNTRY` 后重跑(会 DELETE 两表再插入)
- 脏颜色 code 处理:clean_color_name() 去尺码前缀;is_clean_code() 判断规范,不规范则 品类code-颜色名 兜底(源库无拉丁编码时 code 含中文属必然)
## 已知数据坑
- 部分品类 colors.code 为脏数据(如 'METB001-S-3XL黑色'、'5000B-黑色'、'SFB-黑色')→ 兜底补全
- 部分品类无 product_extra(如 SFB/5000B)→ 尺码走 size_chart 回退,包装/重量留空
- 家居类尺码格式不一致('30*40/76.2*101.6' vs '30*40')、均码叫法不同(Onesize vs 均码)→ 已加归一化兜底