 yeuimu
|
e5175a0504
|
fix: 写库重试 3→5 次、退避拉长至 1/3/7/15/30s
CI / test (pull_request) Successful in 4m30s
sceptical-finch(riin-recent-sync 10-10 16:04)失败复盘:17track 物流回写
(宿主机本地进程,不走 advisory 锁)与 sync 写库在 panel 触发器链
(panel.orders/dims/dims_daily)上交叉持锁,冲突窗口持续约 3 分钟,
原 3 次重试(1/3/7s)全部耗尽。加深重试使其可跨过分钟级外部冲突窗口。
|
2026-10-10 09:08:01 +00:00 |
|
|
yeuimu
|
5eacfefb6c
|
fix: RIIN 商品状态补 CLOSE=已取消(重拉残留时告警发现的新枚举;UNKNOWN 保留 NULL)
CI / test (pull_request) Successful in 2m8s
|
2026-09-28 03:19:29 +00:00 |
|
|
yeuimu
|
c030eca178
|
fix: RIIN 商品状态补 COMPLETE/PAUSE 映射,修复 Goods.status 大面积 NULL
CI / test (pull_request) Successful in 1m35s
问题:RIIN 商品级 goodsStatus 复用平台状态枚举,COMPLETE/PAUSE 无映射,
.get() 返回 None 落库为 NULL,累计 206 万行(占 RIIN 商品 33.75%),
终态订单不再被 refresh_pending 刷新而长期滞留。该缺口继承自
inkreach-bi-auth-mng TS 版,且 TS 的 warnUnknown 告警在移植时被省略,
导致从未暴露。
修复:
- RIIN_GOODS_STATUS_MAP 补 COMPLETE=已完成、PAUSE=暂停
- 对齐 TS 版 warnUnknown:四个状态映射函数对未知值告警(同值只报一次)
- docs/sql:Goods.status 约束新增允许"暂停"(原约束拒绝,已在库执行)
- scripts/backfill_riin_goods_status.py:存量 NULL 按"已发货"订单终态
近似回填(幂等、分批);"已关闭"与非终态订单走 by-orders 重拉真值
- tests/test_mappers.py:9 个单测全过;实单 GSU1S555400MFLL e2e 验证
4 行 NULL → 已完成/暂停
|
2026-09-28 03:02:05 +00:00 |
|
|
yeuimu
|
9b130097f9
|
feat: 通知发送层切换到群机器人 webhook, 排版精简
- wecom.py 重写: HTTP POST webhook(替代 aibot WebSocket 按需连接), 接口 send_markdown/send_text 不变, Secret Block wecom-webhook 存 URL
- webhook markdown 支持标题/引用/font 三色, 报告改为 '## 标题 + 单行结论 + 引用详情' 紧凑排版, 结论行用 info/warning 色
- alert_failure 改标题式排版; device_check 结论用 font 色, 去掉负载行
- 移除 wecom-aibot-sdk 依赖与 wecom_capture_chatid.py(镜像下次构建生效, 无需立即重建)
|
2026-09-07 10:09:11 +00:00 |
|
|
yeuimu
|
c545c1b87d
|
fix: 写库并发控制(advisory锁串行写+分批提交+lock_timeout+死锁重试), refresh_pending写任务加重试
死锁根因:sds-refresh-pending 与 label-ocr 整点并发写同一分区 Orders_2026_08,
互等对方未提交事务(ShareLock)。24h 内同类死锁 7 起。
- sync_orders_and_goods 所有写事务先取同一把 PG advisory 锁(事务级),单锁无环,死锁结构性消除
- 同步按批(1000单)独立提交,持锁窗口从整个 pending 集缩到单批
- 连接预设 lock_timeout=15s,DeadlockDetected/LockNotAvailable 整事务重试 3 次(退避1/3/7s)
- label-ocr 的 update_ocr_batch/update_ocr_fields 走同一把锁+重试
- sds/riin refresh_pending 的 upsert_records 加任务级重试(retries=3)
|
2026-09-02 03:23:02 +00:00 |
|
|
yeuimu
|
7c323e9a3f
|
feat: 四份报告按用户口径重做
- 核验日报: 先报订单数量(远程vs本地, verify 修复后重数 verifyReport.post)/商品行数一致性, 再报状态不符单数; SDS 统计口径排除'售后'与本地对称
- OCR: Orders 加 ocrProcessedAt 列(写入自动盖时间戳), 日报报'今日处理 X · 识别失败 Y'(db.count_ocr_today)
- 失败任务: check_prefect_failures 补 workflow 名, 日报/设备报列 run 名+状态+时间
- 设备日报: 新增 metrics-agent 侧车(每5分钟采样内存/swap/GPU+每日 du 快照), 报告改 平均/峰值/最低 + 总体/根目录/home 余量 + 增长最快目录 + GPU 温度; 采样缺失降级瞬时值
- Dockerfile 加 tzdata(TZ=Asia/Shanghai); du 用实际占块且容错 rc=1
|
2026-08-28 05:01:55 +00:00 |
|
|
yeuimu
|
1d0da2a00b
|
feat: 接入企微智能机器人——异常报警/数据核验日报/设备健康日报
- flows/shared/wecom.py: WSClient 按需连接(连接→认证→发送→断开),全容错,超长分段
- flows/monitor/alert_failure.py: Prefect 事件触发(Failed/Crashed→run deployment),发群报警
- flows/monitor/daily_report.py: 每日 18:30 近7天 RIIN/SDS 核验(复用 verify)+商品完整性+OCR+失败回顾
- flows/monitor/device_check.py: 每日 09:00 内存/磁盘/GPU(80%阈值)+Docker 容器异常+服务探活
- db.py: 新增 get_goods_integrity/ping; compose worker 挂载 docker.sock+/:/host:ro+GPU
- scripts/wecom_capture_chatid.py: 一次性捕获群 chat_id 工具
|
2026-08-27 09:40:53 +00:00 |
|
|
yeuimu
|
b9e0bc42be
|
fix: SDS 款号解析器重写(split('（）') 永不命中 bug)+RIIN style_code 兜底
|
2026-08-14 15:44:18 +00:00 |
|
|
yeuimu
|
0471065b68
|
fix: countryRegion 映射补'印美达美西二发货仓'→美国
|
2026-08-08 09:11:23 +00:00 |
|
|
yeuimu
|
320f5ed40a
|
feat: OCR 自动重跑 tracking 为空的已识别订单
|
2026-08-08 06:41:36 +00:00 |
|
|
yeuimu
|
c5efa457d1
|
refactor: countryRegion 统一中文归一化; label-ocr 改用 countryRegion; destinationCountry 还原 ISO2
|
2026-08-02 16:07:24 +00:00 |
|
|
yeuimu
|
7ed1893b83
|
refactor: destinationCountry 统一归一为中文国名
|
2026-08-02 15:58:51 +00:00 |
|
|
yeuimu
|
a742f4169e
|
feat: label-ocr 默认 GB+US 近7天; refresh_pending 合并无面单订单(近7天)
|
2026-07-31 01:57:52 +00:00 |
|
|
yeuimu
|
3e075fd366
|
refactor: OCR 字段改驼峰(ocrLayout/ocrCourier/ocrSName...)
|
2026-07-24 08:33:46 +00:00 |
|
|
yeuimu
|
f0580a8ce4
|
feat: label-ocr 支持 destination_country/courier_source 筛选优先处理
|
2026-07-24 02:10:03 +00:00 |
|
|
yeuimu
|
70178e9295
|
feat: OCR v2 batch + RIIN waybill + 双系统 label-ocr flow(hourly)
|
2026-07-23 23:44:24 +00:00 |
|
|
yeuimu
|
51dbde4538
|
feat: OCR 面单 enrichment flow (api/ocr/ + flows/sds/label_ocr.py + db OCR 方法)
|
2026-07-23 16:15:24 +00:00 |
|
|
yeuimu
|
8ab0aededa
|
feat: Orders 加 10 地址/店铺字段 + labelPdfUrl(SDS/RIIN mapper+db)
|
2026-07-23 16:05:46 +00:00 |
|
|
yeuimu
|
a527ebc1de
|
fix: SDS factory(dict取值)+ confirmedAt(gmtConfirmTime) 映射修复
|
2026-07-23 09:41:08 +00:00 |
|
|
yeuimu
|
4ec7cf2dd6
|
feat: 详细日志(分页/映射/批次进度)+ Artifacts 摘要(sync-summary/verify-report)
|
2026-07-23 09:01:39 +00:00 |
|
|
yeuimu
|
367168bcdc
|
fix: <>ALL(%) parens + refresh_100_prefix add orderCount/goodsCount
|
2026-07-23 08:46:22 +00:00 |
|
|
yeuimu
|
53ff943ac3
|
fix: db.py SQL (<>ALL, escape %% in LIKE) + incremental_sync tz-aware compare
|
2026-07-23 08:43:27 +00:00 |
|
|
yeuimu
|
4cba1da4e1
|
init: Prefect ETL sync project (RIIN/SDS → PG) with 12 sync flows
|
2026-07-23 08:13:09 +00:00 |
|