 yeuimu
|
4a7c44a354
|
feat: RIIN 商品拉取改用 goods/list 批量接口(200/批串行)替换逐单 order/goods
CI / test (pull_request) Successful in 1m11s
- api/riin/client.py: 新增 get_order_goods_batch(distribution/order/goods/list)
- flows/shared/clients.py: fetch_goods_concurrent → fetch_goods_for_orders,
批量 200/批、串行、批间 2s,批级重试;移除逐单全局限速(340~500ms)机制
- flows/riin/_pipeline.py: 适配新批量拉取
- flows/shared/db.py: 存在性预查 unnest cast timestamp[] → timestamptz[]
(入参为带时区偏移的 tz-aware datetime,timestamptz 才能稳定匹配)
背景:旧逐单接口高频被软限流(成功返回空 data),10-28 起日均缺口 13~33%;
批量接口调用量从日均 ~1 万次降到 ~50 次,已实测回补 7689 单/9717 条商品全量成功。
|
2026-10-31 10:01:50 +00:00 |
|
|
yeuimu
|
e5175a0504
|
fix: 写库重试 3→5 次、退避拉长至 1/3/7/15/30s
CI / test (pull_request) Successful in 4m30s
sceptical-finch(riin-recent-sync 10-10 16:04)失败复盘:17track 物流回写
(宿主机本地进程,不走 advisory 锁)与 sync 写库在 panel 触发器链
(panel.orders/dims/dims_daily)上交叉持锁,冲突窗口持续约 3 分钟,
原 3 次重试(1/3/7s)全部耗尽。加深重试使其可跨过分钟级外部冲突窗口。
|
2026-10-10 09:08:01 +00:00 |
|
|
yeuimu
|
c545c1b87d
|
fix: 写库并发控制(advisory锁串行写+分批提交+lock_timeout+死锁重试), refresh_pending写任务加重试
死锁根因:sds-refresh-pending 与 label-ocr 整点并发写同一分区 Orders_2026_08,
互等对方未提交事务(ShareLock)。24h 内同类死锁 7 起。
- sync_orders_and_goods 所有写事务先取同一把 PG advisory 锁(事务级),单锁无环,死锁结构性消除
- 同步按批(1000单)独立提交,持锁窗口从整个 pending 集缩到单批
- 连接预设 lock_timeout=15s,DeadlockDetected/LockNotAvailable 整事务重试 3 次(退避1/3/7s)
- label-ocr 的 update_ocr_batch/update_ocr_fields 走同一把锁+重试
- sds/riin refresh_pending 的 upsert_records 加任务级重试(retries=3)
|
2026-09-02 03:23:02 +00:00 |
|
|
yeuimu
|
7c323e9a3f
|
feat: 四份报告按用户口径重做
- 核验日报: 先报订单数量(远程vs本地, verify 修复后重数 verifyReport.post)/商品行数一致性, 再报状态不符单数; SDS 统计口径排除'售后'与本地对称
- OCR: Orders 加 ocrProcessedAt 列(写入自动盖时间戳), 日报报'今日处理 X · 识别失败 Y'(db.count_ocr_today)
- 失败任务: check_prefect_failures 补 workflow 名, 日报/设备报列 run 名+状态+时间
- 设备日报: 新增 metrics-agent 侧车(每5分钟采样内存/swap/GPU+每日 du 快照), 报告改 平均/峰值/最低 + 总体/根目录/home 余量 + 增长最快目录 + GPU 温度; 采样缺失降级瞬时值
- Dockerfile 加 tzdata(TZ=Asia/Shanghai); du 用实际占块且容错 rc=1
|
2026-08-28 05:01:55 +00:00 |
|
|
yeuimu
|
1d0da2a00b
|
feat: 接入企微智能机器人——异常报警/数据核验日报/设备健康日报
- flows/shared/wecom.py: WSClient 按需连接(连接→认证→发送→断开),全容错,超长分段
- flows/monitor/alert_failure.py: Prefect 事件触发(Failed/Crashed→run deployment),发群报警
- flows/monitor/daily_report.py: 每日 18:30 近7天 RIIN/SDS 核验(复用 verify)+商品完整性+OCR+失败回顾
- flows/monitor/device_check.py: 每日 09:00 内存/磁盘/GPU(80%阈值)+Docker 容器异常+服务探活
- db.py: 新增 get_goods_integrity/ping; compose worker 挂载 docker.sock+/:/host:ro+GPU
- scripts/wecom_capture_chatid.py: 一次性捕获群 chat_id 工具
|
2026-08-27 09:40:53 +00:00 |
|
|
yeuimu
|
320f5ed40a
|
feat: OCR 自动重跑 tracking 为空的已识别订单
|
2026-08-08 06:41:36 +00:00 |
|
|
yeuimu
|
c5efa457d1
|
refactor: countryRegion 统一中文归一化; label-ocr 改用 countryRegion; destinationCountry 还原 ISO2
|
2026-08-02 16:07:24 +00:00 |
|
|
yeuimu
|
a742f4169e
|
feat: label-ocr 默认 GB+US 近7天; refresh_pending 合并无面单订单(近7天)
|
2026-07-31 01:57:52 +00:00 |
|
|
yeuimu
|
3e075fd366
|
refactor: OCR 字段改驼峰(ocrLayout/ocrCourier/ocrSName...)
|
2026-07-24 08:33:46 +00:00 |
|
|
yeuimu
|
f0580a8ce4
|
feat: label-ocr 支持 destination_country/courier_source 筛选优先处理
|
2026-07-24 02:10:03 +00:00 |
|
|
yeuimu
|
70178e9295
|
feat: OCR v2 batch + RIIN waybill + 双系统 label-ocr flow(hourly)
|
2026-07-23 23:44:24 +00:00 |
|
|
yeuimu
|
51dbde4538
|
feat: OCR 面单 enrichment flow (api/ocr/ + flows/sds/label_ocr.py + db OCR 方法)
|
2026-07-23 16:15:24 +00:00 |
|
|
yeuimu
|
8ab0aededa
|
feat: Orders 加 10 地址/店铺字段 + labelPdfUrl(SDS/RIIN mapper+db)
|
2026-07-23 16:05:46 +00:00 |
|
|
yeuimu
|
4ec7cf2dd6
|
feat: 详细日志(分页/映射/批次进度)+ Artifacts 摘要(sync-summary/verify-report)
|
2026-07-23 09:01:39 +00:00 |
|
|
yeuimu
|
367168bcdc
|
fix: <>ALL(%) parens + refresh_100_prefix add orderCount/goodsCount
|
2026-07-23 08:46:22 +00:00 |
|
|
yeuimu
|
53ff943ac3
|
fix: db.py SQL (<>ALL, escape %% in LIKE) + incremental_sync tz-aware compare
|
2026-07-23 08:43:27 +00:00 |
|
|
yeuimu
|
4cba1da4e1
|
init: Prefect ETL sync project (RIIN/SDS → PG) with 12 sync flows
|
2026-07-23 08:13:09 +00:00 |
|