v88 功能增强:产品落盘持久化 + 生图网关适配 + 模板导出优化
- 产品持久化:每完成一个产品立即追加写入 products_pending.jsonl,崩溃不丢已完成产品,finish 读盘合并后统一写模板 - 503 致命错误提前终止:compose/product/seed_shot 端到端识别,提前终止搜索分析,丢弃未完成简报,保留已完成落盘产品直接合成模板 - 模特分配:material_library 合格模特图按任务序号独立随机,同 SPU 多款不再共用同一模特 - 图像网关适配:execution_mode/background 默认不再传入 yunfei 等标准网关,base_url 需带 /v1;429/5xx/空响应退避重试 - Pinterest 分析:删除 term 注入与纯文本降级,失败直接放弃;图片上传前 PIL 完整性校验;suitable_for_print=False 过滤丢弃 - 模板导出:不再产生空白 xlsx,文件名=模板原文件名_已填写;写入前按货号末 3 位升序排序 - 删除对接文档.md,更新 README,gitignore 排除测试产物
This commit is contained in:
@@ -19,11 +19,13 @@ from pinterest_scraper.pinterest_image_capture import (
|
||||
|
||||
def scrape_pinterest(keyword: str, count: int = 40, save_dir: Optional[str] = None,
|
||||
proxy: Optional[str] = None, headless: bool = False,
|
||||
cdp_url: Optional[str] = None) -> List[str]:
|
||||
cdp_url: Optional[str] = None,
|
||||
login_wait: bool = False) -> List[str]:
|
||||
"""按关键词爬取 Pinterest 图片并下载到 save_dir,返回下载成功的文件路径列表。
|
||||
|
||||
- proxy 为 None 时自动探测(环境变量/系统代理/本地常见端口);空字符串显式禁用。
|
||||
- 首次运行会弹出本地 Chrome 窗口,需手动登录 Pinterest 一次,登录态缓存在
|
||||
- login_wait=False(默认):运行时检测到未登录时不阻塞,直接返回空列表(由调用方跳过并告警);
|
||||
login_wait=True:弹出 Chrome 窗口等待手动登录一次,登录态缓存在
|
||||
pinterest_scraper/.chrome_session,之后自动复用。
|
||||
"""
|
||||
# 代理解析:显式传入 > 自动探测 > 直连
|
||||
@@ -39,7 +41,7 @@ def scrape_pinterest(keyword: str, count: int = 40, save_dir: Optional[str] = No
|
||||
os.makedirs(out, exist_ok=True)
|
||||
print(f"[pinterest] 关键词: {keyword} | 数量: {count} | 保存目录: {out}")
|
||||
|
||||
imgs_url = asyncio.run(scrape(keyword, count, headless, proxy, cdp_url))
|
||||
imgs_url = asyncio.run(scrape(keyword, count, headless, proxy, cdp_url, login_wait))
|
||||
if not imgs_url:
|
||||
print(f"[pinterest] 未收集到图片(可能未登录或搜索无结果): {keyword}")
|
||||
return []
|
||||
|
||||
Reference in New Issue
Block a user