修复 Pinterest 爬取全部失败:1) 共享 .chrome_session 登录态下 Chrome 单例,并发启动互相抢占导致 browser has been closed,并发强制为 1;2) 系统代理 6696 是 SOCKS5,之前按 HTTP 代理传给 Chrome 导致 ERR_CONNECTION_CLOSED,新增代理类型探测返回 socks5:// scheme;3) 爬取前一次性校验代理,失效时给出明确警告

This commit is contained in:
2026-08-24 15:44:50 +08:00
parent 4f3cd52a40
commit ca567ae198
3 changed files with 80 additions and 8 deletions
+1 -1
View File
@@ -46,7 +46,7 @@ pinterest:
analyze_per_term: 6 # 每个搜索词最多分析几张图(生成设计简报)
max_designs: 10 # 本次最多生成多少个设计
ref_images_per_design: 1 # 生图时每个设计附带几张爬取图作为参考(发给生图模型)
scrape_concurrency: 2 # 同时爬取几个搜索词(每个会开一个 Chrome 窗口
scrape_concurrency: 1 # 同时爬取几个搜索词(共享 .chrome_session 登录态,Chrome 单例,必须=1
headless: false # 爬取时是否无头(false=显示 Chrome 窗口,首次需手动登录)
# 跨源融合权重(按 source 标签,无需和为 1)