修复 Pinterest 爬取全部失败:1) 共享 .chrome_session 登录态下 Chrome 单例,并发启动互相抢占导致 browser has been closed,并发强制为 1;2) 系统代理 6696 是 SOCKS5,之前按 HTTP 代理传给 Chrome 导致 ERR_CONNECTION_CLOSED,新增代理类型探测返回 socks5:// scheme;3) 爬取前一次性校验代理,失效时给出明确警告
This commit is contained in:
+1
-1
@@ -46,7 +46,7 @@ pinterest:
|
||||
analyze_per_term: 6 # 每个搜索词最多分析几张图(生成设计简报)
|
||||
max_designs: 10 # 本次最多生成多少个设计
|
||||
ref_images_per_design: 1 # 生图时每个设计附带几张爬取图作为参考(发给生图模型)
|
||||
scrape_concurrency: 2 # 同时爬取几个搜索词(每个会开一个 Chrome 窗口)
|
||||
scrape_concurrency: 1 # 同时爬取几个搜索词(共享 .chrome_session 登录态,Chrome 单例,必须=1)
|
||||
headless: false # 爬取时是否无头(false=显示 Chrome 窗口,首次需手动登录)
|
||||
|
||||
# 跨源融合权重(按 source 标签,无需和为 1)
|
||||
|
||||
Reference in New Issue
Block a user