核心原则:让 UA 和请求头由 curl_cffi 按所模拟的浏览器自动生成,不要让 Scrapy 的默认值盖掉它们。

1. 清空 Scrapy 的 USER_AGENT

把 USER_AGENT 留空后,curl_cffi 会自己挑一个与所模拟浏览器匹配的 UA。README 的文字说设成 None,示例代码用的是空字符串,两处说法并不一致,以示例的写法为准更稳妥:

USER_AGENT = "" 

否则请求会带着 Scrapy/x.x (+https://scrapy.org) 配一套 Chrome 的 TLS 指纹,一眼就能识别。

2. 清空 DEFAULT_REQUEST_HEADERS

这一条 README 没写,是 Scrapy 自身的行为:它默认会加 Accept 和 Accept-Language: en,这两个值和真实 Chrome 的不一样,会覆盖 curl_cffi 生成的对应头。建议:

DEFAULT_REQUEST_HEADERS = {} 

3. 不要手写与版本绑定的头

sec-ch-ua、sec-ch-ua-platform、User-Agent 这几个头里都带浏览器版本号,必须与 impersonate 的版本一致。最安全的做法是完全不写,只在 headers 里加业务必需的(Referer、Cookie、Authorization、接口签名等)。

如果一定要自定义整套头,就固定一个具体版本(如 chrome124 而不是 chrome),并从同版本的真实浏览器里抓包照抄。

4. 随机切换浏览器时更要留空

IMPERSONATE_BROWSERS 可以限定 RandomBrowserMiddleware 轮换的浏览器范围。用了这个中间件后每个请求的浏览器都可能不同,此时写死任何 UA 都必然错配,只能交给 curl_cffi。

DOWNLOADER_MIDDLEWARES = { "scrapy_impersonate.RandomBrowserMiddleware": 1000, } IMPERSONATE_BROWSERS = ["chrome", "firefox"] 

5. 请求头顺序

顺序本身也是检测项。impersonate_curl_options 里的 HTTPHEADER_ORDER 能指定顺序,前提是 curl_cffi 版本不低于 0.16.0:

meta={ "impersonate": "chrome", "impersonate_curl_options": { "HTTPHEADER_ORDER": "Host,Connection,User-Agent,Accept,Referer", }, } 

只用默认头时一般不需要动它;加了自定义头、顺序被打乱时再用。

6. 其他会改头的地方

  • 其他中间件:如果项目里有随机 UA 中间件(如 scrapy-fake-useragent),要关掉,它会重新制造错配。
  • 重定向:处理器强制 allow_redirects=False,若通过 impersonate_args 重新打开,curl_cffi 会在内部跟随跳转,绕开 Scrapy 的重定向和 offsite 中间件,保持默认即可。
  • Cookie:Scrapy 的 CookiesMiddleware 仍正常工作,不需要额外处理。

验证

请求 https://tls.browserleaks.com/json 或 https://tls.peet.ws/api/all,检查返回里的 user_agent 与 JA3/JA4、Akamai 指纹是否属于同一个浏览器版本,再用 https://httpbin.org/headers 看实际发出的头里有没有残留的 Scrapy 默认值。

Sources: