????在使用scrapy 2.6.2 過程中，由于使用了隧道代理模式，需要在請求頭自定義添加Proxy-Authorization，但是scrapy為了安全卻把它移除了，導致http請求時一直認證不通過。

一、在這個包中：from scrapy.core.downloader.handlersimport http11

第334行打個斷點，調(diào)試一下，會發(fā)現(xiàn)在這個地方移除了Proxy-Authorization

二、在這個包中：from scrapy.downloadermiddlewaresimport httpproxy

第81行打個斷點，調(diào)試一下，會發(fā)現(xiàn)在這個地方移除了Proxy-Authorization

最粗暴的解決方案就是直接改源碼，增加一下這兩個地方的判斷，讓你的請求不符合這個條件。

如在構(gòu)建scrapy.Request時，增加meta={"dont_rm_proxy_auth": 1}，然后這兩個地方條件判斷改為：

if isinstance(agent, self._TunnelingAgent)and 'dont_rm_proxy_auth' not in request.meta:

elif b'Proxy-Authorization' in request.headersand 'dont_rm_proxy_auth' not in request.meta:

這樣Proxy-Authorization就不會被移除了。

當然這種方式過于粗暴了，正常情況不建議改源碼。最好還是研究一下源碼，然后讓自身構(gòu)建的scrpy.Request不符合其判斷規(guī)則，讓其不要移除Proxy-Authorization。

等有時間再好好讀下scrapy的源碼才行。