Mi configuración de middleware:
from w3lib.http import basic_auth_header
class CustomProxyMiddleware(object):
def process_request(self, request, spider):
request.meta['proxy'] = "111.11.11.111:1111"
request.headers['Proxy - Authorization'] = basic_auth_header('login', 'password')
Mi configuración:
DOWNLOADER_MIDDLEWARES = {
'my_project.middlewares.CustomProxyMiddleware': 350,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}
Después de iniciar, aparece un error:
scrapy.core.downloader.handlers.http11.TunnelError: Could not open CONNECT tunnel with proxy 217.29.53.106:51725 [{'status': 407, 'reason': b'Proxy Authentication Required'}]
¿Cuál es la razón, cómo solucionarlo? (Utilizo proxies https válidos)
Solución del problema
Intente cambiar el nombre del encabezado para que seaProxy-Authorization
request.headers['Proxy-Authorization'] = basic_auth_header('login', 'password')
No hay comentarios.:
Publicar un comentario