GOOGLE ADS

viernes, 29 de abril de 2022

¿Cómo configurar un proxy Scrapy con autorización?

Mi configuración de middleware:

from w3lib.http import basic_auth_header
class CustomProxyMiddleware(object):
def process_request(self, request, spider):
request.meta['proxy'] = "111.11.11.111:1111"
request.headers['Proxy - Authorization'] = basic_auth_header('login', 'password')

Mi configuración:

DOWNLOADER_MIDDLEWARES = {
'my_project.middlewares.CustomProxyMiddleware': 350,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}

Después de iniciar, aparece un error:

scrapy.core.downloader.handlers.http11.TunnelError: Could not open CONNECT tunnel with proxy 217.29.53.106:51725 [{'status': 407, 'reason': b'Proxy Authentication Required'}]

¿Cuál es la razón, cómo solucionarlo? (Utilizo proxies https válidos)


Solución del problema

Intente cambiar el nombre del encabezado para que seaProxy-Authorization

request.headers['Proxy-Authorization'] = basic_auth_header('login', 'password')

No hay comentarios.:

Publicar un comentario

Flutter: error de rango al acceder a la respuesta JSON

Estoy accediendo a una respuesta JSON con la siguiente estructura. { "fullName": "FirstName LastName", "listings...